【Nexus】Part 7 – EVPN/VXLANについて

2020年12月13日

これまでのエンタープライズのデータセンターネットワークで利用されてきたレイヤ2 テクノロジーを振り返ると、 古くはSpanning-treeによる冗長性の実現、vPC(MLAG)により筐体冗長をもったリンクアグリゲーションの実現、FabricPath(Trill)によるマルチパスに対応したイーサネットファブリックの実現と進化してきました。

一方、通信キャリアや大規模データセンターはユーザごとの仮想専用線の実現のためQinQMacinMacが登場し、MPLSをベースとしたVPLSというマルチテナンシーを実現したテクノロジーの採用も広がりました。しかしVPLSはマルチホーミングの実現やマルチキャストの最適化、プロビジョニングの複雑性など多くの課題を残しました。そのVPLSの課題を解決した形で登場したのがEVPN(Ethernet VPN)です。

そしてEVPNをエンタープライズのデータセンターで適用すべく注目されているのがEVPN/VXLANとなります。この通信キャリアで培ったマルチテナンシーをエンタープライズネットワークに採用することで、テナント(ユーザ、システム)毎に論理ネットワークを展開すること、すなわちプライベートクラウドやAs a Serviceといったクラウドサービス基盤や、増え続けているシステムごとのネットワーク統合を実現することができます。

今回はEVPN/VXLANについて基本アーキテクチャから各種用語、NXOS上での基本的な動作にコンフィグレーションについて説明していきたいと思います

*Nexus9000vシリーズの記事のまとめはこちらから

*Nexus 9000vはversion 9.3(1)を元に動作確認を行っています。

EVPN/VXLANとは

EVPN/VXLANは、テナント(ユーザ、システム)毎に論理ネットワークを物理ネットワーク上に展開することが可能です。基本的な役割としてEVPNはコントロールプレーンです。EVPNはBGPを拡張していて、BGPのアップデートにテナントごとのMACアドレス情報やIP情報をファブリック内で各種情報を伝搬して共有するような仕組みとなります。

データプレーンは NVO(VXLANなど)・MPLS・PBBなど様々なオプションがあります。もともと通信キャリアでの利用用途が先行したこともありMPLSやPBBに対応していますが、一般的なデータセンター用途では「RFC 8365」をベースとしたVXLANが一般的に利用されています。各プロトコルのヘッダにテナントの情報を埋め込んで、ネットワーク内で一意のテナントを識別します。

仕様については「RFC 7209」でEVPNで解決すべき課題が定義され、「RFC 7432」でデータプレーンをMPLSとしてEVPNが標準化。その後、データプレーンをPBBベースとした「RFC 7623」、VXLANを含んだNVO(Network Virtualization Overlay )をベースとした「RFC 8365」が定義されています。EVPNはEthernet VPNという名前の通りL2 VPNの実現が基本機能となりますが、「RFC 7432」や「https://tools.ietf.org/html/draft-ietf-bess-evpn-inter-subnet-forwarding-09」によってL3ルーティングとなるサブネット間通信やGWについて定義されています。

EVPN/VXLANネットワーク構成については、スパイン/リーフ(Spine/Leaf)構成が基本となります。従来エンタープライズネットワークの基本構成として、コア/ディストリビューション/アクセスといった3階層構成が一般的でしたが、拡張性やパフォーマンスの観点から、データセンターネットワークでは2階層となるスパイン/リーフ構成が一般的となりました。

スパインとリーフの役割ですが、データプレーンの観点だとリーフスイッチがVXLANのEncap/Decapを行い、スパインスイッチはデータを転送するのみです。コントロールプレーンの観点では、リーフスイッチがオーバレイ上のMAC/IPなどを学習してBGPで各スイッチに伝搬します。スパインスイッチはiBGPを利用する場合にはルートリフレクターとなり、eBGPであれば通常のeBGP peerとなります。このようにリーフスイッチに多くの役割をもたせていることが特徴的です。

EVPN/VXLANの基本用語

ここではEVPN/VXLANでの基本用語について説明します。用語とともにイメージ図もあわせて掲載しています。具体的なEVPN/VXLAN構成図のパラメータと用語を突き合わせてみてください。

Ethernet Segment(ES):イーサネット セグメントは一連のイーサネットリンク
Ethernet Segment Identifier(ESI):ESI はネットワーク全体にわたってイーサネットセグメントを一意に表します。Multihomingする場合には該当IFで同一ESIを持つ
EVPN Instance(EVI):EVIはVirtual Network Identifier(VNI)で表されます。RD、import/export RTが割り当てられる。Nexusでは基本的に EVI=VNI=VLAN という関係
L3VNI : サブネット間通信の際に使われるVNIで、Ciscoが採用しているSymmetric IRB方式で利用される(詳細について後述)
L2VNI : ブリッジングの際に使われるVNIで、Ciscoが採用しているVLAN Based Service-interfaceでは1 VLAN=1 VNI となる(詳細については後述)

EVPNの主要な特徴(コントロールプレーン)

EVPNは冒頭にご紹介した通りBGPを利用して仮想的なL2/L3ネットワークを実現する上で必要な情報(テナントごとのMAC/IPの情報)をやり取りするプロトコルです。ネットワーク内での各情報伝達にはBGPのアップデートを利用しますので、ネットワーク内でeBGPもしくはiBGPを構成する必要があります。以下の参考構成はiBGPを利用していて、スパインスイッチがRRとなって各リーフへアップデートを配信します。eBGPを利用するとRRが不要となります。

RR冗長を用いたiBGPの構成

BGP UPDATEのMP-NRLIフィールドを使って各種情報が運ばれますが、その情報にはEVPN TYPE1-5まで存在しています。各TYPEの役割を簡単に説明すると、TYPE 1, 4はマルチホーミング関連の情報、TYPE 2はMAC/IPの情報、TYPE 3はBUMハンドリングの情報、TYPE 5は外部ルートなどのサブネット情報を取り扱います。

ここからはEVNPで定義されている各種MAC/IPの学習方法から、その他ファブリック内で効率的に仮想ネットワークを実現するための機能についてご紹介したいと思います。

MAC Address Reachability

リーフスイッチで学習したMAC/IPアドレスを、同じ VXLAN VNI に属するリーフスイッチへBGP経由で情報がアドバタイズ

Multihoming

ローカル機器との接続でリーフスイッチ2台以上によるMultihoming(MLAGイメージ)を提供。ESによりリンクが識別される。またDF ElectionによりVLANごとに配送する代表フォワーダーを選出

MAC Mobility

MAC Aをリーフスイッチが学習して他リーフスイッチへアドバタイズしている状態で、MAC Aが他PEへ移動した際に、移動先のリーフスイッチからアドバタイズメント情報のシーケンスナンバーを+1して、他リーフスイッチへアドバタイズしてMACをアップデート

ARP Broadcast Suppression

ローカル機器からリーフスイッチで受信したARPを他のリーフスイッチへアドバタイズすることで、他のリーフスイッチでARPを受信した際にProxy ARPの動きをしてARPを抑制

Split Horizon Filtering

Multihoming環境の時、ローカル機器からのBUMをリーフスイッチ1が網内にフラッドする時、同一ESのリーフスイッチ2がフラッドされたフレームを受信しても、ローカル機器側にはフィルタして流さない

Aliasing

Multihoming環境の時、リーフスイッチ1がMACを学習すると、対向リーフスイッチへMACをアドバタイズ。対向リーフスイッチはリーフスイッチ1とリーフスイッチ2がセットアップの段階でMultihoming環境であることを通知されているので、MACへのトラフィックは対向リーフスイッチからリーフスイッチ1とリーフスイッチ2へロードバランス

このあと対応PEからのトラフィックはPE1,PE2宛にロードバランスされる

MAC Mass Withdraw

Multihoming環境側のリーフスイッチで回線障害が発生すると対向リーフスイッチに障害を通知。対向リーフスイッチで側で回線障害が発生したリーフスイッチへのパスを削除して、高速なコンバージェンスを実現

Distributed Anycast Gateway

各リーフスイッチがゲートウェイと動作し効率的なルーティングを行う

VXLANの主要な特徴(データプレーン)

VXLANネットワーク上ではVXLANヘッダーの24bit識別子によりハイスケールなマルチテナントを実現しています。具体的なVXLANのフォーマットは割愛させていただきますが、理論的には24bit(1600万以上)の仮想的なL2/L3ネットワークを実現することが可能です(仮想ネットワークの最大数は実質ネットワーク機器のリソースに依存する)。

各リーフスイッチがVTEPと呼ばれるVXLANヘッダの追加・削除を行うポイントとなります。言い換えるとリーフスイッチが仮想ネットワークの入口・出口となります。アンダーレイネットワークはOSPFやISISを利用したL3ネットワークでECMP(Equal Cost Multipath)を活用することで、接続したケーブルの分だけ帯域を拡張すること(マルチパス)となります。

アンダーレイのIP L3ファブリック構成例。
ルーティングプロトコルにはOSPFやBGPを利用する

データプレーン上のBUMの処理

BUMとはBroadcast,Unknown Unicast, Multicastという意味。通常のL2ネットワークでは、L2スイッチがBUMを受け取ると他のポートに複製されて送信されます。VXLANネットワーク上の仮想L2NWでも同様の動作を実現するために、Ingressレプリケーション方式とマルチキャスト方式という2つの方式があります。

以下の図はIngressレプリケーション方式となります。リーフスイッチで他のリーフスイッチ宛へパケットが複製されてユニキャストで送信されます。

Ingressレプリケーション

マルチキャスト方式の場合には、各リーフに(S,G)エントリでL2VNIにJoinさせて、PIM−SMやBidir-PIMを利用してマルチキャストツリーからパケットを複製する方法となります。マルチキャスト方式の方が効率的にBUMを配信することができたり、ハードウェアにIngress Replicationの機能も不要になるのですが、マルチキャストルーティングの知識が必要になるため技術的なハードルが高い選択肢となります。

VXLAN 仮想L2ブリッジングの通信フロー

VXLANによって仮想的なL2ネットワークが実現できます。仮想的なL2ネットワークはL2VNIという単位で表現されています。以下L2VNI通信フローがイメージ。ローカル機器とリーフスイッチ間はVLANで、リーフスイッチでVXLANヘッダがつけられて仮想L2ネットワークのトンネルに入り、目的地のリーフスイッチでVXALNヘッダがはずされて最終的にVLANへと変換。このように仮想的なL2ブリッジングが実現されています。

仮想L2通信

Service interfaceについて

EVPNではEVI(EVPN instance)とVLANの関係について3つService Modelがあり、一般的に「VLAN-based Service interface」(以下VLAN-based)「VLAN-aware bundle Service interface」(以下VLAN-aware)の2つの方式が各メーカで採用されています。

「VLAN-based」はEVI(=VNI)に1つのVLANで結びつきます。上の図でいうとVLAN200とVNI10200(仮想ブリッジ)が接続されているのが「VLAN-based」のイメージとなります。複数VLANがあるとEVIも複数となります。「VLAN-aware bundle」は複数のVLANがそれぞれ一つのVNIが結びつきますがEVIは1つです。

これらの関係はJuniperのこちらのイメージ図がわかりやすいと思います。

このようにひとつのEVIで管理されるVLAN数がそれぞれの方式で異なります。これががどのような違いを生み出すのかというと、EVPNではEVI毎にRDとRTで管理されるので、「VLAN-based」はVLAN単位でimport/exportできますが、「VLAN-aware」複数VLANでのimport/exportとなりおおざっぱな制御となります。しかし前者はVLAN/VNIごとのコンフィグやパラメータ管理するのは大変で、後者は比較的楽になると思います。

Aristaのこちらのサンプルコンフィグは「VLAN-based」と「VLAN-aware」を横並びにしていて、とてもわかりやすいと思います。

Nexusシリーズは「VLAN-based」を採用していようです。なお「VLAN-based」「VLAN-aware」、両者での相互接続性はありません。

EVPN/VXLANの 仮想L3ルーティングの通信フロー

Cisco Nexusでのサブネット間通信は以下のイメージとなります。ローカル機器とリーフスイッチ間はVLANで、L2VNI 10300のセグメントの機器が、L2VNI 10200の機器と通信しています。L2VNI 10300配下の機器からの通信がリーフスイッチでVXLANヘッダがつけられてL3VNIにルーティングされて、L3VNIのトンネルを経由して、宛先のL2VNIにルーティングされて最終的な宛先に届きます。このように仮想的なL3ルーティングが実現されています。

仮想L3ルーティング(Ciscoが採用しているSymmetric IRBの場合)

Symmetric方式とAsymmetric方式

先程のサブネット間通信で「Cisco Nexusでの」と注意書きをしましたが、EVPNではサブネット間通信(inter-subnet forwarding)を実現するには2つの方式があります。Symmetric方式とAsymmetric方式となります。Cisco Nexusは前者を採用しており、先程の説明はSymmetric方式の動作説明でもあります。

Symmetric方式ではローカルデバイスのパケットがリーフスイッチへ到着してVLANからL2VNIにブリッジされた際に、宛先がリモートスイッチでかつルーティングが必要と判断されると、一度L3VNIへルーティングされてリモートスイッチに到着し、再度ルーティングされて宛先L2VNIから該当VLANにブリッジされます。

Asymmetric方式ではローカルデバイスのパケットがリーフスイッチへ到着してVLANからL2VNIにブリッジされた際、ルーティングが必要となると、そのまま宛先L2VNIへルーティングされて宛先L2VNI上でブリッジングし、リモートスイッチへ到着後にL2VNIから該当VLANにブリッジされます。

一般的にSymmetricはリソースを効率的に利用してスケールしやすい、Asymmetricはリソースのムダがあるが少し処理のステップが短縮できるということです。

EVPN/VXLAN 基本コンフィグレーションの確認

今回はNexusの以下コンフィグレーションガイドに沿って、Loopbackアドレスの配布のためアンダーレイプロトコルに物理IPでのBGP peer(address-family ipv4)を確立しています。

https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/sw/93x/vxlan/configuration/guide/b-cisco-nexus-9000-series-nx-os-vxlan-configuration-guide-93x/b-cisco-nexus-9000-series-nx-os-vxlan-configuration-guide-93x_chapter_0101.html

アンダーレイ構成図

オーバレイ構成図

確認項目

各端末間で疎通できることを確認

各機器のコンフィグクレーション

NXOS1 – Spine1

 hostname NXOS1

 nv overlay evpn
 feature bgp

 route-map permitall permit 10
   set ip next-hop unchanged

 interface Ethernet1/1
   no switchport
   mac-address 5000.0003.0001
   ip address 192.168.1.42/24
   no shutdown

 interface Ethernet1/2
   no switchport
   mac-address 5000.0003.0001
   ip address 192.168.3.42/24
   no shutdown

 interface loopback0
   ip address 10.1.1.1/32

 router bgp 100
   router-id 10.1.1.1
   address-family ipv4 unicast
     network 10.1.1.1/32
   address-family l2vpn evpn
     nexthop route-map permitall
     retain route-target all
   neighbor 30.1.1.1
     remote-as 200
     update-source loopback0
     ebgp-multihop 3
     address-family l2vpn evpn
       disable-peer-as-check
       send-community extended
       route-map permitall out
   neighbor 40.1.1.1
     remote-as 200
     update-source loopback0
     ebgp-multihop 3
     address-family l2vpn evpn
       disable-peer-as-check
       send-community extended
       route-map permitall out
   neighbor 192.168.1.43
     remote-as 200
     address-family ipv4 unicast
       allowas-in 3
       disable-peer-as-check
   neighbor 192.168.3.43
     remote-as 200
     address-family ipv4 unicast
       allowas-in 3
       disable-peer-as-check

NXOS2 – Spine2

 hostname NXOS2

 nv overlay evpn
 feature bgp

 route-map permitall permit 10
   set ip next-hop unchanged

 interface Ethernet1/1
   no switchport
   mac-address 5000.0003.0002
   ip address 192.168.2.42/24
   no shutdown

 interface Ethernet1/2
   no switchport
   mac-address 5000.0003.0002
   ip address 192.168.4.42/24
   no shutdown

 interface loopback0
   ip address 20.1.1.1/32

 router bgp 100
   router-id 20.1.1.1
   address-family ipv4 unicast
     network 20.1.1.1/32
   address-family l2vpn evpn
     retain route-target all
   neighbor 30.1.1.1
     remote-as 200
     update-source loopback0
     ebgp-multihop 3
     address-family l2vpn evpn
       disable-peer-as-check
       send-community extended
       route-map permitall out
   neighbor 40.1.1.1
     remote-as 200
     ebgp-multihop 3
     address-family l2vpn evpn
       disable-peer-as-check
       send-community extended
       route-map permitall out
   neighbor 192.168.2.43
     remote-as 200
     address-family ipv4 unicast
       allowas-in 3
       disable-peer-as-check
   neighbor 192.168.4.43
     remote-as 200
     address-family ipv4 unicast
       allowas-in 3
       disable-peer-as-check

NXOS3 – Leaf1

 hostname NXOS3

 nv overlay evpn
 feature bgp
 feature interface-vlan
 feature vn-segment-vlan-based
 feature lacp
 feature nv overlay

 fabric forwarding anycast-gateway-mac 0000.2222.3333

 vlan 1,101,1001-1002

 vlan 101
   vn-segment 900001

 vlan 1001
   vn-segment 2001001

 vlan 1002
   vn-segment 2001002

 vrf context vxlan-900001
   vni 900001
   rd auto
   address-family ipv4 unicast
     route-target import 65535:101
     route-target import 65535:101 evpn
     route-target export 65535:101
     route-target export 65535:101 evpn
   address-family ipv6 unicast
     route-target import 65535:101
     route-target import 65535:101 evpn
     route-target export 65535:101
     route-target export 65535:101 evpn

 hardware access-list tcam region vpc-convergence 256

 interface Vlan101
   no shutdown
   vrf member vxlan-900001
   ip forward

 interface Vlan1001
   no shutdown
   vrf member vxlan-900001
   ip address 4.1.1.1/24
   ipv6 address 4:1:0:1::1/64
   fabric forwarding mode anycast-gateway

 interface Vlan1002
   no shutdown
   vrf member vxlan-900001
   ip address 4.2.2.1/24
   ipv6 address 4:2:0:1::1/64
   fabric forwarding mode anycast-gateway

 interface nve1
   no shutdown
   host-reachability protocol bgp
   source-interface loopback0
   member vni 900001 associate-vrf
   member vni 2001001
     ingress-replication protocol bgp
   member vni 2001002
     ingress-replication protocol bgp

 interface Ethernet1/1
   no switchport
   mac-address 5000.0003.0003
   ip address 192.168.1.43/24
   no shutdown

 interface Ethernet1/2
   no switchport
   mac-address 5000.0003.0003
   ip address 192.168.2.43/24
   no shutdown

 interface Ethernet1/3
   switchport access vlan 1001

 interface Ethernet1/4
   switchport access vlan 1002

 interface loopback0
   ip address 30.1.1.1/32

 router bgp 200
   router-id 30.1.1.1
   address-family ipv4 unicast
     network 30.1.1.1/32
   address-family l2vpn evpn
     maximum-paths 64
     maximum-paths ibgp 64
   neighbor 10.1.1.1
     remote-as 100
     update-source loopback0
     ebgp-multihop 3
     address-family l2vpn evpn
       allowas-in 3
       send-community extended
   neighbor 20.1.1.1
     remote-as 100
     update-source loopback0
     ebgp-multihop 3
     address-family l2vpn evpn
       allowas-in 3
       send-community extended
   neighbor 192.168.1.42
     remote-as 100
     address-family ipv4 unicast
       allowas-in 3
       disable-peer-as-check
   neighbor 192.168.2.42
     remote-as 100
     address-family ipv4 unicast
       allowas-in 3
       disable-peer-as-check
   vrf vxlan-900001
     neighbor 10.1.1.1
       remote-as 100

 evpn
   vni 2001001 l2
     rd 30.1.1.1:1001
     route-target import 30.1.1.1:1001
     route-target export 30.1.1.1:1001
   vni 2001002 l2
     rd 30.1.1.1:1002
     route-target import 30.1.1.1:1002
     route-target export 30.1.1.1:1002

NXOS4 – Leaf2

 hostname NXOS4

 nv overlay evpn
 feature bgp
 feature interface-vlan
 feature vn-segment-vlan-based
 feature lacp
 feature nv overlay

 fabric forwarding anycast-gateway-mac 0000.2222.3333

 vlan 1,101,1001-1002

 vlan 101
   vn-segment 900001

 vlan 1001
   vn-segment 2001001

 vlan 1002
   vn-segment 2001002

 vrf context vxlan-900001
   vni 900001
   rd auto
   address-family ipv4 unicast
     route-target import 65535:101
     route-target import 65535:101 evpn
     route-target export 65535:101
     route-target export 65535:101 evpn
   address-family ipv6 unicast
     route-target import 65535:101
     route-target import 65535:101 evpn
     route-target export 65535:101
     route-target export 65535:101 evpn

 hardware access-list tcam region vpc-convergence 256

 interface Vlan101
   no shutdown
   vrf member vxlan-900001
   ip forward

 interface Vlan1001
   no shutdown
   vrf member vxlan-900001
   ip address 4.1.1.1/24
   ipv6 address 4:1:0:1::1/64
   fabric forwarding mode anycast-gateway

 interface Vlan1002
   no shutdown
   vrf member vxlan-900001
   ip address 4.2.2.1/24
   ipv6 address 4:2:0:1::1/64
   fabric forwarding mode anycast-gateway

 interface nve1
   no shutdown
   host-reachability protocol bgp
   source-interface loopback0
   member vni 900001 associate-vrf
   member vni 2001001
     ingress-replication protocol bgp
   member vni 2001002
     ingress-replication protocol bgp

 interface Ethernet1/1
   no switchport
   mac-address 5000.0003.0004
   ip address 192.168.3.43/24
   no shutdown

 interface Ethernet1/2
   no switchport
   mac-address 5000.0003.0004
   ip address 192.168.4.43/24
   no shutdown

 interface Ethernet1/3
   switchport access vlan 1001

 interface Ethernet1/4
   switchport access vlan 1002

 interface loopback0
   ip address 40.1.1.1/32

 router bgp 200
   router-id 40.1.1.1
   address-family ipv4 unicast
     network 40.1.1.1/32
   address-family l2vpn evpn
     maximum-paths 64
     maximum-paths ibgp 64
   neighbor 10.1.1.1
     remote-as 100
     update-source loopback0
     ebgp-multihop 3
     address-family l2vpn evpn
       allowas-in 3
       send-community extended
   neighbor 20.1.1.1
     remote-as 100
     update-source loopback0
     ebgp-multihop 3
     address-family l2vpn evpn
       allowas-in 3
       send-community extended
   neighbor 192.168.3.42
     remote-as 100
     address-family ipv4 unicast
       allowas-in 3
       disable-peer-as-check
   neighbor 192.168.4.42
     remote-as 100
     address-family ipv4 unicast
       allowas-in 3
       disable-peer-as-check
   vrf vxlan-900001

 evpn
   vni 2001001 l2
     rd 30.1.1.1:1001
     route-target import 30.1.1.1:1001
     route-target export 30.1.1.1:1001
   vni 2001002 l2
     rd 30.1.1.1:1002
     route-target import 30.1.1.1:1002
     route-target export 30.1.1.1:1002

アンダーレイのステータス確認

NXOS1 – Spine1

XOS1# show ip bgp sum
 BGP summary information for VRF default, address family IPv4 Unicast
 BGP router identifier 10.1.1.1, local AS number 100
 BGP table version is 8, IPv4 Unicast config peers 2, capable peers 2
 4 network entries and 5 paths using 1080 bytes of memory
 BGP attribute entries [3/492], BGP AS path entries [2/16]
 BGP community entries [0/0], BGP clusterlist entries [0/0]
 Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
 192.168.1.43    4   200     742     740        8    0    0 12:15:00 2
 192.168.3.43    4   200     748     745        8    0    0 12:20:58 2
 NXOS1#
 NXOS1# show ip bgp
 BGP routing table information for VRF default, address family IPv4 Unicast
 BGP table version is 8, Local Router ID is 10.1.1.1
 Status: s-suppressed, x-deleted, S-stale, d-dampened, h-history, *-valid, >-best
 Path type: i-internal, e-external, c-confed, l-local, a-aggregate, r-redist, I-i
 njected
 Origin codes: i - IGP, e - EGP, ? - incomplete, | - multipath, & - backup, 2 - b
 est2
 Network            Next Hop            Metric     LocPrf     Weight Path
 *>l10.1.1.1/32        0.0.0.0                           100      32768 i
 e20.1.1.1/32        192.168.3.43                                   0 200 100 i
 *>e                   192.168.1.43                                   0 200 100 i
 *>e30.1.1.1/32        192.168.1.43                                   0 200 i
 *>e40.1.1.1/32        192.168.3.43                                   0 200 i 
 NXOS1#

NXOS2 – Spine2

NXOS2 - Spine2
 NXOS2# show ip bgp sum
 BGP summary information for VRF default, address family IPv4 Unicast
 BGP router identifier 20.1.1.1, local AS number 100
 BGP table version is 10, IPv4 Unicast config peers 2, capable peers 2
 4 network entries and 7 paths using 1320 bytes of memory
 BGP attribute entries [4/656], BGP AS path entries [3/30]
 BGP community entries [0/0], BGP clusterlist entries [0/0]
 Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
 192.168.2.43    4   200     704     701       10    0    0 11:36:02 3
 192.168.4.43    4   200     718     709       10    0    0 11:35:12 3
 NXOS2#
 NXOS2# show ip bgp
 BGP routing table information for VRF default, address family IPv4 Unicast
 BGP table version is 10, Local Router ID is 20.1.1.1
 Status: s-suppressed, x-deleted, S-stale, d-dampened, h-history, *-valid, >-best
 Path type: i-internal, e-external, c-confed, l-local, a-aggregate, r-redist, I-i
 njected
 Origin codes: i - IGP, e - EGP, ? - incomplete, | - multipath, & - backup, 2 - b
 est2
 Network            Next Hop            Metric     LocPrf     Weight Path
 e10.1.1.1/32        192.168.4.43                                   0 200 100 i
 *>e                   192.168.2.43                                   0 200 100 i
 *>l20.1.1.1/32        0.0.0.0                           100      32768 i
 e30.1.1.1/32        192.168.4.43                                   0 200 100 2
 00 i
 *>e                   192.168.2.43                                   0 200 i
 *>e40.1.1.1/32        192.168.4.43                                   0 200 i
 e                   192.168.2.43                                   0 200 100 2
 00 i 
 NXOS2#

NXOS3 – Leaf1

NXOS3# show ip bgp summary
 BGP summary information for VRF default, address family IPv4 Unicast
 BGP router identifier 30.1.1.1, local AS number 200
 BGP table version is 9, IPv4 Unicast config peers 2, capable peers 2
 4 network entries and 5 paths using 1080 bytes of memory
 BGP attribute entries [3/492], BGP AS path entries [2/16]
 BGP community entries [0/0], BGP clusterlist entries [0/0]
 Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
 192.168.1.42    4   100     744     742        9    0    0 12:16:33 2
 192.168.2.42    4   100     704     702        9    0    0 11:36:56 2
 NXOS3#
 NXOS3# show ip bgp
 BGP routing table information for VRF default, address family IPv4 Unicast
 BGP table version is 9, Local Router ID is 30.1.1.1
 Status: s-suppressed, x-deleted, S-stale, d-dampened, h-history, *-valid, >-best
 Path type: i-internal, e-external, c-confed, l-local, a-aggregate, r-redist, I-i
 njected
 Origin codes: i - IGP, e - EGP, ? - incomplete, | - multipath, & - backup, 2 - b
 est2
 Network            Next Hop            Metric     LocPrf     Weight Path
 *>e10.1.1.1/32        192.168.1.42                                   0 100 i
 *>e20.1.1.1/32        192.168.2.42                                   0 100 i
 *>l30.1.1.1/32        0.0.0.0                           100      32768 i
 e40.1.1.1/32        192.168.2.42                                   0 100 200 i
 *>e                   192.168.1.42                                   0 100 200 i 
 NXOS3#

NXOS4 – Leaf2

NXOS4 - Leaf2
 NXOS4# show ip bgp summary
 BGP summary information for VRF default, address family IPv4 Unicast
 BGP router identifier 40.1.1.1, local AS number 200
 BGP table version is 13, IPv4 Unicast config peers 2, capable peers 2
 4 network entries and 7 paths using 1320 bytes of memory
 BGP attribute entries [4/656], BGP AS path entries [3/30]
 BGP community entries [0/0], BGP clusterlist entries [0/0]
 Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
 192.168.3.42    4   100     750     748       13    0    0 12:23:05 3
 192.168.4.42    4   100     719     710       13    0    0 11:36:42 3
 NXOS4#
 NXOS4# show ip bgp
 BGP routing table information for VRF default, address family IPv4 Unicast
 BGP table version is 13, Local Router ID is 40.1.1.1
 Status: s-suppressed, x-deleted, S-stale, d-dampened, h-history, *-valid, >-best
 Path type: i-internal, e-external, c-confed, l-local, a-aggregate, r-redist, I-i
 njected
 Origin codes: i - IGP, e - EGP, ? - incomplete, | - multipath, & - backup, 2 - b
 est2
 Network            Next Hop            Metric     LocPrf     Weight Path
 e10.1.1.1/32        192.168.4.42                                   0 100 200 1
 00 i
 *>e                   192.168.3.42                                   0 100 i
 e20.1.1.1/32        192.168.3.42                                   0 100 200 1
 00 i
 *>e                   192.168.4.42                                   0 100 i
 e30.1.1.1/32        192.168.4.42                                   0 100 200 i
 *>e                   192.168.3.42                                   0 100 200 i
 *>l40.1.1.1/32        0.0.0.0                           100      32768 i 
 NXOS4#

オーバレイのステータス確認

NXOS1 – Spine1

 NXOS1# show bgp l2vpn evpn summary 
 BGP summary information for VRF default, address family L2VPN EVPN
 BGP router identifier 10.1.1.1, local AS number 100
 BGP table version is 18, L2VPN EVPN config peers 2, capable peers 2
 12 network entries and 12 paths using 2880 bytes of memory
 BGP attribute entries [10/1640], BGP AS path entries [1/6]
 BGP community entries [0/0], BGP clusterlist entries [0/0]
 

 Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
 30.1.1.1        4   200      39      31       18    0    0 00:23:48 6         
 40.1.1.1        4   200      36      28       18    0    0 00:23:20 6         
 NXOS1#  
 NXOS1# show bgp l2vpn evpn 
 BGP routing table information for VRF default, address family L2VPN EVPN
 BGP table version is 18, Local Router ID is 10.1.1.1
 Status: s-suppressed, x-deleted, S-stale, d-dampened, h-history, *-valid, >-best
 Path type: i-internal, e-external, c-confed, l-local, a-aggregate, r-redist, I-i
 njected
 Origin codes: i - IGP, e - EGP, ? - incomplete, | - multipath, & - backup, 2 - b
 est2
 

    Network            Next Hop            Metric     LocPrf     Weight Path
 Route Distinguisher: 30.1.1.1:1001
 *>e[2]:[0]:[0]:[48]:[0050.7966.6806]:[0]:[0.0.0.0]/216
                       30.1.1.1                                       0 200 i
 *>e[2]:[0]:[0]:[48]:[0050.7966.6809]:[0]:[0.0.0.0]/216
                       40.1.1.1                                       0 200 i
 *>e[2]:[0]:[0]:[48]:[0050.7966.6806]:[32]:[4.1.1.11]/272
                       30.1.1.1                                       0 200 i
 *>e[2]:[0]:[0]:[48]:[0050.7966.6809]:[32]:[4.1.1.12]/272
                       40.1.1.1                                       0 200 i
 *>e[3]:[0]:[32]:[30.1.1.1]/88
                       30.1.1.1                                       0 200 i
 *>e[3]:[0]:[32]:[40.1.1.1]/88
                       40.1.1.1                                       0 200 i
 

 Route Distinguisher: 30.1.1.1:1002
 *>e[2]:[0]:[0]:[48]:[0050.7966.6807]:[0]:[0.0.0.0]/216
                       30.1.1.1                                       0 200 i
 *>e[2]:[0]:[0]:[48]:[0050.7966.680a]:[0]:[0.0.0.0]/216
                       40.1.1.1                                       0 200 i
 *>e[2]:[0]:[0]:[48]:[0050.7966.6807]:[32]:[4.2.2.11]/272
                       30.1.1.1                                       0 200 i
 *>e[2]:[0]:[0]:[48]:[0050.7966.680a]:[32]:[4.2.2.12]/272
                       40.1.1.1                                       0 200 i
 *>e[3]:[0]:[32]:[30.1.1.1]/88
                       30.1.1.1                                       0 200 i
 *>e[3]:[0]:[32]:[40.1.1.1]/88
                       40.1.1.1                                       0 200 i
 

 NXOS1#   

NXOS2 – Spine2

 NXOS2# show bgp l2vpn evpn summary 
 BGP summary information for VRF default, address family L2VPN EVPN
 BGP router identifier 20.1.1.1, local AS number 100
 BGP table version is 19, L2VPN EVPN config peers 2, capable peers 2
 12 network entries and 12 paths using 2880 bytes of memory
 BGP attribute entries [10/1640], BGP AS path entries [1/6]
 BGP community entries [0/0], BGP clusterlist entries [0/0]
 

 Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
 30.1.1.1        4   200      36      27       19    0    0 00:17:43 6         
 40.1.1.1        4   200      32      22       19    0    0 00:17:14 6         
 NXOS2# 
 NXOS2# show bgp l2vpn evpn 
 BGP routing table information for VRF default, address family L2VPN EVPN
 BGP table version is 19, Local Router ID is 20.1.1.1
 Status: s-suppressed, x-deleted, S-stale, d-dampened, h-history, *-valid, >-best
 Path type: i-internal, e-external, c-confed, l-local, a-aggregate, r-redist, I-i
 njected
 Origin codes: i - IGP, e - EGP, ? - incomplete, | - multipath, & - backup, 2 - b
 est2
 

    Network            Next Hop            Metric     LocPrf     Weight Path
 Route Distinguisher: 30.1.1.1:1001
 *>e[2]:[0]:[0]:[48]:[0050.7966.6806]:[0]:[0.0.0.0]/216
                       30.1.1.1                                       0 200 i
 *>e[2]:[0]:[0]:[48]:[0050.7966.6809]:[0]:[0.0.0.0]/216
                       40.1.1.1                                       0 200 i
 *>e[2]:[0]:[0]:[48]:[0050.7966.6806]:[32]:[4.1.1.11]/272
                       30.1.1.1                                       0 200 i
 *>e[2]:[0]:[0]:[48]:[0050.7966.6809]:[32]:[4.1.1.12]/272
                       40.1.1.1                                       0 200 i
 *>e[3]:[0]:[32]:[30.1.1.1]/88
                       30.1.1.1                                       0 200 i
 *>e[3]:[0]:[32]:[40.1.1.1]/88
                       40.1.1.1                                       0 200 i
 

 Route Distinguisher: 30.1.1.1:1002
 *>e[2]:[0]:[0]:[48]:[0050.7966.6807]:[0]:[0.0.0.0]/216
                       30.1.1.1                                       0 200 i
 *>e[2]:[0]:[0]:[48]:[0050.7966.680a]:[0]:[0.0.0.0]/216
                       40.1.1.1                                       0 200 i
 *>e[2]:[0]:[0]:[48]:[0050.7966.6807]:[32]:[4.2.2.11]/272
                       30.1.1.1                                       0 200 i
 *>e[2]:[0]:[0]:[48]:[0050.7966.680a]:[32]:[4.2.2.12]/272
                       40.1.1.1                                       0 200 i
 *>e[3]:[0]:[32]:[30.1.1.1]/88
                       30.1.1.1                                       0 200 i
 *>e[3]:[0]:[32]:[40.1.1.1]/88
                       40.1.1.1                                       0 200 i
 

 NXOS2# 

NXOS3 – Leaf1

 NXOS3# show bgp l2vpn evpn summary 
 BGP summary information for VRF default, address family L2VPN EVPN
 BGP router identifier 30.1.1.1, local AS number 200
 BGP table version is 25, L2VPN EVPN config peers 2, capable peers 2
 14 network entries and 20 paths using 3840 bytes of memory
 BGP attribute entries [14/2296], BGP AS path entries [1/10]
 BGP community entries [0/0], BGP clusterlist entries [0/0]
 

 Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
 10.1.1.1        4   100      32      25       25    0    0 00:18:59 6         
 20.1.1.1        4   100      34      26       25    0    0 00:19:02 6         
 NXOS3# 
 NXOS3# show bgp l2vpn evpn
 BGP routing table information for VRF default, address family L2VPN EVPN
 BGP table version is 25, Local Router ID is 30.1.1.1
 Status: s-suppressed, x-deleted, S-stale, d-dampened, h-history, *-valid, >-best
 Path type: i-internal, e-external, c-confed, l-local, a-aggregate, r-redist, I-i
 njected
 Origin codes: i - IGP, e - EGP, ? - incomplete, | - multipath, & - backup, 2 - b
 est2
 

    Network            Next Hop            Metric     LocPrf     Weight Path
 Route Distinguisher: 30.1.1.1:1001    (L2VNI 2001001)
 *>l[2]:[0]:[0]:[48]:[0050.7966.6806]:[0]:[0.0.0.0]/216
                       30.1.1.1                          100      32768 i
 * e[2]:[0]:[0]:[48]:[0050.7966.6809]:[0]:[0.0.0.0]/216
                       40.1.1.1                                       0 100 200 i
 *>e                   40.1.1.1                                       0 100 200 i
 *>l[2]:[0]:[0]:[48]:[0050.7966.6806]:[32]:[4.1.1.11]/272
                       30.1.1.1                          100      32768 i
 *>e[2]:[0]:[0]:[48]:[0050.7966.6809]:[32]:[4.1.1.12]/272
                       40.1.1.1                                       0 100 200 i
 * e                   40.1.1.1                                       0 100 200 i
 *>l[3]:[0]:[32]:[30.1.1.1]/88
                       30.1.1.1                          100      32768 i
 * e[3]:[0]:[32]:[40.1.1.1]/88
                       40.1.1.1                                       0 100 200 i
 *>e                   40.1.1.1                                       0 100 200 i
 

 Route Distinguisher: 30.1.1.1:1002    (L2VNI 2001002)
 *>l[2]:[0]:[0]:[48]:[0050.7966.6807]:[0]:[0.0.0.0]/216
                       30.1.1.1                          100      32768 i
 * e[2]:[0]:[0]:[48]:[0050.7966.680a]:[0]:[0.0.0.0]/216
                       40.1.1.1                                       0 100 200 i
 *>e                   40.1.1.1                                       0 100 200 i
 *>l[2]:[0]:[0]:[48]:[0050.7966.6807]:[32]:[4.2.2.11]/272
                       30.1.1.1                          100      32768 i
 * e[2]:[0]:[0]:[48]:[0050.7966.680a]:[32]:[4.2.2.12]/272
                       40.1.1.1                                       0 100 200 i
 *>e                   40.1.1.1                                       0 100 200 i
 *>l[3]:[0]:[32]:[30.1.1.1]/88
                       30.1.1.1                          100      32768 i
 * e[3]:[0]:[32]:[40.1.1.1]/88
                       40.1.1.1                                       0 100 200 i
 *>e                   40.1.1.1                                       0 100 200 i
 

 Route Distinguisher: 30.1.1.1:3    (L3VNI 900001)
 *>e[2]:[0]:[0]:[48]:[0050.7966.6809]:[32]:[4.1.1.12]/272
                       40.1.1.1                                       0 100 200 i
 *>e[2]:[0]:[0]:[48]:[0050.7966.680a]:[32]:[4.2.2.12]/272
                       40.1.1.1                                       0 100 200 i
 

 NXOS3# 
 NXOS3# show system internal l2fwder mac
 Legend: 
         * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
         age - seconds since last seen,+ - primary entry using vPC Peer-Link,
         (T) - True, (F) - False, C - ControlPlane MAC
    VLAN     MAC Address      Type      age     Secure NTFY Ports
 ---------+-----------------+--------+---------+------+----+------------------
 *  1002    0050.7966.6807   dynamic   00:17:54   F     F     Eth1/4  
 *  1001    0050.7966.6806   dynamic   00:17:54   F     F     Eth1/3  
 *  1002    0050.7966.680a    static   -          F     F  nve-peer1 40.1.1.1  
 G     -    5000:0003:0003    static   -          F     F   sup-eth1(R)
 G   101    5000.0003.0007    static   -          F     F   sup-eth1(R)
 *  1001    0050.7966.6809    static   -          F     F  nve-peer1 40.1.1.1  
 G  1001    5000.0003.0007    static   -          F     F   sup-eth1(R)
 G  1002    5000.0003.0007    static   -          F     F   sup-eth1(R)
     1           1         -00:00:22:22:33:33         -             1
 NXOS3# 
 NXOS3# show ip route vrf vxlan-900001 
 IP Route Table for VRF "vxlan-900001"
 '*' denotes best ucast next-hop
 '**' denotes best mcast next-hop
 '[x/y]' denotes [preference/metric]
 '%<string>' in via output denotes VRF <string>
 

 4.1.1.0/24, ubest/mbest: 1/0, attached
     *via 4.1.1.1, Vlan1001, [0/0], 00:19:46, direct
 4.1.1.1/32, ubest/mbest: 1/0, attached
     *via 4.1.1.1, Vlan1001, [0/0], 00:19:46, local
 4.1.1.11/32, ubest/mbest: 1/0, attached
     *via 4.1.1.11, Vlan1001, [190/0], 00:17:14, hmm
 4.1.1.12/32, ubest/mbest: 1/0
     *via 40.1.1.1%default, [20/0], 00:17:00, bgp-200, external, tag 100 (evpn) s
 egid: 900001 tunnelid: 0x28010101 encap: VXLAN
  
 4.2.2.0/24, ubest/mbest: 1/0, attached
     *via 4.2.2.1, Vlan1002, [0/0], 00:19:45, direct
 4.2.2.1/32, ubest/mbest: 1/0, attached
     *via 4.2.2.1, Vlan1002, [0/0], 00:19:45, local
 4.2.2.11/32, ubest/mbest: 1/0, attached
     *via 4.2.2.11, Vlan1002, [190/0], 00:16:51, hmm
 4.2.2.12/32, ubest/mbest: 1/0
     *via 40.1.1.1%default, [20/0], 00:16:41, bgp-200, external, tag 100 (evpn) s
 egid: 900001 tunnelid: 0x28010101 encap: VXLAN
  
 

 NXOS3# 
 NXOS3# show ip arp vrf vxlan-900001 
 

 Flags: * - Adjacencies learnt on non-active FHRP router
        + - Adjacencies synced via CFSoE
        # - Adjacencies Throttled for Glean
        CP - Added via L2RIB, Control plane Adjacencies
        PS - Added via L2RIB, Peer Sync
        RO - Re-Originated Peer Sync Entry
        D - Static Adjacencies attached to down interface
 

 IP ARP Table for context vxlan-900001
 Total number of entries: 2
 Address         Age       MAC Address     Interface       Flags
 4.1.1.11        00:16:15  0050.7966.6806  Vlan1001        
 4.2.2.11        00:16:05  0050.7966.6807  Vlan1002        
 NXOS3# 
 NXOS3# show nve peers
 Interface Peer-IP                                 State LearnType Uptime   Route
 r-Mac       
 --------- --------------------------------------  ----- --------- -------- -----
 ------------
 nve1      40.1.1.1                                Up    CP        00:19:20 5000.
 0004.0007   
 

 NXOS3# 
 NXOS3# show nve vni
 Codes: CP - Control Plane        DP - Data Plane          
        UC - Unconfigured         SA - Suppress ARP        
        SU - Suppress Unknown Unicast 
        Xconn - Crossconnect      
        MS-IR - Multisite Ingress Replication
  
 Interface VNI      Multicast-group   State Mode Type [BD/VRF]      Flags
 --------- -------- ----------------- ----- ---- ------------------ -----
 nve1      900001   n/a               Up    CP   L3 [vxlan-900001]       
 nve1      2001001  UnicastBGP        Up    CP   L2 [1001]               
 nve1      2001002  UnicastBGP        Up    CP   L2 [1002]               
 

 NXOS3#  

NXOS4 – Leaf2

 NXOS4# show bgp l2vpn evpn summary 
 BGP summary information for VRF default, address family L2VPN EVPN
 BGP router identifier 40.1.1.1, local AS number 200
 BGP table version is 31, L2VPN EVPN config peers 2, capable peers 2
 14 network entries and 20 paths using 3840 bytes of memory
 BGP attribute entries [14/2296], BGP AS path entries [1/10]
 BGP community entries [0/0], BGP clusterlist entries [0/0]
 

 Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
 10.1.1.1        4   100      31      25       31    0    0 00:20:46 6         
 20.1.1.1        4   100      31      25       31    0    0 00:20:48 6         
 NXOS4# 
 NXOS4# show bgp l2vpn evpn 
 BGP routing table information for VRF default, address family L2VPN EVPN
 BGP table version is 31, Local Router ID is 40.1.1.1
 Status: s-suppressed, x-deleted, S-stale, d-dampened, h-history, *-valid, >-best
 Path type: i-internal, e-external, c-confed, l-local, a-aggregate, r-redist, I-i
 njected
 Origin codes: i - IGP, e - EGP, ? - incomplete, | - multipath, & - backup, 2 - b
 est2
 

    Network            Next Hop            Metric     LocPrf     Weight Path
 Route Distinguisher: 30.1.1.1:1001    (L2VNI 2001001)
 * e[2]:[0]:[0]:[48]:[0050.7966.6806]:[0]:[0.0.0.0]/216
                       30.1.1.1                                       0 100 200 i
 *>e                   30.1.1.1                                       0 100 200 i
 *>l[2]:[0]:[0]:[48]:[0050.7966.6809]:[0]:[0.0.0.0]/216
                       40.1.1.1                          100      32768 i
 * e[2]:[0]:[0]:[48]:[0050.7966.6806]:[32]:[4.1.1.11]/272
                       30.1.1.1                                       0 100 200 i
 *>e                   30.1.1.1                                       0 100 200 i
 *>l[2]:[0]:[0]:[48]:[0050.7966.6809]:[32]:[4.1.1.12]/272
                       40.1.1.1                          100      32768 i
 * e[3]:[0]:[32]:[30.1.1.1]/88
                       30.1.1.1                                       0 100 200 i
 *>e                   30.1.1.1                                       0 100 200 i
 *>l[3]:[0]:[32]:[40.1.1.1]/88
                       40.1.1.1                          100      32768 i
 

 Route Distinguisher: 30.1.1.1:1002    (L2VNI 2001002)
 * e[2]:[0]:[0]:[48]:[0050.7966.6807]:[0]:[0.0.0.0]/216
                       30.1.1.1                                       0 100 200 i
 *>e                   30.1.1.1                                       0 100 200 i
 *>l[2]:[0]:[0]:[48]:[0050.7966.680a]:[0]:[0.0.0.0]/216
                       40.1.1.1                          100      32768 i
 * e[2]:[0]:[0]:[48]:[0050.7966.6807]:[32]:[4.2.2.11]/272
                       30.1.1.1                                       0 100 200 i
 *>e                   30.1.1.1                                       0 100 200 i
 *>l[2]:[0]:[0]:[48]:[0050.7966.680a]:[32]:[4.2.2.12]/272
                       40.1.1.1                          100      32768 i
 * e[3]:[0]:[32]:[30.1.1.1]/88
                       30.1.1.1                                       0 100 200 i
 *>e                   30.1.1.1                                       0 100 200 i
 *>l[3]:[0]:[32]:[40.1.1.1]/88
                       40.1.1.1                          100      32768 i
 

 Route Distinguisher: 40.1.1.1:3    (L3VNI 900001)
 *>e[2]:[0]:[0]:[48]:[0050.7966.6806]:[32]:[4.1.1.11]/272
                       30.1.1.1                                       0 100 200 i
 *>e[2]:[0]:[0]:[48]:[0050.7966.6807]:[32]:[4.2.2.11]/272
                       30.1.1.1                                       0 100 200 i
 

 NXOS4# 
 NXOS4# show system internal l2fwder mac
 Legend: 
         * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
         age - seconds since last seen,+ - primary entry using vPC Peer-Link,
         (T) - True, (F) - False, C - ControlPlane MAC
    VLAN     MAC Address      Type      age     Secure NTFY Ports
 ---------+-----------------+--------+---------+------+----+------------------
 *  1002    0050.7966.6807    static   -          F     F  nve-peer1 30.1.1.1  
 G   101    5000.0004.0007    static   -          F     F   sup-eth1(R)
 *  1001    0050.7966.6806    static   -          F     F  nve-peer1 30.1.1.1  
 *  1002    0050.7966.680a   dynamic   00:20:29   F     F     Eth1/4  
 G  1001    5000.0004.0007    static   -          F     F   sup-eth1(R)
 G  1002    5000.0004.0007    static   -          F     F   sup-eth1(R)
 *  1001    0050.7966.6809   dynamic   00:20:28   F     F     Eth1/3  
 G     -    5000:0003:0004    static   -          F     F   sup-eth1(R)
     1           1         -00:00:22:22:33:33         -             1
 NXOS4# 
 NXOS4# show ip route vrf vxlan-900001
 IP Route Table for VRF "vxlan-900001"
 '*' denotes best ucast next-hop
 '**' denotes best mcast next-hop
 '[x/y]' denotes [preference/metric]
 '%<string>' in via output denotes VRF <string>
 

 4.1.1.0/24, ubest/mbest: 1/0, attached
     *via 4.1.1.1, Vlan1001, [0/0], 00:22:22, direct
 4.1.1.1/32, ubest/mbest: 1/0, attached
     *via 4.1.1.1, Vlan1001, [0/0], 00:22:22, local
 4.1.1.11/32, ubest/mbest: 1/0
     *via 30.1.1.1%default, [20/0], 00:20:00, bgp-200, external, tag 100 (evpn) s
 egid: 900001 tunnelid: 0x1e010101 encap: VXLAN
  
 4.1.1.12/32, ubest/mbest: 1/0, attached
     *via 4.1.1.12, Vlan1001, [190/0], 00:19:47, hmm
 4.2.2.0/24, ubest/mbest: 1/0, attached
     *via 4.2.2.1, Vlan1002, [0/0], 00:22:21, direct
 4.2.2.1/32, ubest/mbest: 1/0, attached
     *via 4.2.2.1, Vlan1002, [0/0], 00:22:21, local
 4.2.2.11/32, ubest/mbest: 1/0
     *via 30.1.1.1%default, [20/0], 00:19:37, bgp-200, external, tag 100 (evpn) s
 egid: 900001 tunnelid: 0x1e010101 encap: VXLAN
  
 4.2.2.12/32, ubest/mbest: 1/0, attached
     *via 4.2.2.12, Vlan1002, [190/0], 00:19:27, hmm
 

 NXOS4# 
 NXOS4#  show ip arp vrf vxlan-900001 
 

 Flags: * - Adjacencies learnt on non-active FHRP router
        + - Adjacencies synced via CFSoE
        # - Adjacencies Throttled for Glean
        CP - Added via L2RIB, Control plane Adjacencies
        PS - Added via L2RIB, Peer Sync
        RO - Re-Originated Peer Sync Entry
        D - Static Adjacencies attached to down interface
 

 IP ARP Table for context vxlan-900001
 Total number of entries: 2
 Address         Age       MAC Address     Interface       Flags
 4.1.1.12        00:00:14  0050.7966.6809  Vlan1001        
 4.2.2.12        00:00:51  0050.7966.680a  Vlan1002        
 NXOS4# 
 NXOS4# show nve peers
 Interface Peer-IP                                 State LearnType Uptime   Route
 r-Mac       
 --------- --------------------------------------  ----- --------- -------- -----
 ------------
 nve1      30.1.1.1                                Up    CP        00:22:05 5000.
 0003.0007   
 

 NXOS4# 
 NXOS4# show nve vni
 Codes: CP - Control Plane        DP - Data Plane          
        UC - Unconfigured         SA - Suppress ARP        
        SU - Suppress Unknown Unicast 
        Xconn - Crossconnect      
        MS-IR - Multisite Ingress Replication
  
 Interface VNI      Multicast-group   State Mode Type [BD/VRF]      Flags
 --------- -------- ----------------- ----- ---- ------------------ -----
 nve1      900001   n/a               Up    CP   L3 [vxlan-900001]       
 nve1      2001001  UnicastBGP        Up    CP   L2 [1001]               
 nve1      2001002  UnicastBGP        Up    CP   L2 [1002]               
 

 NXOS4# 

結果

問題なく各端末感で疎通できることを確認

参考URL

Cisco Nexus 9000 Series NX-OS VXLAN Configuration Guide, Release 9.3(x)

VXLANチュートリアル

ジュニパーネットワークス EVPN 次世代データ センター アーキテクチャの実装

Next Generation Data Center Infrastructure

NEXUSEVPN,Nexus,nxos,VXLAN

Posted by admin