Hướng Dẫn Sửa Lỗi EPVN VXLAN TRM Trên Switch Cisco Catalyst 9000

TỔNG QUAN VỀ EPVN VXLAN TRM TRÊN SWITCH CISCO CATALYST 9000

TRM Qua EPVN VXLAN Trên Cisco Catalyst 9000 Series Là Gì?

EPVN VXLAN TRM Trên Switch Cisco Catalyst 9000 Là Gì?
EPVN VXLAN TRM Trên Switch Cisco Catalyst 9000 Là Gì?

Tenant Routed Multicast (TRM) là một giải pháp dựa trên BGP-EVPN cho phép định tuyến multicast giữa các nguồn và bộ thu được kết nối trên VTEPS trong kết cấu VxLAN [RFC7432]. TRM dựa vào các tuyến có trong EVPN unicast để khám phá nguồn phát đa hướng và RP phát đa hướng. Giống như NG-MVPN, thông tin nguồn và máy thu Multicast được truyền bá bởi giao thức BGP giữa các VTEP được cấu hình với họ địa chỉ BGP MVPN. Không có gói PIM/IGMP nào được gửi tới kết cấu VxLAN từ TRM VTEP.

Vấn đề chính mà TRM giải quyết là khả năng của người gửi và người nhận phát đa hướng nằm trong các Vlan khác nhau nhưng trong cùng một VRF, có thể giao tiếp với nhau. Nếu không có TRM, lưu lượng phát đa hướng được gửi như một phần của cùng một cơ sở hạ tầng BUM (Broadcast, Unicast và Multicast) trong lớp nền, có thể là một cây phát đa hướng hoặc một bản sao xâm nhập. Cơ sở hạ tầng này được xây dựng trên mỗi Vlan và kết quả là trong khi các nguồn và bộ thu phát đa hướng trên cùng một Vlan có thể giao tiếp, những nguồn trên các Vlan khác nhau thì không thể. Với TRM, Multicast được chuyển ra khỏi BUM và được kết hợp với nhau dưới VRF gốc. Do đó, giao tiếp phát đa hướng được bật hoàn toàn, bất kể Vlan mà nguồn hoặc bộ thu cư trú.

TRM cung cấp chuyển tiếp phát đa hướng nhận biết nhiều bên thuê giữa người gửi và người nhận trong cùng một mạng con hoặc mạng con cục bộ khác hoặc trên các VTEP.

Các dòng sản phẩm Cisco Catalyst 9000 hỗ trợ TRM bao gồm:

Các Thuật Ngữ Liên Quan Đến EPVN VxLAN TRM Trên Cisco Catalyst 9000 Switch

Bảng dưới đây cho thấy các thuật ngữ liên quan đến TRM trên Switch Cisco 9000 Series

EVPN Ethernet Virtual Private Network Tiện ích mở rộng cho phép BGP vận chuyển thông tin IP lớp 2 và MAC lớp 3 là EPVN và sử dụng Multi-Protocol Border Gateway Protocol (MP-BGP) như một giao thức để phân phối thông tin khả năng tiếp cận liên quan đến mạng lớp phủ VXLAN
VXLAN Virtual Extensible LAN (Local Area Network) VXLAN được thiết kế để khắc phục những hạn chế vốn có của VLAN và STP. Đó là một tiêu chuẩn IETF [RFC 7348] để cung cấp các dịch vụ mạng Ethernet Layer 2 giống như VLAN, nhưng với tính linh hoạt cao hơn. Về mặt chức năng, nó là một giao thức đóng gói MAC-in-UDP chạy dưới dạng lớp phủ ảo trên mạng layer 3.
VTEP Virtual Tunnel Endpoint Đây là thiết bị thực hiện đóng gói và giải đóng gói
NVE Network Virtual Interface Giao diện logic nơi diễn ra quá trình đóng gói và giải đóng gói
VNI VXLAN network identifier Xác định duy nhất mỗi phân đoạn hoặc mạng con layer 2. Có 2 loại VNI:

Symmetric (L2VNI): Các VTEP có cùng VNI

Asymmetric (L3VNI): Các VTEP không có cùng VNI và được định tuyến thông qua một VNI duy nhất.

MDT Multicast Distribution Tree Cây phát đa hướng được xây dựng giữa các VTEP để đóng gói và tạo tunnelling cho Tenant Multicast Traffic.
BUM Broadcast, Unknown Unicast, Multicast Lưu lượng BUM được gửi qua nhóm Mcast gắn với VNI theo cấu hình NVE.
RP Rendezvous Point Một vai trò mà thiết bị thực hiện khi ở chế độ PIM Sparse. Điểm gặp gỡ chung cho các nguồn Multicast và bộ thu
AnyCast (RP) AnyCast Rendezvous Point Hai hoặc nhiều RP được cấu hình với cùng một địa chỉ IP trên các giao diện loopback. FHR đăng ký tới RP gần nhất dựa trên định tuyến Unicast
RPT (Tree) Root Path Tree Còn được gọi là cây Shared hoặc *,G. Con đường này hướng tới RP
SPT (Tree) Shortest Path Tree Đường dẫn ngắn nhất đến nguồn được xác định bởi bảng định tuyến Unicast
FHR First Hop Router Thiết bị được kết nối trực tiếp (ARP liền kề) với nguồn. FHR đăng ký thông tin nguồn với RP
LHR Last Hop Router Thiết bị mà bộ thu được kết nối
RPF Reverse Path Forwarding Đường dẫn Unicast trở lại nguồn. Các gói phát đa hướng đến không được chấp nhận/chuyển tiếp trừ khi chúng được nhận cùng đường dẫn với bảng định tuyến Unicast (không bao gồm các trường hợp sử dụng ‘ip multicast multipath’).
MRIB Multicast Routing Information Base Bảng định tuyến multicast của phần mềm hay còn gọi là mroute table
MFIB Multicast Forwarding Information Base Tương đương phát đa hướng của CEF. Được phổ biến bởi các bản cập nhật từ MRIB và được sử dụng để chuyển tiếp bởi Mặt phẳng dữ liệu.
FED Forwarding Engine Driver Thành phần lập trình phần cứng của thiết bị. 
IIF Incoming Interface Giao diện hỗ trợ PIM cũng là đường dẫn ngược dòng RPF unicast trở lại Nguồn. (xem trong chương trình ip mroute)
OIF Outgoing Interface Giao diện hỗ trợ PIM xuôi dòng về phía Bộ thu. (xem trong chương trình ip mroute)

XÁC THỰC VÀ SỬA LỖI EVPN VXLAN TRM TRÊN SWITCH CISCO CATALYST 9000 SERIES

Dưới đây là các yêu cầu cơ bản chung cho các trường hợp xác thực EVPN VXLAN TRM trên Switch Cisco 9000 Series

  • Đảm bảo các NVE ngang hàng bắt buộc đã ở trạng thái up
  • Đảm bảo giao diện RPF hướng tới nguồn trong Tenant VRF là L3VNI SVI. Nếu giao diện RPF không phải là L3VNI SVI, BGP sẽ không gửi type-7 tham gia route. Trong mọi trường hợp, giao diện RPF phải trỏ đến giao diện này.
  • Đảm bảo đường dẫn Underlay (MDT tunnel) giữa các thiết bị ngang hàng đã hoàn tất
  • Đảm bảo rằng BGP được sử dụng cho multicast control-plane (sử dụng MVPN so với PIM)

Xác Thực NVE Ngang Hàng

Kiểm tra để đảm bảo NVE ngang hàng ở giữa các VTEP cho bất kỳ tình huống nào trong hướng dẫn này

  • Các NVE ngang hàng được hình thành bởi các địa chỉ học được từ BGP
Leaf-01#sh nve peers
Interface VNI    Type Peer-IP       RMAC/Num_RTs   eVNI    state flags UP time
nve1      50901  L3CP 172.16.254.4  7c21.0dbd.9548 50901   UP    A/-/4 01:54:11 <-- IPv4 peering with Leaf 02
nve1      50901  L3CP 172.16.254.4  7c21.0dbd.9548 50901   UP    A/M/6 17:48:36 <-- IPv6 peering with Leaf 02

Leaf-02#sh nve peers
Interface VNI    Type Peer-IP       RMAC/Num_RTs   eVNI    state flags UP time
nve1      50901  L3CP 172.16.254.3  10b3.d56a.8fc8 50901   UP    A/-/4 01:55:44 <-- IPv4 peering with Leaf 01
nve1      50901  L3CP 172.16.254.3  10b3.d56a.8fc8 50901   UP    A/M/6 17:56:19 <-- IPv6 peering with Leaf 01

Xác Thực Giao Diện RPF Trong Tenant VRF

Nếu giao diện này là bất kỳ giao diện nào khác ngoài L3VNI SVI, thì BGP không khởi tạo kết nối MVPN Type-7.

Nếu bạn không thấy giao diện này, vui lòng xác nhận rằng không có vấn đề gì với cấu hình khiến tuyến đường quay lại Nguồn không phải là giao diện L3VNI.

Leaf-03#sh ip rpf vrf green 10.1.101.11 <-- Multicast source IP 
RPF information for ? (10.1.101.11)
  RPF interface: Vlan901                <-- RPF interface is the L3VNI SVI 
  RPF neighbor: ? (172.16.254.3)        <-- Underlay Next hop IP
  RPF route/mask: 10.1.101.0/24         <-- Network prefix for the Source 
  RPF type: unicast (bgp 65001)  
  Doing distance-preferred lookups across tables
  RPF topology: ipv4 multicast base, originated from ipv4 unicast base

Xác Thực Multicast Control Plane Sử Dụng BGP

  • mdt overlay use-bgp: Thông báo cho các thiết bị sử dụng BGP MVPN loại 5/6/7 làm giao thức tín hiệu (so với tin nhắn PIM)
  • spt-only: Từ khóa bổ sung thông báo cho thiết bị sử dụng STP tree trong kịch bản AnyCast RP. Vì mỗi VTEP là một RP nên không có tuyến MVPN Type-6 nào được sử dụng.
Leaf-01
!
vrf definition green
rd 1:1
!
address-family ipv4
mdt auto-discovery vxlan
mdt default vxlan 239.1.1.1       <-- Defines MDT default underlay group address 
mdt overlay use-bgp [spt-only]    <-- Required for VTEP to use MVPN Type 5/6/7 versus PIM for multicast control plane. (spt-only used for Anycast RP scenario) 

Xác Thực MDT Group

MDT Group là chung cho tất cả các kịch bản vì đây là nhóm tunnel bên ngoài mà nhóm TRM được gói gọn trong đó.

Kiểm tra xem nhóm MDT có được lập trình chính xác ở phía Source không

  • Giao diện đầu vào của nhóm MDT là Loopback phía nguồn
  • Giao diện gửi đi của nhóm MDT là giao diện Underlay

Verify Leaf-01: MDT mroute là chính xác trong MRIB/MFIB

Leaf-01#sh ip mroute 239.1.1.1 172.16.254.3
(172.16.254.3, 239.1.1.1), 00:46:35/00:02:05, flags: FTx
  Incoming interface: Loopback1, RPF nbr 0.0.0.0             <-- IIF is local loopback with 0.0.0.0 RPF indicating local
  Outgoing interface list:
    GigabitEthernet1/0/2, Forward/Sparse, 00:46:35/00:03:12  <-- OIF is the underlay uplink 

Leaf-01#sh ip mfib 239.1.1.1 172.16.254.3
(172.16.254.3,239.1.1.1) Flags: HW
  SW Forwarding: 2/0/150/0, Other: 1/1/0
  HW Forwarding: 1458/0/156/0, Other: 0/0/0 <-- Hardware counters indicate the entry is operating in hardware and forwarding packets 
  Null0 Flags: A NS                         <--- Null0 (originated locally) 
  GigabitEthernet1/0/2 Flags: F NS          <-- OIF is into the Underlay (Global route table)
    Pkts: 0/0/1 Rate: 0 pps

Verify Leaf-01: Các mục nhập FED cho nhóm MDT

Leaf-01#sh platform software fed switch active ip mfib 239.1.1.1/32 172.16.254.3 detail <-- the detail option gives summary of the HW indexes 

MROUTE ENTRY vrf 0 (172.16.254.3, 239.1.1.1/32) <-- vrf 0 = global for this MDT S,G pair
  HW Handle: 139738317079128 Flags:
RPF interface: Null0(1)):                       <-- Leaf-01 the Source (Null0)
  HW Handle:139738317079128 Flags:A
Number of OIF: 2
Flags: 0x4 Pkts : 71            <-- packets that used this adjacency (similar to mfib command, but shown at the FED layer)
OIF Details:
     Null0 A                    <-- The incoming interface is Local Loopback1 and A-Accept flag set
     GigabitEthernet1/0/2 F NS  <-- The Underlay Outgoing Interface and F-Forward flag set
Htm: 0x7f175cc0beb8 Si: 0x7f175cc0a6b8 Di: 0x7f175cc09df8 Rep_ri: 0x7f175cc0a1d8 <-- The DI (dest index) handle

DI details 
----------
Handle:0x7f175cc09df8 Res-Type:ASIC_RSC_DI Res-Switch-Num:255 Asic-Num:255 Feature-ID:AL_FID_L3_MULTICAST_IPV4 Lkp-ftr-id:LKP_FEAT_INVALID ref_count:1
priv_ri/priv_si Handle:(nil) Hardware Indices/Handles: index0:0x538d mtu_index/l3u_ri_index0:0x0 index1:0x538d mtu_index/l3u_ri_index1:0x0

Brief Resource Information (ASIC_INSTANCE# 1)
----------------------------------------
Destination index = 0x538d
pmap = 0x00000000 0x00000002
pmap_intf : [GigabitEthernet1/0/2]  <-- FED has the correct programming for the OIF 
==============================================================

Kiểm tra xem nhóm MDT có được lập trình chính xác ở phía Receiver không

  • Giao diện đến của nhóm MDT là giao diện quay lại Loopback phía Source
  • Giao diện gửi đi của nhóm MDT là giao diện Encap/Decap Tunnel

Verify Leaf-02: MDT mroute là chính xác trong MRIB/MFIB

Leaf-02#sh ip mroute 172.16.254.3 239.1.1.1         <-- This is the Global MDT group 
(172.16.254.3, 239.1.1.1), 00:23:35/00:01:09, flags: JTx <-- Source is Leaf-01 Lo1 IP 
  Incoming interface: GigabitEthernet1/0/2, RPF nbr 172.16.24.2
  Outgoing interface list:
    Tunnel0, Forward/Sparse, 00:23:35/00:00:24      <-- Decap Tunnel 

Leaf-02#sh ip mfib 239.1.1.1 172.16.254.3
Default                                             <-- Global routing table 
  (172.16.254.3,239.1.1.1) Flags: HW
    SW Forwarding: 1/0/150/0, Other: 0/0/0
    HW Forwarding: 5537/0/168/0, Other: 0/0/0  <-- Hardware counters indicate the entry is operating in hardware and forwarding packets 
    GigabitEthernet1/0/2 Flags: A              <-- Accept via Underlay (Global) interface 
    Tunnel0, VXLAN Decap Flags: F NS           <-- Forward to VxLAN decap Tunnel 
      Pkts: 0/0/1 Rate: 0 pps

Verify Leaf-02: Các mục nhập FED cho nhóm MDT

Leaf-02#sh platform software fed switch active ip mfib 239.1.1.1/32 172.16.254.3 detail
MROUTE ENTRY vrf 0 (172.16.254.3, 239.1.1.1/32) <-- vrf 0 = global for this MDT S,G pair
  HW Handle: 140397391831832 Flags:
RPF interface: GigabitEthernet1/0/2(57)):       <-- RPF interface to 172.16.254.3
  HW Handle:140397391831832 Flags:A
Number of OIF: 2
Flags: 0x4 Pkts : 1585           <-- packets that used this adjacency (similar to mfib command, but shown at the FED layer)
OIF Details:
     Tunnel0 F NS                <-- Send to decap tunnel to remove VxLAN header 
          (Adj: 0x73 )           <-- Tunnel0 Adjacency 
     GigabitEthernet1/0/2 A      <-- Accept MDT packets from this interface 
Htm: 0x7fb0d0f1f388 Si: 0x7fb0d0f1dc08 Di: 0x7fb0d0ed0438 Rep_ri: 0x7fb0d0ed07a8

RI details                       <-- Rewrite Index is used for VxLAN decapsulation 
----------
Handle:0x7fb0d0ed07a8 Res-Type:ASIC_RSC_RI_REP Res-Switch-Num:255 Asic-Num:255 Feature-ID:AL_FID_L3_MULTICAST_IPV4 Lkp-ftr-id:LKP_FEAT_INVALID ref_count:1
priv_ri/priv_si Handle:(nil) Hardware Indices/Handles: index0:0x38 mtu_index/l3u_ri_index0:0x0 index1:0x38 mtu_index/l3u_ri_index1:0x0

Brief Resource Information (ASIC_INSTANCE# 0)
----------------------------------------
ASIC# 0
Replication list :
------------------

Total #ri : 6
Start_ri : 56
Common_ret : 0

Replication entry rep_ri 0x38 #elem = 1
0) ri[0]=0xE803 Dynamic port=88ri_ref_count:1 dirty=0

Leaf-02#sh platform hardware fed sw active fwd-asic resource asic all rewrite-index range 0xE803 0xE803
ASIC#:0 RI:59395 Rewrite_type:AL_RRM_REWRITE_L2_PAYLOAD_IPV4_EVPN_DECAP(118) Mapped_rii:LVX_EVPN_DECAP(246)
<...snip...>

Tình Huống 1: AnyCast RP (Trees chỉ cho SPT) IPv4 & IPv6

Trong chế độ này, có một RP nằm trên mỗi VTEP. Các VTEP này không đồng bộ hóa các nguồn đã học thông qua MSDP và không có Shared tree. Thay vào đó, chế độ MDT sử dụng thông tin BGP để chỉ tạo các SPT multicast tree. Chế độ này được gọi thay thế cho nhau là chế độ SPT-only hoặc chế độ distributed Anycast-RP. Trong chế độ này, mỗi VTEP là PIM RP. Do đó, (*,G) tree bị cắt bớt tại chính VTEP cục bộ. Không cần gửi (*,G) hoặc MVPN RT-6 trên fabric.

Giản Đồ Hệ Thống

Cấu trúc liên kết Anycast
Cấu trúc liên kết Anycast

Đối với chế độ này, hãy xem xét 3 loại tuyến đường BGP:

  • EVPN Route loại 2: Điều này cho phép các PE khác cần xây dựng tuyến đường C-Multicast (MVPN type6/7) trở lại PE gốc, để đính kèm RT nhập C-multicast thích hợp để PE khởi tạo có thể nhập C -Multicast route (RFC 6514 11.1.3) [RFC6514]. Việc sử dụng VRI này phụ thuộc vào lệnh “mdt overlay use-bgp”
  • MVPN Route loại 5: Điều này giống như trong MVPN và là đề xuất của mulitcast Source/Group khả dụng
  • MVPN Route loại 7: Thông tin từ lớp IGMP hoặc MLD và từ EVPN Type-2 được sử dụng để tạo kết nối kiểu BGP này. Type-7 thúc đẩy việc tạo ra MRIB OIF ở phía Source.

Yêu Cầu EVPN Loại 2

  • Nguồn phát đa hướng được kết nối trực tiếp sẽ trực tuyến
  • FHR (nguồn VTEP) xác minh ARP (hoặc ND) và CEF liền kề (xác nhận nguồn được kết nối trực tiếp)
  • FHR khởi tạo bản cập nhật EVPN Type-2 BGP

Yêu Cầu MVPN Loại 5

  • Yêu cầu đối với nguồn kết nối trực tiếp được giải quyết
  • RP là cục bộ nên FHR tự đăng ký
  • FHR bắt đầu cập nhật MVPN Type-5 BGP

Yêu Cầu MVPN Loại 7

  • Có mục nhập EVPN Loại 2 (bắt buộc phải xây dựng C-Multicast route type-7 với VRI chính xác và được gửi từ Nguồn VTEP)
  • Có mục nhập MVPN Loại 5 (cần thiết để giải quyết Source/Group nào khả dụng để tham gia SPT)
  • Báo cáo thành viên IGMP hoặc MLD đã được LHR VTEP nhận và xử lý
  • Giao diện LHR VTEP RPF là giao diện Fabric L3VNI

Xác Thực Các Tuyến Đường BGP EVPN Và MVPN

Verify Leaf-01: EVPN Type-2 đã được tạo

### IPv4 ###
Leaf-01#sh bgp l2vpn evpn all route-type 2 0 F4CFE24334C5 10.1.101.11
...or you can also use:
Leaf-01#sh bgp l2vpn evpn detail [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/24
BGP routing table entry for [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/24, version 6
Paths: (1 available, best #1, table evi_101)
  Advertised to update-groups:
     1
  Refresh Epoch 1
  Local
    :: (via default) from 0.0.0.0 (172.16.255.3)                   <-- Leaf-01 locally created 
      Origin incomplete, localpref 100, weight 32768, valid, sourced, local, best
      EVPN ESI: 00000000000000000000, Label1 10101, Label2 50901
      Extended Community: RT:1:1 RT:65001:101 MVPN AS:65001:0.0.0.0
        MVPN VRF:172.16.255.3:2 ENCAP:8 Router MAC:10B3.D56A.8FC8  <-- MVPN VRI RT is part of the EVPN Type-2
      Local irb vxlan vtep:
        vrf:green, l3-vni:50901             <-- Vrf and VxLAN tag 
        local router mac:10B3.D56A.8FC8
        core-irb interface:Vlan901          <-- L3VNI SVI 
        vtep-ip:172.16.254.3                <-- Leaf-01 VTEP
      rx pathid: 0, tx pathid: 0x0
      Updated on Dec 16 2020 17:40:29 UTC


### IPv6 ###
Leaf-01#sh bgp l2vpn evpn all route-type 2 0 F4CFE24334C1 FC00:1:101::11
...or you can also use:
Leaf-01#sh bgp l2vpn evpn detail [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/36
BGP routing table entry for [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/36, version 6
Paths: (1 available, best #1, table evi_101)
  Advertised to update-groups:
     1
  Refresh Epoch 1
  Local
    :: (via default) from 0.0.0.0 (172.16.255.3)                   <-- Leaf-01 locally created 
      Origin incomplete, localpref 100, weight 32768, valid, sourced, local, best
      EVPN ESI: 00000000000000000000, Label1 10101, Label2 50901
      Extended Community: RT:1:1 RT:65001:101 MVPN AS:65001:0.0.0.0
        MVPN VRF:172.16.255.3:2 ENCAP:8 Router MAC:10B3.D56A.8FC8  <-- MVPN VRI RT is part of the EVPN Type-2
      Local irb vxlan vtep:
        vrf:green, l3-vni:50901
        local router mac:10B3.D56A.8FC8
        core-irb interface:Vlan901       <-- L3VNI SVI
        vtep-ip:172.16.254.3             <-- Leaf-01 VTEP
      rx pathid: 0, tx pathid: 0x0
      Updated on Mar 22 2021 19:54:18 UTC

Verify Leaf-01: Gỡ lỗi ARP/IPv6 ND và EVPN cho thấy ARP/ND đã được học, sau đó Route-type 2 được tạo và gửi

### IPv4 ###
Leaf-01#sh debugging
ARP:
ARP packet debugging is on 

BGP L2VPN EVPN:
BGP updates debugging is on for address family: L2VPN E-VPN
BGP update events debugging is on for address family: L2VPN E-VPN

*Dec 17 17:00:06.480: IP ARP: rcvd rep src 10.1.101.11 f4cf.e243.34c5, dst 10.1.101.11 Vlan101 tableid 2 <-- Multicast Source ARP 
*Dec 17 17:00:06.481: BGP: EVPN Rcvd pfx: [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/24, net flags: 0 <-- BGP Triggered Type-2 creation 
*Dec 17 17:00:06.481: TRM communities added to sourced RT2  <-- TRM extended VRI communities being injected into EVPN Type-2
*Dec 17 17:00:06.481: BGP(10): update modified for [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/30 <-- Modifying the update 
*Dec 17 17:00:06.481: BGP(10): 172.16.255.1 NEXT_HOP set to vxlan local vtep-ip 172.16.254.3 for net [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/24
*Dec 17 17:00:06.481: BGP(10): update modified for [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/30
*Dec 17 17:00:06.481: BGP(10): (base) 172.16.255.1 send UPDATE (format) [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/30, next 172.16.254.3, metric 0, path Local, extended community RT:1:1 RT:65001:101 MVPN AS:65001:0.0.0.0 MVPN VRF:172.16.255.3:2 ENCAP:8 Router MAC:10B3.D56A.8FC8
<--- Final update sent to RR with standard EVPN community info and required MVPN community attributes 


### IPv6 ###
Leaf-01#debug ipv6 nd
ICMP Neighbor Discovery events debugging is on
ICMP ND HA events debugging is ON

IPv6 ND:
Mar 23 14:29:51.935: ICMPv6-ND: (Vlan101,FC00:1:101::11) Resolution request
Mar 23 14:29:51.935: ICMPv6-ND: (Vlan101,FC00:1:101::11) DELETE -> INCMP
Mar 23 14:29:51.935: ICMPv6-ND HA: in Update Neighbor Cache: old state 6 new state 0
Mar 23 14:29:51.935: ICMPv6-ND HA: add or delete entry not synced as no peer detected
Mar 23 14:29:51.936: ICMPv6-ND: (Vlan101,FC00:1:101::11) Sending NS
Mar 23 14:29:51.936: ICMPv6-ND: (Vlan101,FC00:1:101::11) Queued data for resolution
Mar 23 14:29:51.953: ICMPv6-ND: (Vlan101,FC00:1:101::11) Received NA from FC00:1:101::11
Mar 23 14:29:51.953: ICMPv6-ND: Validating ND packet options: valid

Mar 23 14:29:51.953: ICMPv6-ND: (Vlan101,FC00:1:101::11) LLA f4cf.e243.34c1
Mar 23 14:29:51.953: ICMPv6-ND HA: modify entry not synced as no peer detected
Mar 23 14:29:51.953: ICMPv6-ND: (Vlan101,FC00:1:101::11) INCMP -> REACH  <-- peer is reachable


Leaf-01#debug bgp l2vpn evpn updates
Leaf-01#debug bgp l2vpn evpn updates events

BGP L2VPN EVPN:
Mar 23 14:11:56.462: BGP: EVPN Rcvd pfx: [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/36, net flags: 0 <-- BGP Triggered Type-2 creation
Mar 23 14:11:57.462: TRM communities added to sourced RT2
ar 23 14:11:57.474: BGP(10): update modified for [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/42
Mar 23 14:11:57.474: BGP(10): 172.16.255.1 NEXT_HOP set to vxlan local vtep-ip 172.16.254.3 for net [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/36
Mar 23 14:11:57.474: BGP(10): update modified for [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/42
Mar 23 14:11:57.474: BGP(10): (base) 172.16.255.1 send UPDATE (format) [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/42, next 172.16.254.3, metric 0, path Local, extended community RT:1:1 RT:65001:101 MVPN AS:65001:0.0.0.0 MVPN VRF:172.16.255.3:2 ENCAP:8 Router MAC:10B3.D56A.8FC8
<--- Final update sent to RR with standard EVPN community info and required MVPN community attributes 

Verify Leaf-02: Route-type 2 phía source được học trong BGP ở phía Receiver

### IPv4 ###
Leaf-02#sh bgp l2vpn evpn all | b 10.1.101.11
 * i  [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/24  <-- Remote VTEP route-type 2 
                      172.16.254.3             0     100       0 ?
 *>i                   172.16.254.3             0     100       0 ?   <-- IP of Leaf01 Lo1


Leaf-02#sh bgp l2vpn evpn route-type 2 0 F4CFE24334C5 10.1.101.11
...or you can also use:
Leaf-02#sh bgp l2vpn evpn detail [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/24
BGP routing table entry for [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/24, version 175
Paths: (2 available, best #2, table EVPN-BGP-Table) <-- In BGP EVPN table 
  Flag: 0x100
  Not advertised to any peer
  Refresh Epoch 2
  Local
    172.16.254.3 (metric 3) (via default) from 172.16.255.2 (172.16.255.2)
      Origin incomplete, metric 0, localpref 100, valid, internal
      EVPN ESI: 00000000000000000000, Label1 10101, Label2 50901 
      Extended Community: RT:1:1 RT:65001:101 MVPN AS:65001:0.0.0.0
        MVPN VRF:172.16.255.3:2 ENCAP:8 Router MAC:10B3.D56A.8FC8
      Originator: 172.16.255.3, Cluster list: 172.16.255.2
      rx pathid: 0, tx pathid: 0
      Updated on Dec 14 2020 19:58:57 UTC

MVPN AS:65001:0.0.0.0     <-- MVPN Autonomous System
MVPN VRF:172.16.255.3:2   <-- VRI Extended Community to be used in MVPN Type-7
Router MAC:10B3.D56A.8FC8 <-- Leaf-01 RMAC 
Label2 50901              <-- L3VNI 50901


### IPv6 ###
Leaf-02#sh bgp l2vpn evpn all | b FC00:1:101::11
 * i  [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/36
                      172.16.254.3             0    100      0 ?
 *>i                   172.16.254.3             0    100      0 ?        <-- IP of Leaf01 Lo1

Leaf-02#sh bgp l2vpn evpn route-type 2 0 F4CFE24334C1 FC00:1:101::11
...or you can also use:
Leaf-02#sh bgp l2vpn evpn detail [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/36
BGP routing table entry for [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/36, version 659
Paths: (2 available, best #2, table EVPN-BGP-Table)   <-- In BGP EVPN table 
  Flag: 0x100
  Not advertised to any peer
  Refresh Epoch 2
  Local
    172.16.254.3 (metric 3) (via default) from 172.16.255.2 (172.16.255.2)
      Origin incomplete, metric 0, localpref 100, valid, internal
      EVPN ESI: 00000000000000000000, Label1 10101, Label2 50901
      Extended Community: RT:1:1 RT:65001:101 MVPN AS:65001:0.0.0.0
        MVPN VRF:172.16.255.3:2 ENCAP:8 Router MAC:10B3.D56A.8FC8
      Originator: 172.16.255.3, Cluster list: 172.16.255.2
      rx pathid: 0, tx pathid: 0
      Updated on Mar 23 2021 14:11:57 UTC

MVPN AS:65001:0.0.0.0     <-- MVPN Autonomous System
MVPN VRF:172.16.255.3:2   <-- VRI Extended Community to be used in MVPN Type-7
Router MAC:10B3.D56A.8FC8 <-- Leaf-01 RMAC
Label2 50901              <-- L3VNI 50901

Verify Leaf-02: Source Route-type 5 được học trong BGP trên Receiver VTEP Leaf-02

### IPv4 ###
Leaf-02#sh bgp ipv4 mvpn all route-type 5 10.1.101.11 226.1.1.1
...or you can also use:
Leaf-02#sh bgp ipv4 mvpn detail [5][1:1][10.1.101.11][226.1.1.1]/18
BGP routing table entry for [5][1:1][10.1.101.11][226.1.1.1]/18, version 72        <-- Type-5 contains advertised S,G pair
Paths: (2 available, best #1, table MVPNv4-BGP-Table, not advertised to EBGP peer) <-- In BGP IPv4 MVPN table
  Flag: 0x100
  Not advertised to any peer
  Refresh Epoch 1
  Local
    172.16.255.3 (metric 3) from 172.16.255.2 (172.16.255.2)      <-- Loopback0 of Leaf-01
      Origin incomplete, metric 0, localpref 100, valid, internal
      Community: no-export
      Extended Community: RT:1:1
      Originator: 172.16.255.3, Cluster list: 172.16.255.2
      rx pathid: 0, tx pathid: 0
      Updated on Dec 15 2020 16:54:53 UTC


### IPv6 ###
Leaf-02#sh bgp ipv6 mvpn all route-type 5 FC00:1:101::11 FF06:1::1
...or you can also use:
Leaf-02#sh bgp ipv6 mvpn detail [5][1:1][FC00:1:101::11][FF06:1::1]/42
BGP routing table entry for [5][1:1][FC00:1:101::11][FF06:1::1]/42, version 11     <-- Type-5 contains advertised S,G pair
Paths: (2 available, best #1, table MVPNV6-BGP-Table, not advertised to EBGP peer) <-- In BGP IPv6 MVPN table
  Flag: 0x100
  Not advertised to any peer
  Refresh Epoch 1
  Local
    172.16.255.3 (metric 3) from 172.16.255.2 (172.16.255.2)      <-- Loopback0 of Leaf-01
      Origin incomplete, metric 0, localpref 100, valid, internal
      Community: no-export
      Extended Community: RT:1:1 
      Originator: 172.16.255.3, Cluster list: 172.16.255.2
      rx pathid: 0, tx pathid: 0
      Updated on Mar 23 2021 15:13:06 UTC

Verify Leaf-02: có thông tin BGP cần thiết từ Leaf-01 để tạo Type-7. Yêu cầu cuối cùng là IGMP hoặc MLD đã xử lý một báo cáo thành viên để thông báo cho VTEP rằng có một Receiver quan tâm

### IPv4 ###
Leaf-02#sh ip igmp snooping groups vlan 102
Vlan     Group                Type            Version         Port List
-----------------------------------------------------------------------
102      226.1.1.1            igmp            v2              Gi1/0/10  <-- Receiver joined on Gi1/0/10


### IPv6 ###
Leaf-02#sh ipv6 mld vrf green groups detail
Interface:      Vlan102                  <-- Join on Vlan 102
Group:          FF06:1::1                <-- Group joined
Uptime:         06:38:25
Router mode:    EXCLUDE (Expires: 00:02:14)
Host mode:      INCLUDE
Last reporter:  FE80::46D3:CAFF:FE28:6CC1 <-- MLD join from Receiver link-local address
Source list is empty                      <-- ASM join, no sources listed 

Leaf-02#sh ipv6 neighbors vrf green
IPv6 Address                                Age Link-layer Addr State Interface
FE80::46D3:CAFF:FE28:6CC1                     0 44d3.ca28.6cc1  REACH Vl102   <-- Receiver IP & MAC

Leaf-02#sh ipv6 mld snooping address vlan 102 <-- If MLD snooping is on, it can be checked as well
Vlan     Group               Type             Version         Port List
-----------------------------------------------------------------------
102      FF06:1::1           mld              v2              Gi1/0/10        <-- Receiver joined on Gi1/0/10

Verify Leaf-02: Gỡ lỗi MVPN hiển thị Route-type 7 được tạo khi báo cáo thành viên IGMP/MLD đến và EVPN Loại 2 và Loại 5 bắt buộc đã được cài đặt.

### IPv4 ###
Leaf-02#debug bgp ipv4 mvpn updates
Leaf-02#debug bgp ipv4 mvpn updates events

*Dec 14 19:41:57.645: BGP[15] MVPN: add c-route, type 7, bs len 0 asn=0, rd=1:1,
*Dec 14 19:41:57.645: source=10.1.101.11/4,
*Dec 14 19:41:57.645: group=226.1.1.1/4,
*Dec 14 19:41:57.645: nexthop=172.16.254.3,   <-- Source is via Leaf-01 IP 
*Dec 14 19:41:57.645: len left = 0
*Dec 14 19:41:57.645: BGP[14] MVPN umh lookup: vrfid 2, source 10.1.101.11
*Dec 14 19:41:57.645: BGP[4] MVPN umh lookup: vrfid 2, source 10.1.101.11, net 1:1:10.1.101.11/32, 1:1:10.1.101.11/32 with matching nexthop 172.16.254.3, remote-rd [172.16.]: 0x9:65001:0.0.0.0, 0x10B:172.16.255.3:2,
*Dec 14 19:41:57.646: BGP: MVPN(15) create local route [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22
*Dec 14 19:41:57.646: BGP[15] MVPN: add c-route, type 7, bs len 0 asn=65001, rd=1:1,  


### IPv6 ###
Leaf-02#debug bgp ipv6 mvpn updates
Leaf-02#debug bgp ipv6 mvpn updates events

Mar 23 15:46:11.171: BGP[16] MVPN: add c-route, type 7, bs len 0 asn=0, rd=1:1,
Mar 23 15:46:11.171: source=FC00:1:101::11/16,
Mar 23 15:46:11.171: group=FF06:1::1/16,
Mar 23 15:46:11.171: nexthop=::FFFF:172.16.254.3,   <-- IPv4 next hop of Leaf-01
Mar 23 15:46:11.171: len left = 0
Mar 23 15:46:11.171: BGP[19] MVPN umh lookup: vrfid 2, source FC00:1:101::11
Mar 23 15:46:11.171: BGP[5] MVPN umh lookup: vrfid 2, source FC00:1:101::11, net [1:1]FC00:1:101::11/128, [1:1]FC00:1:101::11/128 with matching nexthop ::FFFF:172.16.254.3, remote-rd [172.16.]: 0x9:65001:0.0.0.0, 0x10B:172.16.255.3:2,
Mar 23 15:46:11.172: BGP: MVPN(16) create local route [7][172.16.254.3:101][65001][FC00:1:101::11][FF06:1::1]/46
Mar 23 15:46:11.172: BGP[16] MVPN: add c-route, type 7, bs len 0 asn=65001, rd=1:1,

Verify Leaf-01: MVPN Type-7 nhận được từ Leaf-02

### IPv4 ###
Leaf-01#sh bgp ipv4 mvpn all route-type 7 172.16.254.3:101 65001 10.1.101.11 226.1.1.1
...or you can also use:
Leaf-01#sh bgp ipv4 mvpn detail [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22
BGP routing table entry for [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22, version 76
Paths: (2 available, best #1, table MVPNv4-BGP-Table)        <-- In BGP IPv4 MVPN table
  Not advertised to any peer
  Refresh Epoch 1
  Local
    172.16.255.4 (metric 3) from 172.16.255.2 (172.16.255.2) <-- loopback of Leaf-02 Receiver VTEP
      Origin incomplete, metric 0, localpref 100, valid, internal
      Extended Community: RT:172.16.255.3:2                  <-- The VRI derived from EVPN Type-2 and added to the MVPN Type-7 
      Originator: 172.16.255.4, Cluster list: 172.16.255.2
      rx pathid: 0, tx pathid: 0
      Updated on Dec 15 2020 14:14:38 UTC


### IPv6 ###
Leaf-01#sh bgp ipv6 mvpn all route-type 7 172.16.254.3:101 65001 FC00:1:101::11 FF06:1::1
...or you can also use:
Leaf-01#sh bgp ipv6 mvpn detail [7][172.16.254.3:101][65001][FC00:1:101::11][FF06:1::1]/46
BGP routing table entry for [7][172.16.254.3:101][65001][FC00:1:101::11][FF06:1::1]/46, version 45
Paths: (2 available, best #1, table MVPNV6-BGP-Table)        <-- In BGP IPv6 MVPN table
  Not advertised to any peer
  Refresh Epoch 1
  Local
    172.16.255.4 (metric 3) from 172.16.255.1 (172.16.255.1)  <-- loopback of Leaf-02 Receiver VTEP
      Origin incomplete, metric 0, localpref 100, valid, internal, best
      Extended Community: RT:172.16.255.3:2    <-- The VRI derived from EVPN Type-2 and added to the MVPN Type-7 
      Originator: 172.16.255.4, Cluster list: 172.16.255.1
      rx pathid: 0, tx pathid: 0x0
      Updated on Mar 23 2021 15:46:11 UTC

Verify Leaf-01: Gỡ lỗi MVPN hiển thị Route-type 7 nhận được với MVPN VRI Route-Target

*Dec 17 16:16:31.923: BGP(15): 172.16.255.2 rcvd UPDATE w/ attr: nexthop 172.16.255.4, origin ?, localpref 100, metric 0, originator 172.16.255.4, clusterlist 172.16.255.2, extended community RT:172.16.255.3:2 <-- VRI RT
*Dec 17 16:16:31.923: BGP(15): 172.16.255.2 rcvd [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22 <-- Received MVPN Type-7
<...only update from Spine-02 172.16.255.2 ...>
*Dec 17 16:16:31.923: BGP(15): skip vrf default table RIB route [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22
*Dec 17 16:16:31.924: BGP(15): add RIB route (0:0)[7][1:1][65001][10.1.101.11/32][226.1.1.1/32]/22

(Skipping IPv6, see the debugs demonstrated in previous steps)

Verify Leaf-02: Bảng BGP hoàn chỉnh chứa Leaf-01 EVPN Type-2 và MVPN Type-5, và the Type-7 được tạo bởi Receiver Leaf-02

### IPv4 ###
Leaf-02#sh bgp l2vpn evpn all | b 10.1.101.11
* i [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/24 <-- Remote VTEP route-type 2 
                    172.16.254.3             0    100     0 ?
*>i                  172.16.254.3             0    100     0 ?     <-- IP of Leaf01 Lo1

Leaf-02#sh bgp ipv4 mvpn all
     Network          Next Hop            Metric LocPrf Weight Path
Route Distinguisher: 1:1 (default for vrf green)                    <-- default RD for vrf green 
*>i [5][1:1][10.1.101.11][226.1.1.1]/18                             <-- Type-5, source & group 
                    172.16.255.3               0   100       0 ?    <-- Next hop Leaf-01 IP 
* i                  172.16.255.3               0   100       0 ?
Route Distinguisher: 172.16.254.3:101                               <-- MVPN RD sent from Source Leaf-01
*> [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22    <-- Type-7 BGP Join Entry
                   0.0.0.0                                 32768 ?  <-- Locally created (0.0.0.0) by Leaf-02


### IPv6 ###
Leaf-02#sh bgp l2vpn evpn all | b FC00:1:101::11
* i [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/36 <-- Remote VTEP route-type 2
                    172.16.254.3             0    100      0 ?
*>i                  172.16.254.3             0    100      0 ?      <-- IP of Leaf-01 Lo1


Leaf-02#sh bgp ipv6 mvpn all
     Network          Next Hop              Metric LocPrf Weight Path
Route Distinguisher: 1:1 (default for vrf green)                     <-- default RD for vrf green 
 *>i  [5][1:1][FC00:1:101::11][FF06:1::1]/42                         <-- Type-5, source & group
                      172.16.255.3                0 100        0 ?   <-- IPv4 Next hop Leaf-01 IP
 * i                   172.16.255.3                0 100        0 ?
Route Distinguisher: 172.16.254.3:101                                <-- MVPN RD sent from Source Leaf-01
 *> [7][172.16.254.3:101][65001][FC00:1:101::11][FF06:1::1]/46       <-- Type-7 BGP Join Entry
                    ::                                       32768 ? <-- Locally created (::) by Leaf-02

Xác Thực Nhóm TRM Leaf-01 (FHR)

Kiểm tra xem các nhóm MDT và TRM có được hình thành chính xác ở phía Source không

  • Giao diện đầu vào của nhóm TRM là SVI được liên kết với Client VRF
  • Giao diện ra của nhóm TRM là L3VNI SVI

Verify Leaf-01: Nhóm TRM MRIB/MFIB

### IPv4 ###
Leaf-01#sh ip mroute vrf green 226.1.1.1 10.1.101.11
(10.1.101.11, 226.1.1.1), 02:57:56/00:03:14, flags: FTGqx <-- Flags: BGP S-A Route
  Incoming interface: Vlan101, RPF nbr 0.0.0.0            <-- Local to Vlan101 Direct connected source 
  Outgoing interface list:
    Vlan901, Forward/Sparse, 02:57:56/stopped             <-- OIF is VxLAN L3VNI 

Leaf-01#sh ip mfib vrf green 226.1.1.1 10.1.101.11
VRF green   <-- Tenant VRF 
(10.1.101.11,226.1.1.1) Flags: HW
  SW Forwarding: 1/0/100/0, Other: 0/0/0
  HW Forwarding: 5166/0/118/0, Other: 0/0/0 <-- Hardware counters indicate the entry is operating in hardware and forwarding packets
  Vlan101 Flags: A                          <-- Accept flag set on Connected Source SVI 
  Vlan102 Flags: F NS
    Pkts: 0/0/1 Rate: 0 pps
  Vlan901, VXLAN v4 Encap (50901, 239.1.1.1) Flags: F <-- Forward via Vlan 901. Use MDT group 239.1.1.1, vxlan tag 50901
    Pkts: 0/0/0 Rate: 0 pps


### IPv6 ###
Leaf-01#sh ipv6 mroute vrf green
(FC00:1:101::11, FF06:1::1), 01:01:00/00:01:08, flags: SFTGq <-- Flags: q - BGP S-A Route, G - BGP Signal Received 
  Incoming interface: Vlan101
  RPF nbr: FE80::F6CF:E2FF:FE43:34C1  <-- link local address of Source 
  Immediate Outgoing interface list:
    Vlan901, Forward, 01:01:00/never  <-- OIF is VxLAN L3VNI

Leaf-01#sh ipv6 mfib vrf green FF06:1::1
VRF green   <-- Tenant VRF
(FC00:1:101::11,FF06:1::1) Flags: HW
   SW Forwarding: 0/0/0/0, Other: 1/0/1
   HW Forwarding: 1968/0/118/0, Other: 0/0/0 <-- Hardware counters indicate the entry is operating in hardware and forwarding packets
   Vlan101 Flags: A NS                       <-- Accept flag set on Connected Source SVI 
   Vlan901, VXLAN v4 Encap (50901, 239.1.1.1) Flags: F <-- Forward via Vlan 901. Use MDT group 239.1.1.1, vxlan tag 50901
     Pkts: 0/0/0 Rate: 0 pps

Verify Leaf-01: Nhóm TRM trong FED

### IPv4 ###
Leaf-01#sh platform software fed switch active ip mfib vrf green 226.1.1.1/32 10.1.101.11
Multicast (S,G) Information
VRF            : 2     <-- VRF ID 2 = vrf green (from "show vrf detail")
Source Address : 10.1.101.11
HTM Handler    : 0x7f175cc08578
SI Handler     : 0x7f175cc06ea8
DI Handler     : 0x7f175cc067c8
REP RI handler : 0x7f175cc06b38
Flags          : {Svl}
Packet count   : 39140       <-- packets that used this adjacency (similar to mfib command, but shown at the FED layer)
State          : 4
RPF            :          
     Vlan101   A             <-- Accept on Vlan 101 in Tenant vrf green 
OIF            :
     Vlan102     F NS
       Vlan101   A
       Vlan901   F {Remote}   <-- Forward via L3VNI interface 
             (Adj: 0x6a )     <-- Adjacency for this entry


### IPv6 ###
Leaf-01#sh plat soft fed switch active ipv6 mfib vrf green FF06:1::1/128 FC00:1:101::11
Multicast (S,G) Information
VRF            : 2           <-- VRF ID 2 = vrf green (from "show vrf detail")
Source Address : fc00:1:101::11
HTM Handler    : 0x7fba88d911b8
SI Handler     : 0x7fba88fc4348
DI Handler     : 0x7fba88fc8dc8
REP RI handler : 0x7fba88fc8fd8
Flags          : {Svl}
Packet count   : 2113        <-- packets that used this adjacency (similar to mfib command, but shown at the FED layer)
State          : 4
RPF            :
     Vlan101   A {Remote}    <-- Accept on Vlan 101 in Tenant vrf green (says remote, but this is a local host)
OIF            :
     Vlan101     A {Remote}
     Vlan901     F {Remote}  <-- Forward via L3VNI interface 
           (Adj: 0x7c )      <-- Adjacency for this entry

Verify Leaf-01: Adjacency là chính xác

### IPv4 ###
Leaf-01#sh platform software fed switch active ip adj
IPV4 Adj entries
dest                                          if_name        dst_mac         si_hdl          ri_hdl         pd_flags adj_id  Last-modified
----                                          -------        -------         ------          ------         -------- -----   ------------------------
239.1.1.1                                     nve1.VNI50901  4500.0000.0000  0x7f175ccd8c38  0x7f175ccd8de8 0x60     0x6a    2020/12/16 17:39:55.747

*** Adjacency 0x6a details ***
Destination = the MDT tunnel multicast group 239.1.1.1
Interface   = nve1.VNI50901 (the L3VNI 50901)


### IPv6 ###
Leaf-01#sh platform software fed switch active ipv6 adj
IPV6 Adj entries
dest                                          if_name        dst_mac         si_hdl          ri_hdl         pd_flags adj_id  Last-modified
----                                          -------        -------         ------          ------         -------- ------  -------------
239.1.1.1                                     nve1.VNI50901  4500.0000.0000  0x7fba88cf9fc8  0x7fba88cfa248 0x60     0x7c    2021/03/22 19:54:09.831

*** Adjacency 0x7c details ***
Destination = the MDT tunnel multicast group 239.1.1.1
Interface   = nve1.VNI50901 (the L3VNI 50901)

Xác Thực Nhóm TRM Leaf-02 (LHR)

Kiểm tra xem các nhóm MDT và TRM có được hình thành chính xác ở phía Receiver không

  • Giao diện đầu vào của nhóm TRM là SVI được liên kết với L3VNI
  • Giao diện gửi đi của nhóm TRM là Client SVI nơi xử lý kết nối IGMP

Verify Leaf-02: TRM (Tenant multicast route) route trong MRIB/MFIB

Leaf-02#sh ip mroute vrf green 226.1.1.1 10.1.101.11      <-- The TRM Client group 
(10.1.101.11, 226.1.1.1), 00:26:03/00:02:37, flags: TgQ
  Incoming interface: Vlan901, RPF nbr 172.16.254.3       <-- Via L3VNI, RPF to Leaf-01 
  Outgoing interface list:
    Vlan102, Forward/Sparse, 00:26:03/00:03:10            <-- Client Receiver Vlan 

Leaf-02#sh ip mfib vrf green 226.1.1.1 10.1.101.11
VRF green                                          <--- The Tenant VRF 
  (10.1.101.11,226.1.1.1) Flags: HW
    SW Forwarding: 1/0/100/0, Other: 0/0/0
    HW Forwarding: 39013/0/126/0, Other: 0/0/0     <-- Hardware counters indicate the entry is operating in hardware and forwarding packets
    Vlan901, VXLAN Decap Flags: A                  <-- L3VNI Accept and decapsulate from VxLAN
    Vlan102 Flags: F NS                            <-- Forward to the Tenant Vlan
      Pkts: 0/0/1 Rate: 0 pps

Verify Leaf-02: TRM group in FED

### IPv4 ###
Leaf-02#sh platform software fed switch active ip mfib vrf green 226.1.1.1/32 10.1.101.11 detail <-- Use detail option to resolve DI (Dest Index)
MROUTE ENTRY vrf 2 (10.1.101.11, 226.1.1.1/32)
  HW Handle: 140397391947768 Flags: {Svl}
RPF interface: Vlan901(60)): SVI              <-- RPF interface = L3VNI SVI Vlan901
  HW Handle:140397391947768 Flags:A {Remote}
Number of OIF: 2
Flags: 0x4 Pkts : 39387      <-- packets that used this adjacency (similar to mfib command, but shown at the FED layer) 
OIF Details:
     Vlan102 F NS            <-- Client Vlan 
     Vlan901 A {Remote}      <-- Accept interface is RPF to source via Remote EVPN next hop 
          (Adj: 0xf80003c1 ) <-- Adj for vlan 901(show plat soft fed sw active ipv4 adj) 
Htm: 0x7fb0d0edfb48 Si: 0x7fb0d0ee9158 Di: 0x7fb0d0eca8f8 Rep_ri: 0x7fb0d0ef2b98

DI details  <-- Dest index (egress interface) details
----------
Handle:0x7fb0d0eca8f8 Res-Type:ASIC_RSC_DI Res-Switch-Num:255 Asic-Num:255 Feature-ID:AL_FID_L3_MULTICAST_IPV4 Lkp-ftr-id:LKP_FEAT_INVALID ref_count:1
priv_ri/priv_si Handle:(nil) Hardware Indices/Handles: index0:0x538b mtu_index/l3u_ri_index0:0x0 index1:0x538b mtu_index/l3u_ri_index1:0x0

Brief Resource Information (ASIC_INSTANCE# 1)  <-- Gi1/0/10 is mapped to instance 1
----------------------------------------
Destination index = 0x538b
pmap = 0x00000000 0x00000200  
pmap_intf : [GigabitEthernet1/0/10]            <-- Maps to Gi1/0/10, the port toward the client 
==============================================================

### IPv6 ###
Leaf-02#sh platform software fed switch active ipv6 mfib vrf green FF06:1::1/128 FC00:1:101::11 detail
MROUTE ENTRY vrf 2 (fc00:1:101::11, ff06:1::1/128)
  HW Handle: 139852137577736 Flags: {Svl}
RPF interface: Vlan901(62)): SVI              <-- RPF to Source L3VNI SVI 901
  HW Handle:139852137577736 Flags:A {Remote}
Number of OIF: 2
Flags: 0x4 Pkts : 7445       <-- Packets use this Entry
OIF Details:
     Vlan102 F NS            <-- F - Forward. The OIF Vlan SVI 901
     Vlan901 A {Remote}
          (Adj: 0xf80003e2 ) <-- Adj for vlan 901 (show plat soft fed sw active ipv6 adj)
Htm: 0x7f31dcfee238 Si: 0x7f31dcfba5d8 Di: 0x7f31dcfc2358 Rep_ri: 0x7f31dcfcb1a8

DI details
----------
Handle:0x7f31dcfc2358 Res-Type:ASIC_RSC_DI Res-Switch-Num:255 Asic-Num:255 Feature-ID:AL_FID_L3_MULTICAST_IPV6 Lkp-ftr-id:LKP_FEAT_INVALID ref_count:1
priv_ri/priv_si Handle:(nil) Hardware Indices/Handles: index0:0x5381 mtu_index/l3u_ri_index0:0x0 index1:0x5381 mtu_index/l3u_ri_index1:0x0

Brief Resource Information (ASIC_INSTANCE# 1)   <-- Gig1/0/10 is mapped to Instance 1 
----------------------------------------
Destination index = 0x5381
pmap = 0x00000000 0x00000200
pmap_intf : [GigabitEthernet1/0/10]             <-- Maps to Gig1/0/10, the port toward the client 
==============================================================


Leaf-02#sh platform software fed switch active ifm mappings
Interface                 IF_ID    Inst Asic Core Port SubPort Mac Cntx LPN GPN Type Active
GigabitEthernet1/0/10     0x12       1   0   1    9      0      5   15   10  10  NIF  Y    <-- Instance 1 of ASIC 0

Verify Leaf-02: Packet capture taken shows the outer MDT tunnel group with inner client traffic

Leaf-02#sh mon ca 1 parameter
monitor capture 1 interface GigabitEthernet1/0/2 IN
monitor capture 1 match any
monitor capture 1 buffer size 10
monitor capture 1 limit pps 1000


### IPv4 ###
Leaf-02#sh mon capture 1 buffer detailed
Ethernet II, Src: 7c:21:0d:bd:2c:d6 (7c:21:0d:bd:2c:d6), Dst: 01:00:5e:01:01:01 (01:00:5e:01:01:01) <-- MAC is matching 239.1.1.1
    Type: IPv4 (0x0800)  <-- IPv4 outer packet
Internet Protocol Version 4, Src: 172.16.254.3, Dst: 239.1.1.1 <- Leaf-01 Source IP and MDT outer tunnel Group 
    0100 .... = Version: 4
    .... 0101 = Header Length: 20 bytes (5)
    Time to live: 253
User Datagram Protocol, Src Port: 65287, Dst Port: 4789 <-- VxLAN UDP port 4789

Virtual eXtensible Local Area Network
Flags: 0x0800, VXLAN Network ID (VNI)
Group Policy ID: 0
VXLAN Network Identifier (VNI): 50901 <-- L3VNI value 
   Type: IPv4 (0x0800)                <-- IPv4 inner packet
Internet Protocol Version 4, Src: 10.1.101.11, Dst: 226.1.1.1 <-- Encapsulated IPv4 TRM group 
    0100 .... = Version: 4
    Time to live: 254
    Protocol: ICMP (1)
(multiple lines removed from this example capture)


### IPv6 ###
Leaf-02#sh mon capture 1 buffer detailed
Ethernet II, Src: 7c:21:0d:bd:2c:d6 (7c:21:0d:bd:2c:d6), Dst: 01:00:5e:01:01:01 (01:00:5e:01:01:01)  <-- DMAC is matching 239.1.1.1
    Type: IPv4 (0x0800)            <-- IPv4 outer packet
Internet Protocol Version 4, Src: 172.16.254.3, Dst: 239.1.1.1 
    0100 .... = Version: 4
    .... 0101 = Header Length: 20 bytes (5)
    Differentiated Services Field: 0x00 (DSCP: CS0, ECN: Not-ECT)
        0000 00.. = Differentiated Services Codepoint: Default (0)
        .... ..00 = Explicit Congestion Notification: Not ECN-Capable Transport (0)
    Total Length: 150
    Identification: 0x4e4b (20043)
    Flags: 0x4000, Don't fragment
        0... .... .... .... = Reserved bit: Not set
        .1.. .... .... .... = Don't fragment: Set  <-- DF flag=1. MTU can be an issue if too low in path
        ..0. .... .... .... = More fragments: Not set
    ...0 0000 0000 0000 = Fragment offset: 0
    Time to live: 253
    Protocol: UDP (17)
    Header checksum: 0x94f4 [validation disabled]
    [Header checksum status: Unverified]
    Source: 172.16.254.3
    Destination: 239.1.1.1
User Datagram Protocol, Src Port: 65418, Dst Port: 4789 <-- VxLAN UDP port 4789
    Source Port: 65418
    Destination Port: 4789
<...snip...>
Virtual eXtensible Local Area Network
    Flags: 0x0800, VXLAN Network ID (VNI)
        0... .... .... .... = GBP Extension: Not defined
        .... .... .0.. .... = Don't Learn: False
        .... 1... .... .... = VXLAN Network ID (VNI): True
        .... .... .... 0... = Policy Applied: False
        .000 .000 0.00 .000 = Reserved(R): 0x0000
    Group Policy ID: 0
    VXLAN Network Identifier (VNI): 50901 <-- L3VNID 50901
    Reserved: 0
Ethernet II, Src: 10:b3:d5:6a:00:00 (10:b3:d5:6a:00:00), Dst: 33:33:00:00:00:01 (33:33:00:00:00:01) <-- DMAC matches ff06:1::1
    Type: IPv6 (0x86dd)                  <-- IPv6 inner packet
Internet Protocol Version 6, Src: fc00:1:101::11, Dst: ff06:1::1 <-- Encapsulated IPv6 TRM group
    0110 .... = Version: 6
<...snip...>
    Source: fc00:1:101::11
    Destination: ff06:1::1
Internet Control Message Protocol v6
    Type: Echo (ping) request (128)
<...snip...>

Tình Huống 2: PIM SSM Trong Fabric

Trong chế độ này, không có RP trong Overlay, và không có MVPN Loại 5 hoặc Loại 7 nào được sử dụng (Lớp Underlay tiếp tục hoạt động dưới dạng PIM ASM). Trong SSM, bên nhận gửi và IGMPv3 S,G tham gia vào LHR VTEP. VTEP này thực hiện tra cứu RPF cho Nguồn trong RIB. Nếu L3VNI SVI được tìm thấy dưới dạng giao diện RPF, LHR VTEP sẽ gửi MVPN RT-7 đến FHR VTEP nhận và cài đặt tuyến này. FHR VTEP sau đó thông báo cho PIM để thêm L3VNI SVI làm giao diện Outgoing cho tuyến S,G.

Phần này chỉ trình bày những sự khác biệt so với Tình Huống 1. Các bước và phương pháp giống nhau chỉ được ghi chú trong Tình Huống 1

  • Xem các bước xác thực và gỡ lỗi cho BGP và PIM từ Tình Huống 1, vì hoạt động của BGP và PIM giống nhau

Giản Đồ Hệ Thống

cấu trúc liên kết SSM
cấu trúc liên kết SSM

Đối với chế độ này, hãy xem xét các loại tuyến đường BGP này và nguồn gốc của chúng

Tạo bởi: Source VTEP

  • EVPN Route Loại 2: Được sử dụng để lấy thông tin Unicast và VRI cho Source, và được thêm vào C-Multicast route (MVPN type-7) khi VTEP tham gia STP tree.

Tạo bởi: Receiver VTEP

  • MVPN Route Loại 7: Thông tin từ lớp IGMP hoặc MLD và từ EVPN Type-2 được sử dụng để tạo kết nối kiểu BGP này. Type-7 thúc đẩy việc tạo ra MRIB OIF ở phía Source.

Yêu cầu EVPN Loại 2

  • FHR (Nguồn VTEP): Xác thực ARP (hoặc ND) và CEF liền kề (xác nhận nguồn được kết nối trực tiếp)
  • FHR khởi tạo bản cập nhật EVPN Type-2 BGP

Yêu cầu MVPN Loại 7

  • Có mục nhập EVPN Loại 2 (bắt buộc phải xây dựng tuyến đường C-Multicast loại 7 với VRI chính xác và được gửi từ Source VTEP)
  • Receiver VTEP: Báo cáo thành viên cụ thể của IGMPv3 Source đã được nhận và xử lý bởi LHR VTEP
  • Giao diện LHR VTEP RPF là giao diện Fabric L3VNI

Đối với chế độ này, cần có cấu hình bổ sung trên LHR VTEP để kích hoạt phạm vi SSM và xử lý các báo cáo thành viên IGMPv3

Configure Leaf-03: Đặt truy vấn IGMP thành phiên bản 3 trong Tenant SVI

interface Vlan102
vrf forwarding green
ip address 10.1.102.1 255.255.255.0
ip pim sparse-mode
ip igmp version 3  <-- Sets the version to V3 
end

Verify Leaf-03: Bộ truy vấn IGMP được đặt thành version 3

Leaf-03#sh ip igmp snooping querier vlan 102
IP address : 10.1.102.1   <-- IP is that of the Vlan102 SVI
IGMP version : v3         <-- Querier is now version 3 
Port : Router             <-- Mrouter port is "Router" meaning querier is local to this VTEP
Max response time : 10s
Query interval : 60s
Robustness variable : 2

Enable Leaf-03: Phạm vi SSM cần thiết cho Tenant VRF

Leaf-03(config)#ip pim vrf green ssm ?
default    Use 232/8 group range for SSM          <-- Set to the normally defined SSM range 
range      ACL for group range to be used for SSM <-- use an ACL to define a non-default SSM range

Xác minh chuỗi sự kiện cần thiết cho Tình Huống 2

EVPN Signalling Diagram SSM
EVPN Signalling Diagram SSM

Step 0 EVPN (Leaf-03): Xác minh rằng có một tiền tố EVPN mà BGP có thể tìm thấy VRI để sử dụng trong MVPN type-7.

Leaf-03#sh bgp l2vpn evpn all
BGP table version is 16, local router ID is 172.16.255.6
Status codes: s suppressed, d damped, h history, * valid, > best, i - internal,
              r RIB-failure, S Stale, m multipath, b backup-path, f RT-Filter,
              x best-external, a additional-path, c RIB-compressed,
              t secondary path, L long-lived-stale,
Origin codes: i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not found

     Network          Next Hop            Metric LocPrf Weight Path
Route Distinguisher: 1:1 (default for vrf green)
* i [2][172.16.254.3:101][0][48][F4CFE24334C1][32][10.1.101.11]/24         
                    172.16.254.3 0 100 0 ?
*>i                  172.16.254.3 0 100 0 ? <-- From Leaf-01 


Leaf-03#sh bgp l2vpn evpn all route-type 2 0 F4CFE24334C1 10.1.101.11     <-- Detailed view of the EVPN type-2 entry 
BGP routing table entry for [2][172.16.254.3:101][0][48][F4CFE24334C1][32][10.1.101.11]/24, version 283
Paths: (2 available, best #2, table EVPN-BGP-Table) 
  Not advertised to any peer
  Refresh Epoch 1
  Local
    172.16.254.3 (metric 3) (via default) from 172.16.255.1 (172.16.255.1)
      Origin incomplete, metric 0, localpref 100, valid, internal, best
      EVPN ESI: 00000000000000000000, Gateway Address: 0.0.0.0, VNI Label 50901, MPLS VPN Label 0
      Extended Community: RT:1:1 MVPN AS:65001:0.0.0.0
        MVPN VRF:172.16.255.3:4 ENCAP:8 Router MAC:10B3.D56A.8FC8        <-- BGP finds the VRI in this entry 
      Originator: 172.16.255.3, Cluster list: 172.16.255.1
      rx pathid: 0, tx pathid: 0x0
      Updated on May 6 2021 16:17:06 UTC

Step 1 (Leaf-03): Đã nhận được báo cáo tư cách thành viên IGMPv3 và chứa Source

Leaf-03#show ip igmp snooping groups vlan 102 226.1.1.1
Vlan      Group                    Type        Version      Port List
-----------------------------------------------------------------------
102       226.1.1.1                igmp        v3           Gi1/0/10


Leaf-03#show ip igmp snooping groups vlan 102 226.1.1.1 sources <-- Specify "sources" to see Source information
Vlan      Group                    Type        Version      Port List
-----------------------------------------------------------------------

Source information for group 226.1.1.1:
Timers: Expired sources are deleted on next IGMP General Query

SourceIP       Expires   Uptime    Inc Hosts Exc Hosts
-------------------------------------------------------
10.1.101.11    00:01:20  00:02:58  1         0                 <-- Source specified in IGMP includes one source

Step 2 (Leaf-03): BGP được thông báo về phép nối này, tạo và gửi phép nối Type-7 MVPN

debug mvpn 
debug ip igmp vrf green 226.1.1.1

May 6 17:11:08.500: IGMP(6): Received v3 Report for 1 group on Vlan102 from 10.1.102.12 
May 6 17:11:08.500: IGMP(6): Received Group record for group 226.1.1.1, mode 5 from 10.1.102.12 for 1 sources <-- IGMPv3 type join 
May 6 17:11:08.500: IGMP(6): WAVL Insert group: 226.1.1.1 interface: Vlan102 Successful
May 6 17:11:08.500: IGMP(6): Create source 10.1.101.11
May 6 17:11:08.500: IGMP(6): Updating expiration time on (10.1.101.11,226.1.1.1) to 180 secs
May 6 17:11:08.500: IGMP(6): Setting source flags 4 on (10.1.101.11,226.1.1.1)
May 6 17:11:08.500: IGMP(6): MRT Add/Update Vlan102 for (10.1.101.11,226.1.1.1) by 0

May 6 17:11:08.501: MVPN: Received local route update for (10.1.101.11, 226.1.1.1) with RD: 1:1, Route Type: 7, flags: 0x00 <-- MVPN process gets updated
May 6 17:11:08.501: MVPN: Route Type 7 added [(10.1.101.11, 226.1.1.1)] rd:1:1 send:1
May 6 17:11:08.501: MVPN: Sending BGP prefix=[7:0 1:1 : (10.1.101.11,226.1.1.1)] len=23, nh 172.16.254.3, Originate route    
May 6 17:11:08.501: MVPN: Originate C-route, BGP remote RD 1:1                                                              <-- MVPN Sends the type-7 join to Source leaf


Leaf-03#sh bgp ipv4 mvpn all
BGP table version is 10, local router ID is 172.16.255.6
Status codes: s suppressed, d damped, h history, * valid, > best, i - internal,
              r RIB-failure, S Stale, m multipath, b backup-path, f RT-Filter,
              x best-external, a additional-path, c RIB-compressed,
              t secondary path, L long-lived-stale,
Origin codes: i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not found

     Network          Next Hop            Metric LocPrf Weight Path
Route Distinguisher: 1:1 (default for vrf green)
*>    [7][1:1][65001][10.1.101.11/32][226.1.1.1/32]/22     <-- Locally created Type-7 
                      0.0.0.0                           32768 ?


Leaf-03#sh ip mroute vrf green 226.1.1.1                   <-- for SSM you only see S,G and no *,G 
IP Multicast Routing Table
<...snip...>

(10.1.101.11, 226.1.1.1), 00:29:12/00:02:46, flags: sTIg <-- s = SSM, I = Source Specific Join received, g = Sent BGP C-Mroute
  Incoming interface: Vlan901, RPF nbr 172.16.254.3      <-- RPF interface is the L3VNI 
  Outgoing interface list:
    Vlan102, Forward/Sparse, 00:29:12/00:02:46

Step 3 (Leaf-01): Source Leaf nhận và cài đặt đường MVPN Type-7 tham gia, đồng thời thông báo cho PIM để cài đặt L3VNI OIF

debug mvpn
debug ip pim vrf green 226.1.1.1

May 6 18:16:07.260: MVPN: Received BGP prefix=[7:65001 1:1 : (10.1.101.11,226.1.1.1)] len=23, nexthop: 172.16.255.6, router-id: 172.16.255.1, Accept route <-- Receive and accept type-7
May 6 18:16:07.260: MVPN: Received BGP route update for (10.1.101.11, 226.1.1.1) with RD: 1:1, Route Type: 7, flags: 0x01
May 6 18:16:07.260: MVPN: Route Type 7 added [(10.1.101.11, 226.1.1.1), nh 172.16.255.6] rd:1:1 send:0, to us   <-- add type-7 route
May 6 18:16:07.260: PIM(4)[green]: Join-list: (10.1.101.11/32, 226.1.1.1), S-bit set, BGP C-Route
May 6 18:16:07.263: PIM(4)[green]: Add Vlan901/0.0.0.0 to (10.1.101.11, 226.1.1.1), Forward state, by BGP SG Join  <-- PIM adds Vlan901 L3VNI ad OIF based on BGP join
May 6 18:16:07.264: PIM(4)[green]: Insert (10.1.101.11,226.1.1.1) join in nbr 10.1.101.11's queue
May 6 18:16:07.264: MVPN(green[AF_IPv4]): Add (10.1.101.11, 226.1.1.1) intf Vlan901 olist Join state for BGP C-Rt type 7 Accept <-- MVPN add Vlan901 OIF from type-7


Leaf-01#sh bgp ipv4 mvpn all
<...snip...>
    Network           Next Hop             Metric LocPrf Weight Path
Route Distinguisher: 1:1 (default for vrf green)
*>i [7][1:1][65001][10.1.101.11/32][226.1.1.1/32]/22
                    172.16.255.6             0    100         0 ?   <-- Recieved from Reciever Leaf-03 
* i                  172.16.255.6             0    100         0 ?

Leaf-01#sh ip mroute vrf green 226.1.1.1
<...snip...>
(10.1.101.11, 226.1.1.1), 00:42:41/stopped, flags: sTGx             <-- s = SSM Group, G = Received BGP C-Mroute
  Incoming interface: Vlan101, RPF nbr 10.1.101.11
  Outgoing interface list:
    Vlan901, Forward/Sparse, 00:42:41/stopped                       <-- L3VNI installed as OIF interface

Step 4 & 5 (Leaf-01 & Leaf-03): Multicast đến lá FHR và được gửi qua fabric đến lá LHR. Tóm tắt các lệnh xác thực được đưa ra ở đây. Bạn có thể kiểm tra xác thực chi tiết của các lệnh này trong Tình Huống 1.

show ip mroute vrf green 226.1.1.1 count                                                 <-- software mroute counters
show ip mfib vrf green 226.1.1.1 <verbose>                                               <-- hardware mroute details & counters 
sh platform software fed switch active ip mfib vrf green 226.1.1.1/32 10.1.101.11 detail <-- ASIC entry details and counters 

Tình Huống 3: RP Đơn Lẻ Bên Trong Fabric (Chế Độ Sparse Thông Thường)

Chế độ này được gọi thay thế cho nhau là chế độ RP không phải Anycast hoặc chế độ RP bên ngoài. Trong chế độ này, chỉ có một RP trong lớp phủ. Do đó, (*,G) tree trong lớp phủ có thể trải rộng trên nhiều trang web. BGP sử dụng MVPN RT-6 để quảng cáo tư cách thành viên (*,G) trên toàn cấu trúc. Nếu RP và FHR ở các vị trí khác nhau, các thanh ghi PIM sẽ được gửi qua kết cấu. Đây là chế độ hoạt động mặc định cho PIM SM trong lớp phủ

Giản Đồ Hệ Thống

Regular sparse mode topology
Regular sparse mode topology

Đối với chế độ này, hãy xem xét các loại tuyến đường BGP này và nguồn gốc của chúng

Tạo bởi: Source VTEP

  • EVPN Route Loại 2: Được sử dụng để lấy thông tin Unicast và VRI cho Source và được thêm vào C-Multicast route (MVPN type-7) khi VTEP tham gia STP tree
  • MVPN Route Loại 5: Tuyến A-D route được gửi tới VTEP cho S,G

Tạo bởi: RP VTEP

  • EVPN Router Loại 5: Được sử dụng để lấy thông tin Unicast và VRI cho vòng lặp RP. Loopback không  tạo Route-Type 2, vì vậy type 5 được sử dụng
  • MVPN Router Loại 7: Đây là thông tin chi tiết về tham gia IMGP + RT VRI được lấy từ EVPN Loại 2 và được gửi tới VTEP nguồn và nó thúc đẩy việc tạo ra MRIB OIF

Tạo bởi: Receiver VTEP

  • MVPN Route Loại 6: Loại tuyến được tạo bởi receiver VTEP để tham gia Shared Tree *,G (RPT tree) về phía RP
  • MVPN Route Loại 7: Thông tin từ lớp IMGP hoặc MLD và từ EVPN Loại 2 được sử dụng để tạo kết nối kiểu BGP này. Type-7 thúc đẩy việc tạo ra MRIB OIF ở phía Source

Yêu cầu EVPN Loại 2

  • FHR (source VTEP) xác minh ARP (hoặc ND) và CEF liền kề (xác nhận nguồn được kết nối trực tiếp)..
  • FHR khởi tạo bản cập nhật EVPN Type-2 BGP

Yêu cầu EVPN Loại 5

  • RP Loopback được cấu hình và được quảng cáo vào BGP

Yêu cầu MVPN Loại 5

Trong chế độ này, Leaf tại trang nguồn quảng cáo các thông báo AD hoạt động nguồn cho một (S,G) chỉ khi hai điều kiện này được thỏa mãn.

  • Nó nhận lưu lượng trên giao diện RPF hướng tới Source (nguồn đang gửi mcast tới FHR)
  • Giao diện L3VNI SVI được thêm vào làm giao diện chuyển tiếp cho mục nhập (S,G) là kết quả của việc tham gia S,G từ RP như một phần của quy trình đăng ký PIM (L3VNI SVI được cài đặt trong danh sách OIF)

Yêu cầu MVPN Loại 6

  • RP đã quảng cáo tuyến đường EVPN loại 5 chứa thông tin chi tiết về khả năng tiếp cận VRI và unicast của nó
  • Tham gia IMGP nhận được  trên LHR kích hoạt cập nhật BGP đối với RP

Yêu cầu MVPN Loại 7

  • Có mục nhập EVPN Loại 2 (bắt buộc phải xây dựng route C-Multicast loại 7 với VRI chính xác và được gửi từ Source VTEP)
  • Có mục nhập MVPN Loại 5 (cần thiết để giải quyết cặp Source/Group nào khả dụng để tham gia STP)
  • Receiver VTEP: Báo cáo thành viên IGMP đã được nhận và xử lý bởi LHR VTEP
  • RP VTEP: RP đã nhận các gói multicast Register, có các tuyến EVPN và có một bộ thu cho S,G (đã học qua loại 6)
  • Giao diện LHR VTEP RPF là giao diện Fabric L3VNI

Xác minh chuỗi sự kiện cần thiết cho Tình Huống 3

Xác thực các bước cần thiết để Receiver VTEP ban đầu tham gia Shared Tree, sau đó chuyển sang Shortest Path Tree. Điều này liên quan đến việc kiểm tra các trạng thái tạo bảng BGP, IGMP và MRIB

Sơ đồ chế độ thưa thớt thông thường

Step EVPN (Leaf-03): EVPN Type-5 từ RP được học trên LHR. Điều này là bắt buộc với VTEP của người nhận để tạo một tuyến đường MVPN Type-6.

Leaf-03#sh bgp l2vpn evpn all route-type 5 0 10.2.255.255 32
...or you can also use:
Leaf-03#sh bgp l2vpn evpn detail [5][1:1][0][32][10.2.255.255]/17
BGP routing table entry for [5][1:1][0][32][10.2.255.255]/17, version 25
Paths: (2 available, best #1, table EVPN-BGP-Table)
  Not advertised to any peer
  Refresh Epoch 2
  Local
    172.16.254.4 (metric 3) (via default) from 172.16.255.1 (172.16.255.1) <-- RP's global next hop IP
      Origin incomplete, metric 0, localpref 100, valid, internal, best
      EVPN ESI: 00000000000000000000, Gateway Address: 0.0.0.0, VNI Label 50901, MPLS VPN Label 0
      Extended Community: RT:1:1 MVPN AS:65001:0.0.0.0
        MVPN VRF:172.16.255.4:2 ENCAP:8 Router MAC:7C21.0DBD.9548 
      Originator: 172.16.255.4, Cluster list: 172.16.255.1
      rx pathid: 0, tx pathid: 0x0
      Updated on Jan 13 2021 19:09:31 UTC
  Refresh Epoch 2
  Local

MVPN VRF:172.16.255.4:2   <-- MVPN VRI  
Router MAC:7C21.0DBD.9548 <-- Leaf-02 RMAC 

Step 1 (Leaf-03): Nhận được báo cáo tư cách thành viên IGMP

Leaf-03#sh ip igmp snooping groups
Vlan     Group            Type                Version        Port List
-----------------------------------------------------------------------
102      224.0.1.40       igmp                v2             Gi1/0/10
102      226.1.1.1        igmp                v2             Gi1/0/10   <-- Client has joined 

Step 2 (Leaf-03): MVPN Type-6 được tạo, gửi tới RP, và được nhận bởi RP (Leaf-02)

#### Type-6 from the Receiver VTEP perspective ###
Leaf-03#sh bgp ipv4 mvpn all route-type 6 1:1 65001 10.2.255.255 226.1.1.1  <-- Source is RP Loopback
...or you can also use:
Leaf-03#sh bgp ipv4 mvpn detail [6][1:1][65001][10.2.255.255/32][226.1.1.1/32]/22
BGP routing table entry for [6][1:1][65001][10.2.255.255/32][226.1.1.1/32]/22, version 13
Paths: (1 available, best #1, table MVPNv4-BGP-Table)
  Advertised to update-groups:
      1
  Refresh Epoch 1
  Local
    0.0.0.0 from 0.0.0.0 (172.16.255.6) <-- Generated locally 
      Origin incomplete, localpref 100, weight 32768, valid, sourced, local, best
      Extended Community: RT:172.16.255.4:2 <-- VRI Ext Comm added from EVPN Type-5 
      rx pathid: 2, tx pathid: 0x0
      Updated on Jan 14 2021 14:51:29 UTC


#### Type-6 from the RP perspective  ###
Leaf-02#sh bgp ipv4 mvpn all route-type 6 1:1 65001 10.2.255.255 226.1.1.1 <-- type-6, RD 1:1, AS 65001, Source/Group
...or you can also use:
Leaf-02#sh bgp ipv4 mvpn detail [6][1:1][65001][10.2.255.255/32][226.1.1.1/32]/22
BGP routing table entry for [6][1:1][65001][10.2.255.255/32][226.1.1.1/32]/22, version 25
Paths: (2 available, best #1, table MVPNv4-BGP-Table)
   Flag: 0x100
   Not advertised to any peer
   Refresh Epoch 2
   Local
     172.16.255.6 (metric 3) from 172.16.255.1 (172.16.255.1)
       Origin incomplete, metric 0, localpref 100, valid, internal, best
       Extended Community: RT:172.16.255.4:2 <-- Contains VRI learned from EVPN Type-5 
      Originator: 172.16.255.6, Cluster list: 172.16.255.1 <-- Sent from Leaf03 IP to RP 
      rx pathid: 0, tx pathid: 0x0
      Updated on Jan 14 2021 14:54:29 UTC

Step 1 & 2 Debugs (Leaf-01): Báo cáo IGMP, tra cứu nguồn EVPN, và tạo MVPN Type-6

debug ip igmp vrf green 226.1.1.1
debug bgp ipv4 mvpn updates
debug bgp ipv4 mvpn updates events

### Client sends IGMP membership report ### 

### IGMP processes this IGMP report ###
*Feb 1 21:13:19.029: IGMP(2): Received v2 Report on Vlan102 from 10.1.102.12 for 226.1.1.1   <--- IGMP processes received report 
*Feb 1 21:13:19.029: IGMP(2): Received Group record for group 226.1.1.1, mode 2 from 10.1.102.12 for 0 sources
*Feb 1 21:13:19.029: IGMP(2): WAVL Insert group: 226.1.1.1 interface: Vlan102 Successful 
*Feb 1 21:13:19.029: IGMP(2): Switching to EXCLUDE mode for 226.1.1.1 on Vlan102
*Feb 1 21:13:19.029: IGMP(2): Updating EXCLUDE group timer for 226.1.1.1
*Feb 1 21:13:19.029: IGMP(2): MRT Add/Update Vlan102 for (*,226.1.1.1) by 0   <--- Notify MRT to add Vlan 102 into Outgoing interface list


### BGP is informed by IGMP, does an EVPN source lookup, creates the MVPN Type-6 route, sends to RR ###
Note: Without the EVPN Type-5 prefix already in BGP you see IGMP debugs trigger, but no subsequent BGP debugs as seen here

*Feb 1 21:13:19.033: BGP[15] MVPN: add c-route, type 6, bs len 0 asn=0, rd=1:1, <-- Start creation of Type-6 C-multicast Shared Tree Join
*Feb 1 21:13:19.033: source=10.2.255.255/4,  <-- RP loopback255
*Feb 1 21:13:19.033: group=226.1.1.1/4,      <-- Group IP
*Feb 1 21:13:19.033: nexthop=172.16.254.4,   <-- Global Next-Hop learned from EVPN VRI
*Feb 1 21:13:19.033: len left = 0
*Feb 1 21:13:19.033: BGP[14] MVPN umh lookup: vrfid 2, source 10.2.255.255 <-- UMH (upstream multicast hop) as found in the RT of the EVPN type-5
*Feb 1 21:13:19.033: BGP[4] MVPN umh lookup: vrfid 2, source 10.2.255.255, net 1:1:10.2.255.255/32, 1:1:10.2.255.255/32 with matching nexthop 172.16.254.4, remote-rd [1:1]: 0x9:65001:0.0.0.0, 0x10B:172.16.255.4:2, <-- EVPN info adding to MVPN
*Feb 1 21:13:19.033: BGP: MVPN(15) create local route [6][1:1][65001][10.2.255.255/32][226.1.1.1/32]/22     <--- MVPN creating type-6 
*Feb 1 21:13:19.033: BGP[15] MVPN: add c-route, type 6, bs len 0 asn=65001, rd=1:1,
*Feb 1 21:13:19.033: source=10.2.255.255/4,
*Feb 1 21:13:19.033: group=226.1.1.1/4,
*Feb 1 21:13:19.033: nexthop=172.16.254.4,
*Feb 1 21:13:19.033: len left = 0
*Feb 1 21:13:19.033: BGP[14] MVPN umh lookup: vrfid 2, source 10.2.255.255
*Feb 1 21:13:19.033: BGP[4] MVPN umh lookup: vrfid 2, source 10.2.255.255, net 1:1:10.2.255.255/32, 1:1:10.2.255.255/32 with matching nexthop 172.16.254.4, remote-rd [1:1]: 0x9:65001:0.0.0.0, 0x10B:172.16.255.4:2,
*Feb 1 21:13:19.034: BGP(15): skip vrf default table RIB route [6][1:1][65001][10.2.255.255/32][226.1.1.1/32]/22
*Feb 1 21:13:19.034: BGP(15): 172.16.255.1 NEXT_HOP self is set for sourced RT Filter for net [6][1:1][65001][10.2.255.255/32][226.1.1.1/32]/22
*Feb 1 21:13:19.034: BGP(15): (base) 172.16.255.1 send UPDATE (format) [6][1:1][65001][10.2.255.255/32][226.1.1.1/32]/22, next 172.16.255.6, metric 0, path Local, extended community RT:172.16.255.4:2 <-- Advertise to RR (172.16.255.1)

Step 3 & 4 (Leaf-01):Từ phối cảnh FHR, xác thực các sự kiện tạo S,G & Register  (S,G create & Register xảy ra gần như đồng thời)

  • Lưu lượng Data bắt đầu và S,G được tạo tại FHR VTEP. Các yêu cầu được lưu ý trong phần “Undetected Multicast Sources” áp dụng tại đây
  • Leaf-01 thực hiện đăng ký Source tới RP thông qua PIM tunnel
Leaf-01#debug ip pim vrf green 226.1.1.1
PIM debugging is on

Leaf-01#debug ip mrouting vrf green 226.1.1.1
IP multicast routing debugging is on

### Debugs for PIM and Mroute show creation of S,G and PIM register encap event ###
*Jan 29 18:18:37.602: PIM(2): Building Periodic (*,G) Join / (S,G,RP-bit) Prune message for 226.1.1.1
*Jan 29 18:18:58.426: MRT(2): (10.1.101.11,226.1.1.1), RPF install from /0.0.0.0 to Vlan101/10.1.101.11<-- S,G is creation message (MRT process)
*Jan 29 18:18:58.427: PIM(2): Adding register encap tunnel (Tunnel4) as forwarding interface of (10.1.101.11, 226.1.1.1). <-- Sending via register (PIM process) 
*Jan 29 18:18:58.427: MRT(2): Set the F-flag for (*, 226.1.1.1)
*Jan 29 18:18:58.427: MRT(2): Set the F-flag for (10.1.101.11, 226.1.1.1)
*Jan 29 18:18:58.428: MRT(2): Create (10.1.101.11,226.1.1.1), RPF (Vlan101, 10.1.101.11, 0/0) <-- S,G is creation message (MRT process)
*Jan 29 18:18:58.428: MRT(2): Set the T-flag for (10.1.101.11, 226.1.1.1)


### Tunnel 4 is PIM Register tunnel (Encap: encapsulate in tunnel to RP) ####
Leaf-01#sh int tunnel4
Tunnel4 is up, line protocol is up
  Hardware is Tunnel
  Description: Pim Register Tunnel (Encap) for RP 10.2.255.255 on VRF green <-- VRF green for Leaf-02 RP 
  Interface is unnumbered. Using address of Loopback901 (10.1.255.1)        <-- Local Loopback 


### S,G is created when Source sends data traffic ###
Leaf-01#sh ip mroute vrf green 226.1.1.1
IP Multicast Routing Table
<...snip...>
Outgoing interface flags: H - Hardware switched, A - Assert winner, p - PIM Join
 Timers: Uptime/Expires
 Interface state: Interface, Next-Hop or VCD, State/Mode

(*, 226.1.1.1), 00:00:16/stopped, RP 10.2.255.255, flags: SPF
  Incoming interface: Vlan901, RPF nbr 172.16.254.4
  Outgoing interface list: Null

(10.1.101.11, 226.1.1.1), 00:00:16/00:02:47, flags: FTGqx
  Incoming interface: Vlan101, RPF nbr 10.1.101.11, Registering <-- S,G created, in Register state, RPF IP is the /32 host prefix for this source
  Outgoing interface list:
    Vlan901, Forward/Sparse, 00:00:16/00:02:43 <-- OIF is the L3VNI SVI 


#### Checking S,G in Hardware ###
Leaf-01#sh platform software fed switch active ip mfib vrf green 226.1.1.1/32 10.1.101.11 de
MROUTE ENTRY vrf 2 (10.1.101.11, 226.1.1.1/32) <-- VRF 2 is the ID for vrf green
  HW Handle: 140213987784872 Flags: {Svl}
RPF interface: Vlan101(59)): SVI               <-- RPF is Direct connected on a Local Subnet
  HW Handle:140213987784872 Flags:A
Number of OIF: 2
Flags: 0x4 Pkts : 336         <-- packets that used this adjacency (similar to mfib command, but shown at the FED layer)
OIF Details:
     Vlan101 A                <-- Accept interface is programmed correctly 
     Vlan901 F {Remote}       <-- Forward interface is L3VNI SVI 
        (Adj: 0x5f )          <-- Validate this Adj 
Htm: 0x7f861cf071b8 Si: 0x7f861cf04838 Di: 0x7f861cf097a8 Rep_ri: 0x7f861ceecb38


### Check ADJ 0x5f for next hop details ###
Leaf-01#sh platform software fed switch active ip adj
IPV4 Adj entries
dest          if_name               dst_mac         si_hdl         ri_hdl         pd_flags adj_id   Last-modified
----          -------               -------         ------         ------         -------- -----    ------------------------
239.1.1.1     nve1.VNI50901         4500.0000.0000  0x7f861ce659b8 0x7f861ce65b68 0x60     0x5f      2021/01/29 17:07:06.568

Dest = MDT default group 239.1.1.1
Outgoing Interface = Nve1 using L3 VNI 50901

Step 4 (Leaf-02): Từ phối cảnh RP perspective, xác nhận đăng ký Source đạt đến RP và S,G được tạo

  • Lưu lượng dữ liệu bắt đầu và S,G được tạo tại FHR VTEP. Các yêu cầu được lưu ý trong phần “Undetected Multicast Sources” áp dụng tại đây
  • Leaf-01 thực hiện đăng ký Source tới RP thông qua PIM tunnel
Leaf-01#debug ip pim vrf green 226.1.1.1
PIM debugging is on

Leaf-01#debug ip mrouting vrf green 226.1.1.1
IP multicast routing debugging is on

### Debugs for PIM and Mroute show creation of S,G and PIM register encap event ###
*Jan 29 18:18:37.602: PIM(2): Building Periodic (*,G) Join / (S,G,RP-bit) Prune message for 226.1.1.1
*Jan 29 18:18:58.426: MRT(2): (10.1.101.11,226.1.1.1), RPF install from /0.0.0.0 to Vlan101/10.1.101.11<-- S,G is creation message (MRT process)
*Jan 29 18:18:58.427: PIM(2): Adding register encap tunnel (Tunnel4) as forwarding interface of (10.1.101.11, 226.1.1.1). <-- Sending via register (PIM process) 
*Jan 29 18:18:58.427: MRT(2): Set the F-flag for (*, 226.1.1.1)
*Jan 29 18:18:58.427: MRT(2): Set the F-flag for (10.1.101.11, 226.1.1.1)
*Jan 29 18:18:58.428: MRT(2): Create (10.1.101.11,226.1.1.1), RPF (Vlan101, 10.1.101.11, 0/0) <-- S,G is creation message (MRT process)
*Jan 29 18:18:58.428: MRT(2): Set the T-flag for (10.1.101.11, 226.1.1.1)


### Tunnel 4 is PIM Register tunnel (Encap: encapsulate in tunnel to RP) ####
Leaf-01#sh int tunnel4
Tunnel4 is up, line protocol is up
  Hardware is Tunnel
  Description: Pim Register Tunnel (Encap) for RP 10.2.255.255 on VRF green <-- VRF green for Leaf-02 RP 
  Interface is unnumbered. Using address of Loopback901 (10.1.255.1)        <-- Local Loopback 


### S,G is created when Source sends data traffic ###
Leaf-01#sh ip mroute vrf green 226.1.1.1
IP Multicast Routing Table
<...snip...>
Outgoing interface flags: H - Hardware switched, A - Assert winner, p - PIM Join
 Timers: Uptime/Expires
 Interface state: Interface, Next-Hop or VCD, State/Mode

(*, 226.1.1.1), 00:00:16/stopped, RP 10.2.255.255, flags: SPF
  Incoming interface: Vlan901, RPF nbr 172.16.254.4
  Outgoing interface list: Null

(10.1.101.11, 226.1.1.1), 00:00:16/00:02:47, flags: FTGqx
  Incoming interface: Vlan101, RPF nbr 10.1.101.11, Registering <-- S,G created, in Register state, RPF IP is the /32 host prefix for this source
  Outgoing interface list:
    Vlan901, Forward/Sparse, 00:00:16/00:02:43 <-- OIF is the L3VNI SVI 


#### Checking S,G in Hardware ###
Leaf-01#sh platform software fed switch active ip mfib vrf green 226.1.1.1/32 10.1.101.11 de
MROUTE ENTRY vrf 2 (10.1.101.11, 226.1.1.1/32) <-- VRF 2 is the ID for vrf green
  HW Handle: 140213987784872 Flags: {Svl}
RPF interface: Vlan101(59)): SVI               <-- RPF is Direct connected on a Local Subnet
  HW Handle:140213987784872 Flags:A
Number of OIF: 2
Flags: 0x4 Pkts : 336         <-- packets that used this adjacency (similar to mfib command, but shown at the FED layer)
OIF Details:
     Vlan101 A                <-- Accept interface is programmed correctly 
     Vlan901 F {Remote}       <-- Forward interface is L3VNI SVI 
        (Adj: 0x5f )          <-- Validate this Adj 
Htm: 0x7f861cf071b8 Si: 0x7f861cf04838 Di: 0x7f861cf097a8 Rep_ri: 0x7f861ceecb38


### Check ADJ 0x5f for next hop details ###
Leaf-01#sh platform software fed switch active ip adj
IPV4 Adj entries
dest          if_name               dst_mac         si_hdl         ri_hdl         pd_flags adj_id   Last-modified
----          -------               -------         ------         ------         -------- -----    ------------------------
239.1.1.1     nve1.VNI50901         4500.0000.0000  0x7f861ce659b8 0x7f861ce65b68 0x60     0x5f      2021/01/29 17:07:06.568

Dest = MDT default group 239.1.1.1
Outgoing Interface = Nve1 using L3 VNI 50901

Step 4 (Leaf-02): Từ phối cảnh RP perspective, xác nhận đăng ký Source đạt đến RP và S,G được tạo

### PIM debugs showing PIM register event ###
Leaf-02#debug ip pim vrf green 226.1.1.1
PIM debugging is on

*Jan 29 18:21:35.500: PIM(2): Building Periodic (*,G) Join / (S,G,RP-bit) Prune message for 226.1.1.1
*Jan 29 18:21:35.500: PIM: rp our address                                     <-- Leaf-02 is the RP 
*Jan 29 18:21:41.005: PIM(2): Received v2 Register on Vlan901 from 10.1.255.1 <--- IP of Lo901 on Leaf-01 sent register
*Jan 29 18:21:41.005: for 10.1.101.11, group 226.1.1.1
*Jan 29 18:21:41.006: PIM(2): Adding register decap tunnel (Tunnel4) as accepting interface of (10.1.101.11, 226.1.1.1).
*Jan 29 18:21:41.008: PIM(2): Upstream mode for (10.1.101.11, 226.1.1.1) changed from 1 to 2

### Tunnel 4 is PIM Register tunnel (decap) ####
Leaf-02#sh int tunnel 4
Tunnel4 is up, line protocol is up
  Hardware is Tunnel
  Description: Pim Register Tunnel (Decap) for RP 10.2.255.255 on VRF green <-- decap side of register tunnel 
  Interface is unnumbered. Using address of Loopback255 (10.2.255.255)      <-- RP IP


### Mroute debugs show pim Register triggering S,G ###
Leaf-02#debug ip mrouting vrf green 226.1.1.1
IP multicast routing debugging is on

*Jan 29 20:44:31.483: MRT(2): (10.1.101.11,226.1.1.1), RPF install from /0.0.0.0 to Vlan901/172.16.254.3 <-- RPF is to Leaf-01
*Jan 29 20:44:31.485: MRT(2): Create (10.1.101.11,226.1.1.1), RPF (Vlan901, 172.16.254.3, 200/0)         <-- Create the S,G 
*Jan 29 20:44:33.458: MRT(2): Set the T-flag for (10.1.101.11, 226.1.1.1)                                <-- Set SPT bit for S,G 


### S,G is created and traffic is now sent along the *,G shared tree  ###
Leaf-02#sh ip mroute vrf green
IP Multicast Routing Table
Flags: D - Dense, S - Sparse, B - Bidir Group, s - SSM Group, C - Connected,
       L - Local, P - Pruned, R - RP-bit set, F - Register flag,
       T - SPT-bit set, J - Join SPT, M - MSDP created entry, E - Extranet,
       X - Proxy Join Timer Running, A - Candidate for MSDP Advertisement,
       U - URD, I - Received Source Specific Host Report,
       Z - Multicast Tunnel, z - MDT-data group sender,
       Y - Joined MDT-data group, y - Sending to MDT-data group,
       G - Received BGP C-Mroute, g - Sent BGP C-Mroute,
       N - Received BGP Shared-Tree Prune, n - BGP C-Mroute suppressed,
       Q - Received BGP S-A Route, q - Sent BGP S-A Route,
       V - RD & Vector, v - Vector, p - PIM Joins on route,
       x - VxLAN group, c - PFP-SA cache created entry,
       * - determined by Assert, # - iif-starg configured on rpf intf,
       e - encap-helper tunnel flag
Outgoing interface flags: H - Hardware switched, A - Assert winner, p - PIM Join
 Timers: Uptime/Expires
 Interface state: Interface, Next-Hop or VCD, State/Mode

(*, 226.1.1.1), 00:05:49/stopped, RP 10.2.255.255, flags: SGx <-- Sparse, Received BGP C-Mroute
  Incoming interface: Null, RPF nbr 0.0.0.0                   <-- RP is us (Incoming Interface Null with 0.0.0.0 RPF) 
  Outgoing interface list:
    Vlan901, Forward/Sparse, 00:05:49/stopped             

(10.1.101.11, 226.1.1.1), 00:01:22/00:01:41, flags: PTXgx     <-- Pruned, SPT bit, Sent BGP C-Mroute
  Incoming interface: Vlan901, RPF nbr 172.16.254.3           <-- Leaf-01 is RPF next hop 
  Outgoing interface list: Null                            

Step 5 (Leaf-02): RP có bộ thu nên tạo ngay Type-7 MVPN Source Tree Join route

Leaf-02#sh ip mroute vrf green 226.1.1.1
<...snip...>
(*, 226.1.1.1), 00:02:22/00:00:37, RP 10.2.255.255, flags: SGx
  Incoming interface: Null, RPF nbr 0.0.0.0
  Outgoing interface list:
    Vlan901, Forward/Sparse, 00:02:22/00:00:37   <-- L3 VNI is populated from Receiver BGP Type-6 join 


#### Debugs showing Type-7 creation from RP ####
Leaf-02#debug bgp ipv4 mvpn updates
BGP updates debugging is on for address family: MVPNv4 Unicast

Leaf-02#debug bgp ipv4 mvpn updates events
BGP update events debugging is on for address family: MVPNv4 Unicast

*Jan 29 18:21:41.008: BGP[15] MVPN: add c-route, type 7, bs len 0 asn=0, rd=1:1,
*Jan 29 18:21:41.008: source=10.1.101.11/4,
*Jan 29 18:21:41.008: group=226.1.1.1/4,
*Jan 29 18:21:41.008: nexthop=172.16.254.3,    <-- Leaf-01 Global next hop 
*Jan 29 18:21:41.008: len left = 0
*Jan 29 18:21:41.008: BGP[14] MVPN umh lookup: vrfid 2, source 10.1.101.11
*Jan 29 18:21:41.008: BGP[4] MVPN umh lookup: vrfid 2, source 10.1.101.11, net 1:1:10.1.101.11/32, 1:1:10.1.101.11/32 with matching nexthop 172.16.254.3, remote-rd [172.16.]: 0x9:65001:0.0.0.0, 0x10B:172.16.255.3:2, <-- This is the VRI picked up from the EVPN Type-2 
*Jan 29 18:21:41.009: BGP: MVPN(15) create local route [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22
*Jan 29 18:21:41.009: BGP[15] MVPN: add c-route, type 7, bs len 0 asn=65001, rd=1:1,
*Jan 29 18:21:41.009: source=10.1.101.11/4,
*Jan 29 18:21:41.009: group=226.1.1.1/4,
*Jan 29 18:21:41.009: nexthop=172.16.254.3,
*Jan 29 18:21:41.009: len left = 0
*Jan 29 18:21:41.009: BGP[14] MVPN umh lookup: vrfid 2, source 10.1.101.11
*Jan 29 18:21:41.009: BGP[4] MVPN umh lookup: vrfid 2, source 10.1.101.11, net 1:1:10.1.101.11/32, 1:1:10.1.101.11/32 with matching nexthop 172.16.254.3, remote-rd [172.16.]: 0x9:65001:0.0.0.0, 0x10B:172.16.255.3:2,


### Type-7 Locally created on RP and sent to Source Leaf-01 ###
Leaf-02#sh bgp ipv4 mvpn all
BGP table version is 81, local router ID is 172.16.255.4
Status codes: s suppressed, d damped, h history, * valid, > best, i - internal,
r RIB-failure, S Stale, m multipath, b backup-path, f RT-Filter,
x best-external, a additional-path, c RIB-compressed,
t secondary path, L long-lived-stale,
Origin codes: i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not found

     Network         Next Hop            Metric LocPrf Weight Path
Route Distinguisher: 172.16.254.3:101 <-- Note the VRI is learnt from Leaf-01
 *> [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22 <-- [7] = type-7 for this S,G / VRI 172.16.254.3:101 learned from Leaf-01
                    0.0.0.0                            32768 ?    <-- 0.0.0.0 locally originated with local Weight

Step 6 (Leaf-01): Nguồn Leaf-01 nhận và cài đặt MVPN Route-Type 7. (L3 VNI SVI được cài đặt làm giao diện chuyển tiếp cho S,G)

### Received Type-7 from Leaf-02 RP ###

Leaf-01#debug bgp ipv4 mvpn updates
BGP updates debugging is on for address family: MVPNv4 Unicast
Leaf-01#debug bgp ipv4 mvpn updates events
BGP update events debugging is on for address family: MVPNv4 Unicast

*Jan 29 18:18:58.457: BGP(15): 172.16.255.1 rcvd UPDATE w/ attr: nexthop 172.16.255.4, origin ?, localpref 100, metric 0, originator 172.16.255.4, clusterlist 172.16.255.1, extended community RT:172.16.255.3:2 <-- Type-7 from Route Reflector 172.16.255.1 
*Jan 29 18:18:58.457: BGP(15): 172.16.255.1 rcvd [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22 <-- Received [7] Type-7 BGP join route 
*Jan 29 18:18:58.457: BGP(15): skip vrf default table RIB route [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22
*Jan 29 18:18:58.458: BGP(15): add RIB route (0:0)[7][1:1][65001][10.1.101.11/32][226.1.1.1/32]/22



### PIM updated by MVPN to install L3 VNI in Outgoing Interface List ###

Leaf-01#debug ip pim vrf green 226.1.1.1
PIM debugging is on
Leaf-01#debug ip mrouting vrf green 226.1.1.1
IP multicast routing debugging is on

*Jan 29 18:18:58.458: PIM(2): Join-list: (10.1.101.11/32, 226.1.1.1), S-bit set, BGP C-Route
*Jan 29 18:18:58.459: MRT(2): WAVL Insert VxLAN interface: Vlan901 in (10.1.101.11,226.1.1.1) Next-hop: 239.1.1.1 VNI 50901 Successful <-- VxLAN info such as VNI, and outer Mcast group during Olist creation 
*Jan 29 18:18:58.459: MRT(2): set min mtu for (10.1.101.11, 226.1.1.1) 18010->9198
*Jan 29 18:18:58.460: MRT(2): Add Vlan901/239.1.1.1/50901 to the olist of (10.1.101.11, 226.1.1.1), Forward state - MAC not built <-- OIF is added for the VNI SVI 901 
*Jan 29 18:18:58.460: PIM(2): Add Vlan901/0.0.0.0 to (10.1.101.11, 226.1.1.1), Forward state, by BGP SG Join
*Jan 29 18:18:58.460: MRT(2): Add Vlan901/239.1.1.1/50901to the olist of (10.1.101.11, 226.1.1.1), Forward state - MAC not built

Step 7 (Leaf-01): Leaf-01 quảng cáo MVPN Source A-D Type-5 cho S,G

Leaf-01#debug bgp ipv4 mvpn updates
BGP updates debugging is on for address family: MVPNv4 Unicast
Leaf-01#debug bgp ipv4 mvpn updates events
BGP update events debugging is on for address family: MVPNv4 Unicast

*Jan 29 18:18:58.461: BGP(15): nettable_walker [5][1:1][10.1.101.11][226.1.1.1]/18 route sourced locally <-- BGP determines route is local to Leaf-01
*Jan 29 18:18:58.461: BGP(15): delete RIB route (0:0)[5][1:1][10.1.101.11][226.1.1.1]/18
*Jan 29 18:18:58.461: BGP(15): 172.16.255.1 NEXT_HOP self is set for sourced RT Filter for net [5][1:1][10.1.101.11][226.1.1.1]/18
*Jan 29 18:18:58.461: BGP(15): (base) 172.16.255.1 send UPDATE (format) [5][1:1][10.1.101.11][226.1.1.1]/18, next 172.16.255.3, metric 0, path Local, extended community RT:1:1 <-- Send Type-5 update 

Step 8 (Leaf-03): Receiver VTEP nhận Type-5 và cài đặt Source A-D route cho S,G

Leaf-03#debug bgp ipv4 mvpn updates
BGP updates debugging is on for address family: MVPNv4 Unicast
Leaf-03#debug bgp ipv4 mvpn updates events
BGP update events debugging is on for address family: MVPNv4 Unicast

*Jan 29 19:18:53.318: BGP(15): 172.16.255.1 rcvd UPDATE w/ attr: nexthop 172.16.255.3, origin ?, localpref 100, metric 0, originator 172.16.255.3, clusterlist 172.16.255.1, community no-export, extended community RT:1:1
*Jan 29 19:18:53.319: BGP(15): 172.16.255.1 rcvd [5][1:1][10.1.101.11][226.1.1.1]/18   <-- Type-5 Received from Source VTEP Leaf-01 
*Jan 29 19:18:53.319: BGP(15): skip vrf default table RIB route [5][1:1][10.1.101.11][226.1.1.1]/18


Leaf-03#sh bgp ipv4 mvpn all route-type 5 10.1.101.11 226.1.1.1
...or you can also use:
Leaf-03#sh bgp ipv4 mvpn detail [5][1:1][10.1.101.11][226.1.1.1]/18
BGP routing table entry for [5][1:1][10.1.101.11][226.1.1.1]/18, version 41   <-- Type-5 A-D route from Leaf-01
Paths: (2 available, best #2, table MVPNv4-BGP-Table, not advertised to EBGP peer)
Flag: 0x100
Not advertised to any peer
Refresh Epoch 1
Local
  172.16.255.3 (metric 3) from 172.16.255.1 (172.16.255.1)    <-- Leaf-01 IP 
    Origin incomplete, metric 0, localpref 100, valid, internal, best
    Community: no-export
     Extended Community: RT:1:1
     Originator: 172.16.255.3, Cluster list: 172.16.255.1
     rx pathid: 0, tx pathid: 0x0
     Updated on Jan 29 2021 19:18:53 UTC

Step 9 (Leaf-03): S,G được tạo, Leaf-03 gửi MVPN Type-7 để tham gia SPT tree, và bắt đầu chấp nhận lưu lượng

debug ip mrouting vrf green 226.1.1.1
debug bgp ipv4 mvpn updates
debug bgp ipv4 mvpn updates events

### Debug of Mrouting shows S,G create and call to BGP to create Type-7 BGP S,G join ###
*Feb 12 19:34:26.045: MRT(2): (10.1.101.11,226.1.1.1), RPF install from /0.0.0.0 to Vlan901/172.16.254.3 <-- RPF check done as first operation. Selected L3VNI SVI and Leaf-01 next hop 
*Feb 12 19:34:26.046: MRT(2): Create (10.1.101.11,226.1.1.1), RPF (Vlan901, 172.16.254.3, 200/0)  <-- RPF successful Creating S,G 
*Feb 12 19:34:26.047: MRT(2): WAVL Insert interface: Vlan102 in (10.1.101.11,226.1.1.1) Successful
*Feb 12 19:34:26.047: MRT(2): set min mtu for (10.1.101.11, 226.1.1.1) 18010->9198
*Feb 12 19:34:26.047: MRT(2): Set the T-flag for (10.1.101.11, 226.1.1.1)
*Feb 12 19:34:26.048: MRT(2): Add Vlan102/226.1.1.1 to the olist of (10.1.101.11, 226.1.1.1), Forward state - MAC not built <-- Adding Vlan102 Receiver SVI into OIF list 
*Feb 12 19:34:26.048: MRT(2): Set BGP Src-Active for (10.1.101.11, 226.1.1.1) <-- Signaling to BGP that this Source is seen and join SPT path 

### BGP Type-7 created ###
Leaf-03#sh bgp ipv4 mvpn all
Route Distinguisher: 172.16.254.3:101                                <-- VRI Route Distinguisher 
 *>    [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22 <-- Type [7], VRI, S,G info 
                       0.0.0.0                            32768 ?    <-- created locally


Leaf-03#sh ip mroute vrf green 226.1.1.1 10.1.101.11
IP Multicast Routing Table
Flags: D - Dense, S - Sparse, B - Bidir Group, s - SSM Group, C - Connected,
       L - Local, P - Pruned, R - RP-bit set, F - Register flag,
       T - SPT-bit set, J - Join SPT, M - MSDP created entry, E - Extranet,
       X - Proxy Join Timer Running, A - Candidate for MSDP Advertisement,
       U - URD, I - Received Source Specific Host Report,
       Z - Multicast Tunnel, z - MDT-data group sender,
       Y - Joined MDT-data group, y - Sending to MDT-data group,
       G - Received BGP C-Mroute, g - Sent BGP C-Mroute,
       N - Received BGP Shared-Tree Prune, n - BGP C-Mroute suppressed,
       Q - Received BGP S-A Route, q - Sent BGP S-A Route,
       V - RD & Vector, v - Vector, p - PIM Joins on route,
       x - VxLAN group, c - PFP-SA cache created entry,
       * - determined by Assert, # - iif-starg configured on rpf intf,
       e - encap-helper tunnel flag
Outgoing interface flags: H - Hardware switched, A - Assert winner, p - PIM Join
 Timers: Uptime/Expires
 Interface state: Interface, Next-Hop or VCD, State/Mode

(10.1.101.11, 226.1.1.1), 00:08:41/00:02:13, flags: TgQ <-- SPT bit, Sent MVPN type-7, Received MVPN type-5 
  Incoming interface: Vlan901, RPF nbr 172.16.254.3     <-- Receive from L3VNI via Leaf-01 IP next hop 
  Outgoing interface list:
    Vlan102, Forward/Sparse, 00:08:41/00:02:22          <-- Send to host in Vlan 102 

Step 10 (Leaf-01): Leaf-01 nhận và cài đặt MVPN Type-7 từ Leaf-03

debug bgp ipv4 mvpn updates
debug bgp ipv4 mvpn updates events 
IP space
### Type-7 Received from Leaf-03 VTEP and installed into RIB ###
*Feb 12 19:55:29.000: BGP(15): 172.16.255.1 rcvd [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22   <-- Type-7 from Leaf-03 
*Feb 12 19:55:29.000: BGP(15): skip vrf default table RIB route [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22
*Feb 12 19:55:29.000: BGP(15): add RIB route (0:0)[7][1:1][65001][10.1.101.11/32][226.1.1.1/32]/22

Tình Huống 4: RP Bên Ngoài Fabric (RP Được Nhập Từ Border Leaf-02 Từ IP Space)

Tình huống này về cơ bản giống như Tình Huống 4. Nhìn chung, có một RP duy nhất được sử dụng bởi Fabric. Sự khác biệt là RP IP phải được nhập từ non-fabric IP space và được quảng bá vào BGP.

Phần này cho thấy sự khác biệt so với Tình Huống 3. Các bước và phương pháp giống nhau chỉ được ghi chú Tình Huống 3

Giản Đồ Hệ Thống

RP outside fabric toplogy
RP outside fabric toplogy

Xác Thực Border Switch Từ IP Sang Fabric

Sự khác biệt chính của của thiết kế này so với Tình Huống 3 là trước tiên cần phải nhập RP IP từ IP space sang EVPN

Border cần chứa một số lệnh nhất định để import/export vào và từ fabric & IP spaces:

  • route-target <value> stitching commands under the VRF configuration section
  • advertise l2vpn evpn under the BGP vrf address-family 

Verify (Leaf-02): Cấu hình

Leaf-02#sh run vrf green
Building configuration...

Current configuration : 1533 bytes
vrf definition green
rd 1:1
!
address-family ipv4
mdt auto-discovery vxlan
mdt default vxlan 239.1.1.1
mdt overlay use-bgp
route-target export 1:1            
route-target import 1:1             
route-target export 1:1 stitching    <-- BGP-EVPN fabric redistributes the stitching routes between the EVPN and the IP BGP
route-target import 1:1 stitching
exit-address-family

Leaf-02#sh run | sec router bgp
address-family ipv4 vrf green       <--- BGP VRF green address-family 
advertise l2vpn evpn                <--- Use the 'advertise l2vpn evpn' command and 'export stitching' RTs to push the native routes towards the EVPN
redistribute connected
redistribute static
redistribute ospf 2 match internal external 1 external 2   <-- Learning via external OSPF neighbor in VRF 
exit-address-family

Verify (Leaf-02): Quảng bá và nhập tiền tố

debug bgp vpnv4 unicast updates
debug bgp vpnv4 unicast updates events
debug bgp l2vpn evpn updates
debug bgp l2vpn evpn updates events

*Feb 15 15:30:54.407: BGP(4): redist event (1) request for 1:1:10.2.255.255/32  <-- VPNv4 Redistribute statement present in BGP address family 
*Feb 15 15:30:54.407: BGP(4) route 1:1:10.2.255.255/32 gw-1 10.2.1.2 src_proto (ospf) path-limit 1
*Feb 15 15:30:54.407: BGP(4): route 1:1:10.2.255.255/32 up
*Feb 15 15:30:54.407: bgp_ipv4set_origin: redist 1, opaque 0x0, net 10.2.255.255
*Feb 15 15:30:54.407: BGP(4): sourced route for 1:1:10.2.255.255/32 path 0x7FF8065EB9C0 id 0 gw 10.2.1.2 created (weight 32768)
*Feb 15 15:30:54.408: BGP(4): redistributed route 1:1:10.2.255.255/32 added gw 10.2.1.2
*Feb 15 15:30:54.408: BGP: topo green:VPNv4 Unicast:base Remove_fwdroute for 1:1:10.2.255.255/32
*Feb 15 15:30:54.408: BGP(4): 1:1:10.2.255.255/32 import vpn re-orig or locally sourced or learnt from CE  <-- Prefix learned from external CE 
*Feb 15 15:30:54.409: BGP(10): update modified for [5][1:1][0][32][10.2.255.255]/17                        <--- EVPN picked up and Type-5 creation  
*Feb 15 15:30:54.409: BGP(10): 172.16.255.1 NEXT_HOP set to vxlan local vtep-ip 172.16.254.4 for net [5][1:1][0][32][10.2.255.255]/17   <-- Set NH to Leaf-02 loopback 
*Feb 15 15:30:54.409: BGP(10): update modified for [5][1:1][0][32][10.2.255.255]/17
*Feb 15 15:30:54.409: BGP(10): (base) 172.16.255.1 send UPDATE (format) [5][1:1][0][32][10.2.255.255]/17, next 172.16.254.4, metric 2, path Local, extended community RT:1:1 OSPF DOMAIN ID:0x0005:0x000000020200 MVPN AS:65001:0.0.0.0 MVPN VRF:172.16.255.4:2 ENCAP:8 Router MAC:7C21.0DBD.9548 OSPF RT:0.0.0.0:2:0 OSPF ROUTER ID:10.2.255.255:0
<-- BGP EVPN Type update created from Non-fabric Imported prefix and sent to RR 


### Verify the NLRI is learned and Imported on Border Leaf-02 ###
Leaf-02#sh bgp vpnv4 unicast all
BGP table version is 39, local router ID is 172.16.255.4
Status codes: s suppressed, d damped, h history, * valid, > best, i - internal,
              r RIB-failure, S Stale, m multipath, b backup-path, f RT-Filter,
              x best-external, a additional-path, c RIB-compressed,
              t secondary path, L long-lived-stale,
Origin codes: i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not found

 Network Next Hop Metric LocPrf Weight Path
Route Distinguisher: 1:1 (default for vrf green)
AF-Private Import to Address-Family: L2VPN E-VPN, Pfx Count/Limit: 3/1000  <-- Prefix Import details. (Note default import limit of 1000) 
 *>   10.2.255.255/32  10.2.1.2                 2         32768 ?          <-- Locally redistributed, Next hop on CE device

Leaf-02#sh bgp l2vpn evpn all route-type 5 0 10.2.255.255 32
...or you can also use:
Leaf-02#sh bgp l2vpn evpn detail [5][1:1][0][32][10.2.255.255]/17
BGP routing table entry for [5][1:1][0][32][10.2.255.255]/17, version 69
Paths: (1 available, best #1, table EVPN-BGP-Table)
  Advertised to update-groups:
     2
  Refresh Epoch 1
  Local, imported path from base
    10.2.1.2 (via vrf green) from 0.0.0.0 (172.16.255.4)                <-- Imported to EVPN Fabric table from IP
      Origin incomplete, metric 2, localpref 100, weight 32768, valid, external, best
      EVPN ESI: 00000000000000000000, Gateway Address: 0.0.0.0, local vtep: 172.16.254.4, VNI Label 50901, MPLS VPN Label 17  <-- VTEP IP of Leaf-02, L3VNI label
      Extended Community: RT:1:1 OSPF DOMAIN ID:0x0005:0x000000020200
        MVPN AS:65001:0.0.0.0 MVPN VRF:172.16.255.4:2 ENCAP:8           <-- MVPN VRI created 
        Router MAC:7C21.0DBD.9548 OSPF RT:0.0.0.0:2:0
        OSPF ROUTER ID:10.2.255.255:0
      rx pathid: 0, tx pathid: 0x0
      Updated on Feb 15 2021 15:30:54 UTC

Verify (Leaf-02): Border Path to RP

Leaf-02#sh ip mroute vrf green
IP Multicast Routing Table
Flags: D - Dense, S - Sparse, B - Bidir Group, s - SSM Group, C - Connected,
       L - Local, P - Pruned, R - RP-bit set, F - Register flag,
       T - SPT-bit set, J - Join SPT, M - MSDP created entry, E - Extranet,
       X - Proxy Join Timer Running, A - Candidate for MSDP Advertisement,
       U - URD, I - Received Source Specific Host Report,
       Z - Multicast Tunnel, z - MDT-data group sender,
       Y - Joined MDT-data group, y - Sending to MDT-data group,
       G - Received BGP C-Mroute, g - Sent BGP C-Mroute,
       N - Received BGP Shared-Tree Prune, n - BGP C-Mroute suppressed,
       Q - Received BGP S-A Route, q - Sent BGP S-A Route,
       V - RD & Vector, v - Vector, p - PIM Joins on route,
       x - VxLAN group, c - PFP-SA cache created entry,
       * - determined by Assert, # - iif-starg configured on rpf intf,
       e - encap-helper tunnel flag
Outgoing interface flags: H - Hardware switched, A - Assert winner, p - PIM Join
 Timers: Uptime/Expires
 Interface state: Interface, Next-Hop or VCD, State/Mode

(*, 226.1.1.1), 2d21h/stopped, RP 10.2.255.255, flags: SJGx <-- *,G for group and Non-fabric RP IP
  Incoming interface: Vlan2001, RPF nbr 10.2.1.2            <-- RPF neighbor is populated for IP next hop outside VxLAN
  Outgoing interface list:
    Vlan901, Forward/Sparse, 01:28:47/stopped               <-- Outgoing is L3VNI SVI

KẾT LUẬN

Như vậy là qua bài viết này, quản trị viên của ANBINHNET ™ đã gửi đến quý khách hàng cũng như các bạn độc giả hướng dẫn sửa lỗi EPVN VxLAN TRM trên dòng sản phẩm Switch Cisco C9300/C9400/C9500/C9600

ANBINHNET ™ là một địa chỉ phân phối Switch Cisco Catalyst chính hãng uy tín hàng đầu tại Việt Nam. Đến với chúng tôi, quý khách hàng sẽ nhận được những thông tin chính xác về nguồn gốc xuất xứ, giấy tờ, chứng chỉ, với mức giá Discount theo quy định của nhà sản xuất. Hàng luôn sẵn kho số lượng lớn để đáp ứng nhu cầu của khách hàng.

ANBINHNET ™ có văn phòng giao dịch tại 2 thành phố lớn nhất là Hà Nội và Hồ Chí Minh (Sài Gòn). Giúp thuận tiện cho khách hàng có như cầu mua Switch Cisco Catalyst 9000 Chính Hãng có thể đến trực tiếp văn phòng của chúng tôi, cũng như rút ngắn thời gian giao hàng các sản phẩm máy chủ chính hãng đến với khách hàng..

Ngoài ra thì chúng tôi phân phối Cisco chính hãng trên toàn quốc, Do đó nếu khách hàng không ở có điều kiện để đến trực tiếp văn phòng của chúng tôi tại Hà Nội và Sài Gòn thì có thể liên hệ với chúng tôi để nhận thông tin về báo giá, tình trạng hàng hoá, chương trình khuyến mại…

Để Nhận Thông Tin Hỗ Trợ Báo Giá Dự Án, Đặt Hàng, Giao Hàng, Đặt Hàng, Bảo Hành, Khuyến Mại, Hỗ Trợ Kỹ Thuật của các sản phẩm Switch Cisco Catalyst 9000 Chính HãngHãy Chát Ngay với chúng tôi ở khung bên dưới hoặc gọi điện tới số hotline hỗ trợ 24/7 của ANBINHNET ™. Quý khách cũng có thể liên hệ tới văn phòng của chúng tôi tại Hà Nội và Sài Gòn theo thông tin sau:

Địa Chỉ Phân Phối Switch Cisco Chính Hãng Giá Tốt Tại Hà Nội

Địa Chỉ Phân Phối Switch Cisco Chính Hãng Giá Tốt Tại Sài Gòn (TP HCM)

Bài viết liên quan

Nhập Email để nhận ngay báo giá sản phẩm

    • Kết Nối Với Chúng Tôi