目前数据中心网络广泛应用的Fabric架构中会应用大量的ECMP(Equal-Cost Multipath Routing,简写ECMP),其优点主要体现在可以提高网络冗余性和可靠性,同时也提高了网络资源利用率;大量的ECMP链路在特定场景下运行过程中会引发其他问题。例如,当某条ECMP链路断开后,ECMP组内所有链路流量都会被重新HASH,在有状态的服务器区域(如LVS)中将导致雪崩现象,又或者会出现多级ECMP的HASH极化导致链路拥塞等。
本文将结合ECMP运行原理针对以上问题进行分析,并探讨如何优化ECMP的运用。
等价多路径路由
等价多路径路由,即存在多条到达同一个目的地址的相等开销的路径。当设备支持等价路由时,发往该目的IP 或者目的网段的三层转发流量就可以通过不同的路径分担,实现网络链路的负载均衡,并在链路出现故障时,实现快速切换。
ECMP实现流程
▲图例1:ECMP流程图
• 步骤一:HASH因子的选择
首先数据报文转发查询路由表,确认存在多个等价路由,再根据当前用户配置的流量均衡算法,提取参与 HASH 计算的关键字段,即HASH因子。ECMP 流量均衡可选择的 HASH 因子如下表:
▲图表1:流量均衡模式对应HASH因子表
注:因ECMP为三层转发,即使配置基于源MAC、目的MAC或者源目MAC作为HASH因子,系统也会默认选择源IP作为HASH因子。另外,在选择提取HASH因子为目的IP时,系统会默认选择源目IP作为HASH因子。
• 步骤二:HASH计算
基于步骤一提取的 HASH 因子,根据 HASH 算法进行计算,得出相应的 HASH lb-key(load-balance key)。 ECMP 流量均衡支持的 HASH 算法包括异或(XOR)、CRC、 CRC+扰码等。
ASH算法有很多种,我们以XOR算法为例做出说明。XOR运算法则包括两个输入比特位相同时为0,不同则为1。HASH因子不同,运算结果也不尽相同。
1、HASH因子为IP address source(SIP)
●SIP XOR 0 ,得出一个32bit的数值a;
●将数值a再进行高16bit和低16bit做XOR计算得出16bit数值b;
●数值b的15~12bit与11~8bit再做XOR计算,得出4bit数值c;
●数值c替换数值b的11~8bit,得出数值d;
●数值d截取低位10bit即为lb key。
2、HASH因子为SIP+DIP/DIP
●DIP XOR SIP ,得出一个32bit的数值a;
●剩余运算步骤与SIP运算一致。
3、HASH因子为SIP+DIP+SP+DP
●SIP XOR DIP得到32bit的数值a;
●数值a的低16bit XOR SP 得到32bit的数值b;
●数值b的低 16bit XOR DP 得到 32bit 的数值c;
●数值c的高16bit XOR 低16bit得到16bit的数值d;
●数值d的15~12bit XOR 11~8bit,得到4bit的数值e;
●数值e替换数值d的11~8bit,得出数值f;
●数值f截取低10bit,即为lb-key
• 步骤三:确认转发下一跳
数据报文经过路由查表后找到对应ECMP 基值(base-ptr),根据 HASH 因子通过 HASH 算法计算获得 HASH lb-key 后,进行 ECMP 下一跳链路数(Member-count)求余计算,再与ECMP基值进行加法运算得出转发下一跳index,即确定了下一跳转发路由。
计算公式:Next-hop =(lb-key % Member-count)+ base-ptr
上述流程为ECMP常规转发流程,但在特定网络环境下运行过程中就会出现问题,接下来继续分析数据中心网络中ECMP遇到的2个常见问题。
• 问题一 单链路故障导致ECMP组所有数据流被重新HASH计算
▲图例2:ECMP转发图
当某台LVS服务器网卡出现故障或者链路出现故障,Leaf交换机会将ECMP组内数据流将重新HASH计算,再进行负载均衡到剩余有效链路上,进而导致TCP会话断开,发生雪崩现象,例如一些支付类业务,同一个用户的一次支付过程会调用多个业务服务,业务侧要求一次支付的过程都落在同一个处理服务器上,当出现单条链路故障后不仅影响该链路所在LVS承载的用户,同时还影响该ECMP组下其他LVS承载的用户,如图例3所示:
▲图例3:故障后ECMP转发图
1、优化方案:
为避免单台LVS服务器故障或者单链路故障导致整个ECMP组内流量全部被重新HASH,ECMP可采用弹性HASH算法来优化。采用弹性HASH算法后,仅将故障链路的流量重新HASH到其他活跃链路上,而非故障链路上的数据流则无需改变下一跳。实现效果如图例4所示:
▲图例4:ECMP弹性HASH算法
弹性HASH具体实现原理:
▲图例5:弹性HASH流程
在交换机上生成一张索引表(RH Flow Set Table),用于存放相关索引值对应下一跳路由地址。数据报文经过路由查表后找到对应ECMP 基值,提取HASH因子进行HASH运算,在HASH Key与ECMP数量取余数时无论是否出现故障链路,均以最初数量进行取余运算,因此运算结果一致,非故障链路数据依然按照原有链路转发。如下图中,链路3故障后软件CPU将及时更新RH flow table,将失效链路用正常链路均匀替换。
▲图例6:弹性HASH索引表替换示意图
• 问题二 HASH极化问题
▲图例7:HASH极化
1、优化方案:
• 同厂商Leaf设备和Spine设备均采用相同上联链路数场景下,应避免在相邻的两台设备上使用相同的负载均衡算法;
• 设备在运行HASH计算时,除传统的五元组外,可以增添扰动因子,避免HASH计算结果相同。
HASH扰动的计算过程中HASH因子仍然正常提取,再增加用户自定义随机扰动因子,经过HASH算法运算时,不同交换机HASH计算结果就将不一致,以达到避免HASH极化现象的出现。
▲图例8:HASH扰动计算过程
动态负载均衡技术实现
在数据中心网络中,突发流量多,并且存在大象流和老鼠流并存现象,本文所描述的基于数据流五元组的HASH算法,并结合HASH扰动因子技术实现流量负载均衡,但无法实现大象流和老鼠流并存的网络中多链路之间的流量负载均衡。
锐捷网络新一代25G数据中心网络解决方案中所采用的芯片,已能够支持DLB(Dynamic load balance,动态链路负载)特性,可基于流量负载状态实现动态的HASH负载均衡。具体实现方法是交换机为每条进行负载均衡的数据流创建一个流表,基于流表记录流量统计信息,根据流量统计信息动态调整链路负载均衡。
本期作者:王磊
锐捷网络互联网系统部行业咨询
▌ 【第二期】如何通过网络遥测(Network Telemetry)技术实现精细化网络运维?
相关推荐:
更多技术博文
-
一文帮助您了解如何进行风险辨识,确保计算机系统安全
本文探讨了在计算机系统安全中的关键一环——如何进行风险辨识。通过系统化方法,识别和评估潜在的安全威胁和漏洞,从而全面了解系统中存在的潜在风险。采取多种方法,如安全漏洞扫描、安全威胁模拟等,有助于发现安全威胁,并为进一步的安全保护提供基础。
-
#知识百科
-
#安全
-
-
风险检测系统:如何保障计算机系统安全?
本文探讨了风险检测系统在计算机安全中的关键作用。通过监测系统行为、分析网络流量等方式,风险检测系统能及时发现潜在安全威胁,提高系统安全性和稳定性。文章强调建立和使用风险检测系统是保护计算机系统安全的重要措施,对各个领域的安全保障具有重要意义。
-
#知识百科
-
#安全
-
-
企业办公场所智能化核心技术之POE网关是什么
本文探讨了POE网关在提升企业办公智能化水平中的关键作用。通过以太网电缆为智能设备提供数据和电力,POE网关简化了设备管理流程,提高了工作效率,降低了总体成本。这项关键技术不仅满足了企业对智能化办公环境的需求,还为企业创造出更智能、高效、节能的办公环境。
-
#知识百科
-
#安全
-
-
一文带你了解POE交换机与POE路由器是什么?
本文探讨了POE交换机和POE路由器在智能化办公环境中的关键作用。它们通过为智能设备提供电力和数据传输,实现了高效通信和智能管理。POE交换机简化了设备连接并提升了工作效率,而POE路由器作为核心枢纽,打造了灵活、可靠和安全的网络环境。
-
#交换机
-
#知识百科
-