ice 100G 网卡分片报文 hash 问题

问题描述

在 x710 hash 分片与非分片 tcp 报文异常问题 这篇文章中，我描述了 x710 网卡同时 hash 分片与非分片报文的问题。

实际的应用场景中，同一条流的包一般会被 hash 到同一个队列中，业务程序在同一个队列中处理同一条流的报文。

当一条流同时包含分片与非分片报文时，由于分片报文与非分片报文五元组存在区别，当配置的 hash 规则不正确时，这些属于同一条流的报文可能会被网卡 hash 到不同的队列中，此时业务程序就会产生异常。

实际测试发现，我们的业务程序使用 E810 网卡时存在上述问题，本文将针对这一问题进行描述。

dpdk 版本为：dpdk-20.11

过去的成功经验

曾经处理过 x710 网卡的类似问题，问题的描述如下：

当配置了 ETH_RSS_FRAG_IPV4与 ETH_RSS_NONFRAG_IPV4_TCPhash 类型后，一些连接的分片报文由于没有 L4 port number会被 hash 到其它队列中。

当不配置 ETH_RSS_NONFRAG_IPV4_TCP 时，ETH_RSS_FRAG_IPV4 哈希过程不会应用到非分片报文上，这些报文将会被投递到队列 0。

解决方法：修改网卡 rss-hash 配置非分片 tcp 报文只使用 L3 头进行 hash，x710 通过 fdir 来进行配置。

根据上述信息，需要配置 E810 网卡对非分片 tcp 报文只使用 L3 头进行 hash，那如何配置呢？

ice E810 100G 网卡 hash 配置信息

我们的业务程序使用 ETH_RSS_IP | ETH_RSS_TCP | ETH_RSS_UDPhash 配置，相关宏的定义如下：

#define ETH_RSS_IP ( \\
	ETH_RSS_IPV4 | \\
	ETH_RSS_FRAG_IPV4 | \\
	ETH_RSS_NONFRAG_IPV4_OTHER | \\
	ETH_RSS_IPV6 | \\
	ETH_RSS_FRAG_IPV6 | \\
	ETH_RSS_NONFRAG_IPV6_OTHER | \\
	ETH_RSS_IPV6_EX)

#define ETH_RSS_UDP ( \\
	ETH_RSS_NONFRAG_IPV4_UDP | \\
	ETH_RSS_NONFRAG_IPV6_UDP | \\
	ETH_RSS_IPV6_UDP_EX)

#define ETH_RSS_TCP ( \\
	ETH_RSS_NONFRAG_IPV4_TCP | \\
	ETH_RSS_NONFRAG_IPV6_TCP | \\
	ETH_RSS_IPV6_TCP_EX)

上述配置的含义为使用报文的 ip 头与 tcp 头、udp 头的内容进行 hash，分片报文与非分片报文的 hash 规则一致，E810 网卡处理时会存在上文描述的问题。

dpdk 中 ice E810 网卡配置 rss hash 配置的过程

函数调用图示：

ice_init_rss 函数使用 dev->data->dev_conf.rx_adv_conf.rss_conf配置为参数调用 ice_rss_hash_set 函数完成 hash 配置过程。相关代码如下：

rss_conf = &dev->data->dev_conf.rx_adv_conf.rss_conf
...........

/* RSS hash configuration */
ice_rss_hash_set(pf, rss_conf->rss_hf);

ice_rss_hash_set 函数为真正配置 rss hash 的函数，其关键代码如下：

....................................................................
/* Configure RSS for tcp4 with src/dst addr and port as input set */
	if (rss_hf & ETH_RSS_NONFRAG_IPV4_TCP) {
    
		cfg.addl_hdrs = ICE_FLOW_SEG_HDR_TCP | ICE_FLOW_SEG_HDR_IPV4 |
				ICE_FLOW_SEG_HDR_IPV_OTHER;
		cfg.hash_flds = ICE_HASH_TCP_IPV4;
		ret = ice_add_rss_cfg_wrap(pf, vsi->idx, &cfg);
		if (ret)
			PMD_DRV_LOG(ERR, "%s TCP_IPV4 rss flow fail %d",
				    __func__, ret);
	}

	/* Configure RSS for tcp6 with src/dst addr and port as input set */
	if (rss_hf & ETH_RSS_NONFRAG_IPV6_TCP) {
    
		cfg.addl_hdrs = ICE_FLOW_SEG_HDR_TCP | ICE_FLOW_SEG_HDR_IPV6 |
				ICE_FLOW_SEG_HDR_IPV_OTHER;
		cfg.hash_flds = ICE_HASH_TCP_IPV6;
		ret = ice_add_rss_cfg_wrap(pf, vsi->idx, &cfg);
		if (ret)
			PMD_DRV_LOG(ERR, "%s TCP_IPV6 rss flow fail %d",
				    __func__, ret);
	}

上述代码将非分片的 IPv4_TCP 报文的 hash 字段设置为 TCP header + ipv4 header + 其它 IP 包类型字段；非分片的 IPV6_TCP 报文的 hash 字段设置为 TCP header + ipv6 header + 其它 IP 包类型字段。

显然可以直接修改上述代码来定制非分片 tcp 报文的 hash 配置，但这种修改有些过于粗暴，更好的方式是通过修改 rss_hf 的值为 ETH_RSS_IPV4 | ETH_RSS_IPV6，在这种配置下 E810 网卡仅仅使用 3 层头来进行 hash，就不存在上述分片与非分片问题。

快速修改 dpdk 中的 ice_rss_hash_set 函数，让报文只通过 L3 的信息来 hash 进行测试，修改 patch 如下：

Index: drivers/net/ice/ice_ethdev.c
===================================================================
--- drivers/net/ice/ice_ethdev.c
+++ drivers/net/ice/ice_ethdev.c
@@ -2795,6 +2795,8 @@
        ETH_RSS_NONFRAG_IPV6_TCP | \\
        ETH_RSS_NONFRAG_IPV4_SCTP | \\
        ETH_RSS_NONFRAG_IPV6_SCTP)
+
+       rss_hf = ETH_RSS_IPV4 |  ETH_RSS_IPV6

测试验证通过，最终通过修改 rte_eth_dev_configure 函数中传递的 dev_conf 中的 rss_hf 配置为 ETH_RSS_IPV4 | ETH_RSS_IPV6来修复此问题。

从 E810 驱动实现中发现的问题

写到这里我发现其实分片的 tcp 报文就是普通的 ip 报文，对它进行 hash 是按照 IP 头部的信息进行的，而未分片的 TCP 报文才带有 TCP 头部，对这两种不同类型的包使用不同的字段进行 hash，hash 到不同的队列上属于正常的行为，这里的异常可能只在我们的使用场景中才会有吧。