阿里云-云小站（无限量代金券发放中）
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

云网络性能测试流程

108次阅读
没有评论

共计 6873 个字符，预计需要花费 18 分钟才能阅读完成。

导读 有几个云上的小伙伴想测测 VPC 网络性能，于是写了一些 dpdk 代码在阿里云上做了一个实验，也适用于其它云.
安装相关的库

云网络性能测试流程

使用 root 登录, 更新一下源 

# 备份原有的配置文件 
 mkdir /etc/yum.repos.d/bak 
 mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak/ 
#使用阿里云的源覆盖 
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.repo 
yum install -y https://mirrors.aliyun.com/epel/epel-release-latest-8.noarch.rpm 
sed -i 's|^#baseurl=https://download.fedoraproject.org/pub|baseurl=https://mirrors.aliyun.com|' /etc/yum.repos.d/epel* 
sed -i 's|^metalink|#metalink|' /etc/yum.repos.d/epel* 
sudo dnf config-manager --set-enabled PowerTools 
 
yum makecache 
yum update 
 
yum groupinstall "Development tools" 
yum install gcc-gfortran kernel-modules-extra tcl tk tcsh terminator tmux kernel-rpm-macros elfutils-libelf-devel libnl3-devel meson createrepo numactl-devel 
pip3 install pyelftools
启用 iommu
sudo vi /etc/default/grub 
 
// 在 GRUB_CMDLINE_LINUX 行添加 "intel_iommu=on iommu=pt"  
// 保存退出

然后更新 grub 并重启系统 

sudo grub2-mkconfig -o /boot/grub2/grub.cfg 
sudo grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg 
sudo reboot
安装 DPDK

CentOS 上需要添加 /usr/local 路径, 主要是 LD_LIBRARY_PATH PATH 和 PKG_CONFIG_PATH 以及 sudo 的 path

sudo vi /etc/ld.so.conf.d/dpdk.conf 
 
>> 添加如下 path 
/usr/local/lib64 
>> 退出 
 
sudo ldconfig 
 
vim ~/.bashrc 
>> 添加如下 path 
 
export PATH=/usr/local/bin:$PATH 
export PKG_CONFIG_PATH=/usr/local/lib64/pkgconfig:${PKG_CONFIG_PATH} 
 
 
保存后 source 
source ~/.bashrc 
sudo vim  /etc/sudoers 
 
>> 将 secure_path 添加 /usr/local/bin 
Defaults    secure_path = /sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin

然后解压 dpdk，并编译安装 

wget http://fast.dpdk.org/rel/dpdk-21.05.tar.xz 
tar xf dpdk-21.05.tar.xz 
 
cd dpdk-21.05 
meson build -D examples=all  
 
cd build 
ninja 
sudo ninja install 
sudo ldconfig

设置 Hugepage 和 bind 接口 

dpdk-hugepages.py --setup 4G 
 modprobe vfio-pci 
 dpdk-devbind.py -s 
 
Network devices using kernel driver 
=================================== 
0000:00:05.0 'Virtio network device 1000' if=eth0 drv=virtio-pci unused=vfio-pci *Active* 
0000:00:06.0 'Virtio network device 1000' if=eth1 drv=virtio-pci unused=vfio-pci *Active*

注意虚拟机环境需要 noniommu_mode

ifconfig eth1 down 
echo 1 > /sys/module/vfio/parameters/enable_unsafe_noiommu_mode 
dpdk-devbind.py -b vfio-pci 0000:00:06.0

验证 

dpdk-devbind.py -s 
 
Network devices using DPDK-compatible driver 
============================================ 
0000:00:06.0 'Virtio network device 1000' drv=vfio-pci unused= 
 
Network devices using kernel driver 
=================================== 
0000:00:05.0 'Virtio network device 1000' if=eth0 drv=virtio-pci unused=vfio-pci *Active*
检查接口支持情况

下载代码 

cd ~ 
wget https://github.com/zartbot/learn_dpdk/archive/refs/heads/main.zip 
unzip main.zip 
 cd learn_dpdk-main/

编译 

cd 01_port_init/devinfo/ 
make clean;make

检查接口支持情况 

./build/devinfo 
 
EAL: Detected 24 lcore(s) 
EAL: Detected 1 NUMA nodes 
EAL: Detected shared linkage of DPDK 
EAL: Multi-process socket /var/run/dpdk/rte/mp_socket 
EAL: Selected IOVA mode 'PA' 
EAL: No available 1048576 kB hugepages reported 
EAL: VFIO support initialized 
EAL:   Invalid NUMA socket, default to 0 
EAL: Probe PCI driver: net_virtio (1af4:1000) device: 0000:00:05.0 (socket 0) 
eth_virtio_pci_init(): Failed to init PCI device 
 
EAL: Requested device 0000:00:05.0 cannot be used 
EAL:   Invalid NUMA socket, default to 0 
EAL: Probe PCI driver: net_virtio (1af4:1000) device: 0000:00:06.0 (socket 0) 
EAL: Using IOMMU type 8 (No-IOMMU) 
TELEMETRY: No legacy callbacks, legacy socket not created 
 
 
 
***************************************** 
number of available port: 1 
========================================= 
port: 0         Driver:net_virtio 
Link down 
MAC address: 00:16:3E:25:3F:0A 
PCIe:0000:00:06.0 
Max RX Queue:   12      Desc:   65535 
Max TX Queue:   12      Desc:   65535 
Offload Capability: 
  DEV_RX_OFFLOAD_VLAN_STRIP 
  DEV_RX_OFFLOAD_UDP_CKSUM 
  DEV_RX_OFFLOAD_TCP_CKSUM 
  DEV_RX_OFFLOAD_TCP_LRO 
  DEV_RX_OFFLOAD_JUMBO_FRAME 
----------------------------------------- 
  DEV_TX_OFFLOAD_VLAN_INSERT 
  DEV_TX_OFFLOAD_UDP_CKSUM 
  DEV_TX_OFFLOAD_TCP_CKSUM 
  DEV_TX_OFFLOAD_TCP_TSO 
  DEV_TX_OFFLOAD_MULTI_SEGS 
=========================================
测速 
cd ~/learn_dpdk-main/02_send_recv/traffic_gen/

修改 send_pkt.c 的源目的地址，注意目的 MAC 在阿里云上要为 eeff.ffff.ffff

//init mac 
struct rte_ether_addr s_addr = {{0x00, 0x16, 0x3e, 0x25, 0x0b, 0xe3}}; 
struct rte_ether_addr d_addr = {{0xee, 0xff, 0xff, 0xff, 0xff, 0xff}}; 
 
//init IP header 
rte_be32_t s_ip_addr = string_to_ip("10.66.1.220"); 
rte_be32_t d_ip_addr = string_to_ip("10.66.1.219");

由于接口支持有限，修改 common.h

#define NUM_RX_QUEUE 1 
#define NUM_TX_QUEUE 1
 
static const struct rte_eth_conf port_conf_default = { 
    .rxmode = { 
        .max_rx_pkt_len = RTE_ETHER_MAX_LEN, 
    .mq_mode = ETH_MQ_RX_NONE, 
    }, 
    .txmode = {.mq_mode = ETH_MQ_TX_NONE,} 
};

修改 portinit.c 关闭 RX-CHECKSUM OFFLOAD, 注释掉下面这段：

if (dev_info.rx_offload_capa & DEV_RX_OFFLOAD_CHECKSUM) 
 {printf("port[%u] support RX cheksum offload.\n", port); 
     port_conf.rxmode.offloads |= DEV_RX_OFFLOAD_CHECKSUM; 
 }

最后测速大概 3.3Mpps 左右，接近官方售卖时的 4Mpps

[root@iZuf64vmgrtj12kczyslhdZ traffic_gen]# ./build/run 
EAL: Detected 24 lcore(s) 
EAL: Detected 1 NUMA nodes 
EAL: Detected shared linkage of DPDK 
EAL: Multi-process socket /var/run/dpdk/rte/mp_socket 
EAL: Selected IOVA mode 'PA' 
EAL: No available 1048576 kB hugepages reported 
EAL: VFIO support initialized 
EAL:   Invalid NUMA socket, default to 0 
EAL: Probe PCI driver: net_virtio (1af4:1000) device: 0000:00:05.0 (socket 0) 
eth_virtio_pci_init(): Failed to init PCI device 
 
EAL: Requested device 0000:00:05.0 cannot be used 
EAL:   Invalid NUMA socket, default to 0 
EAL: Probe PCI driver: net_virtio (1af4:1000) device: 0000:00:06.0 (socket 0) 
EAL: Using IOMMU type 8 (No-IOMMU) 
TELEMETRY: No legacy callbacks, legacy socket not created 
 
 
initializing port 0... 
port[0] support TX UDP checksum offload. 
port[0] support TX TCP checksum offload. 
Port[0] MAC: 00:16:3e:25:0b:e3 
Core 1 doing RX dequeue. 
Core 2 doing packet enqueue. 
 
RX-Queue[0] PPS: 3280464 
RX-Queue[0] PPS: 3277792 
RX-Queue[0] PPS: 3303116 
RX-Queue[0] PPS: 3307443 
RX-Queue[0] PPS: 3296451 
RX-Queue[0] PPS: 3294396 
RX-Queue[0] PPS: 3297737 
RX-Queue[0] PPS: 3290069 
RX-Queue[0] PPS: 3279720 
RX-Queue[0] PPS: 3285987 
RX-Queue[0] PPS: 3279424

然后把 common.h 中收发都改为 4 个线程 

#define NUM_RX_QUEUE 1 
#define NUM_TX_QUEUE 1

测试结果和官方售卖的 4Mpps 一致了。

RX-Queue[0] PPS: 578918 
RX-Queue[1] PPS: 866823 
RX-Queue[2] PPS: 2288950 
RX-Queue[3] PPS: 865335

CPU Info

[root@iZuf64vmgrtj12kczyslhdZ traffic_gen]# cat /proc/cpuinfo | grep Xeon 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz

阿里云 2 核 2G 服务器 3M 带宽 61 元 1 年，有高配

腾讯云新客低至 82 元 / 年，老客户 99 元 / 年

代金券：在阿里云专用满减优惠券

正文完
星哥玩云-微信公众号
post-qrcode
Linux linux命令 linux命令大全 Linux操作系统 linux教程 linux系统
发表至： linux教程
2024-07-25
 0
星锅
版权声明：本站原创文章，由 星锅 于2024-07-25发表，共计6873字。
转载说明：除特殊说明外本站文章皆由CC-4.0协议发布，转载请注明出处。
【腾讯云】推广者专属福利，新客户无门槛领取总价值高达2860元代金券，每种代金券限量500张，先到先得。
简单介绍Vue实现鼠标悬浮切换图片src
Tomcat压力测试
VIM文本编辑器
RHEL7 or CentOS7 的系统密码如何重置
Linux中如何使用Shell 脚本查看多个服务器的端口打开情况?
学算法干嘛？
Centos下安装配置WordPress与nginx教程
Linux进程管理之runlevel命令命令解析【每日一个知识点第144期-Linux】
阿里云-最新活动爆款每日限量供应
评论（没有评论）
验证码
星哥说事
星哥说事
分享互联网知识
阅读量
4054982
评论数
4
文章搜索
热门文章
申请腾讯混元的API Key并且使用LobeChat调用混元AI

申请腾讯混元的API Key并且使用LobeChat调用混元AI

申请腾讯混元的 API Key 并且使用 LobeChat 调用混元 AI 之前星哥写了一篇文章《手把手教拥有...
Docker部署搭建一个开源强大的图书管理系统

Docker部署搭建一个开源强大的图书管理系统

Docker 部署搭建一个开源强大的图书管理系统 大家好，我是星哥，作为一个电子图书收集者，想要管理自己的几百...
基于Docker快速搭建一个开源的IT人员在线工具箱-it-tools

基于Docker快速搭建一个开源的IT人员在线工具箱-it-tools

基于 Docker 快速搭建一个开源的 IT 人员在线工具箱 -it-tools 在日常的开发工作中，我们经常...
让每个人都可以轻松使用Git-腾讯自研Git客户端

让每个人都可以轻松使用Git-腾讯自研Git客户端

让每个人都可以轻松使用 Git- 腾讯自研 Git 客户端 Git，作为当今最流行的版本控制系统，其强大的功能...
使用Docker部署开源的WPS-Office

使用Docker部署开源的WPS-Office

使用 Docker 部署开源的 WPS-Office 一、前言 越来越多的企业和个人开始将应用程序部署在 Do...
CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
Kubernetes 应用部署实战

Kubernetes 应用部署实战

简介 伙计们，请搬好小板凳坐好，下面将是一段漫长的旅程，期望你能够乐在其中。 我将基于 Kubernetes[...
Ubuntu16.04自带防火墙ufw配置和用法

Ubuntu16.04自带防火墙ufw配置和用法

ufw 命令的示例用法 ufw status # 查看 ufw 防火墙是否在工作，查看使用中的规则 ufw e...
解析Linux中出现的错误：toomanyopenfiles

解析Linux中出现的错误：toomanyopenfiles

这个问题的出现原因是 system 对程序打开 files 数量的限制问题。 用 ulimit -a 命令可以...
网络渗透测试的工具SPARTA的安装与使用

网络渗透测试的工具SPARTA的安装与使用

SPARTA 是使用 Python 开发的 GUI 应用程序，它是 Kali Linux 内置的网络渗透测试工...
列举一下你可能没注意的Linux命令

列举一下你可能没注意的Linux命令

这篇文章仅讨论 Linux 环境下的东西，很显然对 MacOS 也适用。其实很多东西虽然有 Windows 也...
一言一句话
-「」
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中