반응형
작성일: 2023년 12월 2일
나는 Spirent, Ixia 같은 계측기 전문 회사의 계측 장비를 구입 또는 빌려서 성능 측정을 해오고 있었는데,
공신력을 따지는 성능 측정 보고서가 필요한 경우가 아니라면, Open source code로 구현된 계측기도 쓸만할 것 같다.
이것저것 찾아보다가 CISCO TRex 프로젝트가 눈에 들어왔다.
Cisco TRex 간단하게 살펴보기
- Intel DPDK를 사용
- Stateful 통신(예: TCP HTTP HTTPS DNS 등 Request & Response 방식), Stateless 통신(예: 단방향 UDP 통신) 모두 지원
- Open source
- TRex를 사용하면 개발자는 다양한 유형의 트래픽을 생성하고 결과로 수신되는 데이터를 분석
- 데이터 분석은 MAC 및 IP 수준에서 수행
- DUT는 L3 Switch(IP Router) 또는 L4 이상의 IP network 처리 장치라고 가정
- Linux 환경에서 작동
TRex 설치 및 테스트 환경 구성
TRex와 DUT로 사용할 Linux 장비 구축
OS & HW:
- OS: Ubuntu 22.04
- Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz (16 cores)
- Memory 128GB
TRex 설치 파일을 Download
$ mkdir -p /opt/trex
$ cd /opt/trex
$ wget --no-cache https://trex-tgn.cisco.com/trex/release/latest
$ tar -xfz latest
$ ls -F
v3.04/
$ cd v3.04
TRex가 사용할 NIC 설정
테스트 네트워크는 아래 그림과 같다.
2개의 Linux 장비 중에서 왼쪽 장비는 TRex를 설치하고, 오른쪽 장비는 DUT로 사용할 것이다.
DUT는 Linux에 static ip routing을 설정하여 간단한 Router 동작만 하게 할 것이다.
아래 예시처럼 똑같이 따라하면 된다.
$ ./dpdk_setup_ports.py -i
By default, IP based configuration file will be created. Do you want to use MAC based config? (y/N) N
+----+------+---------+-------------------+------------------------------------------------+-----------------+----------+----------+
| ID | NUMA | PCI | MAC | Name | Driver | Linux IF | Active |
+====+======+=========+===================+================================================+=================+==========+==========+
| 0 | 0 | 03:00.0 | 08:33:73:01:6b:98 | 82580 Gigabit Network Connection | igb | eth2 | |
+----+------+---------+-------------------+------------------------------------------------+-----------------+----------+----------+
| 1 | 0 | 03:00.1 | 08:33:73:01:6b:99 | 82580 Gigabit Network Connection | igb | eth3 | |
+----+------+---------+-------------------+------------------------------------------------+-----------------+----------+----------+
...
... 중간 생략 ...
...
+----+------+---------+-------------------+------------------------------------------------+-----------------+----------+----------+
| 14 | 1 | 88:00.0 | 08:33:73:08:3b:2a | 82599ES 10-Gigabit SFI/SFP+ Network Connection | uio_pci_generic | | |
+----+------+---------+-------------------+------------------------------------------------+-----------------+----------+----------+
| 15 | 1 | 88:00.1 | 08:33:73:08:3b:2b | 82599ES 10-Gigabit SFI/SFP+ Network Connection | uio_pci_generic | | |
+----+------+---------+-------------------+------------------------------------------------+-----------------+----------+----------+
| 16 | 1 | 8a:00.0 | 08:33:73:08:3b:2c | 82599ES 10-Gigabit SFI/SFP+ Network Connection | ixgbe | eth16 | |
+----+------+---------+-------------------+------------------------------------------------+-----------------+----------+----------+
| 17 | 1 | 8a:00.1 | 08:33:73:08:3b:2d | 82599ES 10-Gigabit SFI/SFP+ Network Connection | ixgbe | eth17 | |
+----+------+---------+-------------------+------------------------------------------------+-----------------+----------+----------+
Please choose an even number of interfaces from the list above, either by ID, PCI or Linux IF
Stateful will use order of interfaces: Client1 Server1 Client2 Server2 etc. for flows.
Stateless can be in any order.
For performance, try to choose each pair of interfaces to be on the same NUMA.
Enter list of interfaces separated by space (for example: 1 3) : 14 15
For interface 14, assuming loopback to its dual interface 15.
Putting IP 1.1.1.1, default gw 2.2.2.2 Change it?(y/N) N
For interface 15, assuming loopback to its dual interface 14.
Putting IP 2.2.2.2, default gw 1.1.1.1 Change it?(y/N) N
Print preview of generated config? (Y/n) Y
... 출력 내용 생략 ...
$ vi /etc/trex_cfg.yaml
### Config file generated by dpdk_setup_ports.py ###
- version: 2
interfaces: ['88:00.0', '88:00.1']
port_info:
- ip: 16.0.0.253 ## 내가 수정한 부분. TRex client side IP address.
default_gw: 16.0.0.254 ## 내가 수정한 부분. DUT IP address.
- ip: 48.0.0.253 ## 내가 수정한 부분. TRex server side IP address.
default_gw: 48.0.0.254 ## 내가 수정한 부분. DUT IP address.
platform:
master_thread_id: 0
latency_thread_id: 1
dual_if:
- socket: 1
threads: [8,9,10,11,12,13,14,15,24,25,26,27,28,29,30,31]
$
위 port_info 항목에서 설정한 network 대역에 대해서 간략하게 설명하면,
- Client host가 사용할 IP address range: 16.0.0.0 ~ 16.0.0.127 (16.0.0.0/25)
- Server host가 사용할 IP address range: 48.0.0.0 ~ 48.0.0.127 (48.0.0.0/25)
- Client host가 사용할 gateway address: 16.0.0.254
- Server host가 사용할 gateway address: 48.0.0.254
DUT 장비에서 설정할 내용
DUT 장비에서 아래와 같이 ip_forward에 관해 설정한다.
##
## Linux OS가 IP packet을 forward할 수 있도록 ip_forward를 enable 시킨다.
##
sysctl -w net.ipv4.ip_forward=1
# or
# echo 1 > /proc/sys/net/ipv4/ip_forward
DUT 장비에서 Network port를 설정한다.
$ vi /etc/netplan/00-installer-config.yaml
network:
version: 2
ethernets:
eth0:
addresses:
- 16.0.0.254/25
routes:
- to: 16.0.0.0/25
via: 16.0.0.253
eth1:
addresses:
- 48.0.0.254/25
routes:
- to: 48.0.0.0/25
via: 48.0.0.253
... 중간 생략 ...
$ netplan apply위 network 설정에 대한 부연 설명:
- TRex의 client 및 server가 emulation하는 IP address(16.0.0.0/25)가 DUT와 동일한 IP network이면 안 된다.
- 아마도 TRex를 구현할 때, (IP address + MAC address)를 Mapping하여 Host를 emulation하면 computing cost 및 MAC learning에 대한 load가 커지기 때문에 MAC address를 과감하게 생략하고 L3 switch 뒤에 Host 장치가 있다고 가정하고 TRex를 구현한게 아닌가 싶다. (나의 상상력에 의한 추정)
테스트를 위한 준비 작업은 끝 !!
아래 글은 실제로 TCP, UDP 패킷을 생성하여 성능 테스트 방법이다.
복잡한 입력 내용은 없고, 아래 예제 CLI 명령을 복붙(Copy & Paste)하면 땡 !!
Stateful Networking Test (TCP, HTTP)
TRex로 사용할 Linux 장비에 SSH 터미널을 미리 2개 접속해놓고 사용하는 것이 좋다.
[ Terminal A - TRex 서버 프로그램 구동용 ]
$ ./t-rex-64 -i --astf
The ports are bound/configured.
Starting TRex v3.04 please wait ...
set driver name net_ixgbe
driver capability : TCP_UDP_OFFLOAD TSO LRO
set dpdk queues mode to RSS_DROP_QUE_FILTER
Number of ports found: 2
zmq publisher at: tcp://*:4500
wait 1 sec .
port : 0
------------
link : link : Link Up - speed 10000 Mbps - full-duplex
promiscuous : 0
port : 1
------------
link : link : Link Up - speed 10000 Mbps - full-duplex
promiscuous : 0
number of ports : 2
max cores for 2 ports : 1
tx queues per port : 3
-------------------------------
RX core uses TX queue number 2 on all ports
core, c-port, c-queue, s-port, s-queue, lat-queue
------------------------------------------
1 0 0 1 0 0
-------------------------------
-Per port stats table
ports | 0 | 1
-----------------------------------------------------------------------------------------
opackets | 0 | 0
obytes | 0 | 0
ipackets | 0 | 0
ibytes | 0 | 0
ierrors | 0 | 0
oerrors | 0 | 0
Tx Bw | 0.00 bps | 0.00 bps
-Global stats enabled
Cpu Utilization : 0.0 %
Platform_factor : 1.0
Total-Tx : 0.00 bps
Total-Rx : 0.00 bps
Total-PPS : 0.00 pps
Total-CPS : 0.00 cps
Expected-PPS : 0.00 pps
Expected-CPS : 0.00 cps
Expected-L7-BPS : 0.00 bps
Active-flows : 0 Clients : 0 Socket-util : 0.0000 %
Open-flows : 0 Servers : 0 Socket : 0 Socket/Clients : -nan
drop-rate : 0.00 bps
current time : 2.8 sec
test duration : 0.0 sec
##
## 이 터미널은 계속 출력용으로 사용되고, 사용자 입력을 받을 수 없다.
##
[ Terminal B - 사용자 명령 입력용 ]
$ ./trex-console
... 중간 생략 ...
Type 'help' or '?' for supported actions
trex> stats --ps
Port Status
port | 0 | 1
----------------+----------------------+---------------------
driver | net_ixgbe | net_ixgbe
description | 82599ES 10-Gigabit | 82599ES 10-Gigabit
link status | UP | UP
link speed | 10 Gb/s | 10 Gb/s
port status | IDLE | IDLE
promiscuous | off | off
multicast | off | off
flow ctrl | none | none
vxlan fs | - | -
-- | |
layer mode | IPv4 | IPv4
src IPv4 | 16.0.0.253 | 48.0.0.253
IPv6 | off | off
src MAC | 08:33:73:08:3b:2a | 08:33:73:08:3b:2b
--- | |
Destination | 16.0.0.254 | 48.0.0.254
ARP Resolution | 00:87:33:72:a8:9c | 00:87:33:72:a8:9d
---- | |
VLAN | - | -
----- | |
PCI Address | 0000:88:00.0 | 0000:88:00.1
NUMA Node | 1 | 1
RX Filter Mode | hardware match | hardware match
RX Queueing | off | off
Grat ARP | every 120 seconds | every 120 seconds
------ | |
trex> start -f astf/http_simple.py -m 2 -d 10 ## 10초 동안 테스트 수행
trex> tui
tui> Global Statistics
connection : localhost, Port 4501 total_tx_L2 : 0 bps
version : ASTF @ v3.04 total_tx_L1 : 0 bps
cpu_util. : 0.0% @ 1 cores (1 per dual port) total_rx : 0 bps
rx_cpu_util. : 0.0% / 0 pps total_pps : 0 pps
async_util. : 0% / 38.44 bps drop_rate : 0 bps
total_cps. : 0 cps queue_full : 0 pkts
Port Statistics
port | 0 | 1 | total
-----------+-------------------+-------------------+------------------
owner | root | root |
link | UP | UP |
state | LOADED | LOADED |
speed | 10 Gb/s | 10 Gb/s |
CPU util. | 0.0% | 0.0% |
-- | | |
Tx bps L2 | 0 bps | 0 bps | 0 bps
Tx bps L1 | 0 bps | 0 bps | 0 bps
Tx pps | 0 pps | 0 pps | 0 pps
Line Util. | 0 % | 0 % |
--- | | |
Rx bps | 0 bps | 0 bps | 0 bps
Rx pps | 0 pps | 0 pps | 0 pps
---- | | |
opackets | 343 | 1401 | 1744
ipackets | 1401 | 343 | 1744
obytes | 38396 | 1895776 | 1934172
ibytes | 1895776 | 38396 | 1934172
tx-pkts | 343 pkts | 1.4 Kpkts | 1.74 Kpkts
rx-pkts | 1.4 Kpkts | 343 pkts | 1.74 Kpkts
tx-bytes | 38.4 KB | 1.9 MB | 1.93 MB
rx-bytes | 1.9 MB | 38.4 KB | 1.93 MB
----- | | |
oerrors | 0 | 0 | 0
ierrors | 0 | 0 | 0
status: -
Press 'ESC' for navigation panel...
status: [OK]
tui> stop
trex> exit
$
위 터미널 내용을 Image로 캡처하면, 아래 모양처럼 보인다.
위에서 사용한 astf/http_simple.py 스크립트 외에 내가 테스트하면서 유용하다고 생각했던 스크립트들을 열거하면 아래와 같다.
##
## 서로 다른 내용의 여러 개 PCAP을 동시에 Play할 때는 아래 스크립트를 사용한다.
##
trex> start -f astf/http_by_l7_percent.py -m 100 -d 30
... 출력 내용 생략 ...
##
## Interative mode의 CLI가 아닌 경우도 지원한다.
##
$ ./t-rex-64 --astf -f astf/http_simple_cc.py -m 300mbps -d 30
Stateful Networking Test (UDP Request & Response)
TCP/HTTP 테스트랑 터미널 구성이나 CLI 명령 입력이 비슷하기 때문에 [ Terminal B ]에 입력하는 내용만 설명하겠다.
[ Terminal B - 사용자 명령 입력용 ]
##
## UDP로 1개의 요청 메시지를 보내고, 1개의 응답 메시지를 받는 경우.
##
trex> start -f astf/udp1.py -m 10000 -d 30
##
## SIP/UDP 요청 메시지를 보내고, 응답 메시지를 받는 경우.
##
trex> start -f astf/udp_sip.py -m 1000000 -d 5
##
## DNS/UDP 요청 메시지를 보내고, 응답 메시지를 받는 경우.
##
trex> start -f astf/udp_topo_traffic.py -m 30000 -d 10
Stateless Networking Test (UDP One-Way Direction)
단방향으로 UDP 패킷만 보내는 경우에는 아래와 같이 명령을 수행한다. (Spirent C1 계측기와 유사한 동작)
[ Terminal A - TRex 서버 프로그램 구동용 ]
$ ./t-rex-64 -i --stl --no-scapy-server
... 출력 내용 생략 ...
[ Terminal B - 사용자 명령 입력용 ]
$ ./trex-console
trex> portattr -a --prom on
... 출력 내용 생략 ...
trex> stats --ps
... 출력 내용 생략 ...
trex> start -f stl/udp_1pkt_src_ip_split.py -m 9809mbps -d 15
... 출력 내용 생략 ...
trex> start -f stl/bench.py -m 10kbps -d 5
... 출력 내용 생략 ...
trex> start -f stl/udp_multi_simple_list_test.py -m 10kbps -d 5
... 출력 내용 생략 ...
trex> start -f stl/udp_1pkt_simple.py -m 10kbps -d 5
... 출력 내용 생략 ...
trex> streams -a
... 출력 내용 생략 ...
Concurrent Connection Test (CC 테스트, 동시 접속 과부하 테스트)
HTTP 세션이 오래 유지되도록 하면서 서버 장비 또는 L4 ~ L7 Network 장비의 Memory 부하를 끌어올리는 테스트를 하고자 한다면,
아래의 설정과 명령을 따라 수행하면 된다.
(테스트 절차가 위에서 했던 테스트와 비슷하므로 자세한 설명은 생략한다.)
우선 TRex 설정 값부터 조정해야 한다.
trex_cfg.yaml 파일에서 dp_flows 항목의 값을 적당히 높여준다.
물론 TRex가 돌아가는 장비(HW)의 Memory가 충분한지 먼저 확인하고 적절하게 값을 높여서 설정한다.
$ vim /etc/trex_cfg.yaml
- version: 2
memroy:
## 30GB --> 15,000,000 flows (이 값을 참고하여 필요한 만큼 값을 올린다)
dp_flows: 15000000
... 중간 생략 ...
$ cd $TREX_ROOT
$ ./t-rex-64 -i --astf
그리고 아래와 같이 python 스크립트를 수행한다.
$ ./trex-console
trex> start -f astf/http_high_active_flows.py -m 1000 -t delay=10000000
## 유용한 옵션 값을 제시하면 아래와 같다.
## 아래 옵션으로 실행하면,
## CC : 500,000 ~ 550,000
## CPS : 40,000
## BPS : 300Mbps
## CPU : 50%
tui> start -f astf/http_high_active_flows.py -m 50000 -t delay=10000000
## 아래 옵션으로 실행하면,
## CC : 1,000,000 # 위 명령보다 delay를 2배 늘리면, CC도 2배 늘어난다.
## CPS : 40,000
## BPS : 320Mbps
## CPU : 50%
tui> start -f astf/http_high_active_flows.py -m 50000 -t delay=20000000
참고: -m 옵션의 값을 처음에는 작게 설정해서 테스트하고, 테스트 결과를 보면서 -m 옵션 값을 2~10배씩 올려가면서 테스트한다.
참고 문서 (내가 읽어보고 괜찮다고 느낀 순서로 정렬)
| 문서 이름 | 문서 URL |
| TRex - Use Case (TCP, UDP) (참고: 깊은 이해 없이 따라하기 좋음) |
https://promwad.com/news/cisco-trex-traffic-generator |
| TRex - 최초 구성 설정 방법 | https://github.com/cisco-system-traffic-generator/trex-core/blob/master/doc/trex_config.asciidoc |
| TRex 사용 매뉴얼 | https://trex-tgn.cisco.com/trex/doc/trex_manual.html |
| TRex PKG 릴리즈 리스트 (버전별) | https://trex-tgn.cisco.com/trex/release/ |
| TRex - Use Case (UDP) | https://satishdotpatel.github.io/trex-load-generator/ |
| TRex Stateless support | https://trex-tgn.cisco.com/trex/doc/trex_stateless.html |
| TRex Advance stateful support (TCP, HTTP 테스트할 때 도움이 됨) |
https://trex-tgn.cisco.com/trex/doc/trex_astf.html |
| TRex GUI | https://github.com/cisco-system-traffic-generator/trex-stateless-gui |
'Network' 카테고리의 다른 글
| SSH Port forwarding (SSH Tunneling) 구성 예제 및 실습 (0) | 2023.12.22 |
|---|---|
| Juniper Switch 제어를 위한 Python Script 예제 (Junos PyEX 패키지 사용하기) (0) | 2023.12.11 |
| Raw Ethernet Packet - Example Source Code (0) | 2023.10.06 |
| IP 패킷 조작 툴 - Scapy (0) | 2023.09.25 |
| PVLAN (Private VLAN) 개념 (스터디 자료 모음) (0) | 2023.09.23 |