개요
Zetadata 7 에서의 서버 간 InfiniBand 통신 확인 방법에 대한 설명입니다.
방법
ibv_rc_pingpong 명령어를 수행해 확인합니다.
참고
•
ibv_rc_pingpong : 각 노드의 ACTIVE 상태인 DEVICE를 이용하여 ping 을 통해 InfiniBand
통신 측정 시 사용하는 명령어
•
ibstat : InfiniBand DEVICE 목록 조회 명령어
2TAC-3SSVR 구성의 경우, 아래 관계 간 ping이 통해야 합니다.
(InfiniBand를 통하는 모든 노드에서 ping 전송-응답이 이뤄져야 정상)
•
DB1 <-> DB2
•
DB1 <-> SSVR1 , SSVR2, SSVR3
•
DB2 <-> SSVR1 , SSVR2, SSVR3
•
SSVR1 , SSVR2, SSVR3 <-> SSVR1 , SSVR2, SSVR3
[예시]
ibv_rc_pingpong 의 경우, 디폴트가 제일 첫번째의 DEVICE (mlx5_0)을 가지고 ping을 전송합니다.
ex) A노드 ← B노드 통신 확인시
•
A 노드 : ibv_rc_pingpong -d A노드 active인 device명
•
B 노드 : ibv_rc_pingpong -d B노드 active인 device명 A노드 IP
A노드 : DB1 (ACTIVE DEVICE : mlx5_2 , IP : 10.10.10.100)
B노드 : SSVR1 (ACTIVE DEVICE : mlx5_0 , IP : 10.10.10.101)
1.
DB1 에서 "ibv_rc_pingpong -d mlx5_2" 수행해 통신을 수신할 준비를 합니다.
2.
SSVR1 에서 "ibv_rc_pingpong -d mlx5_0 10.10.10.100" 수행하여 DB1 의 10.10.10.100 로 ping을 전송합니다.