---
title: "#네트워크: 10GbE 100GbE #이더넷 #인피니밴드 - 클러스터 리눅스"
url: "https://notes.junghanacs.com/notes/20250702T172955"
author: "Junghan Kim"
date: "2025-07-02T17:29:00+09:00"
lastmod: "2025-07-02T00:00:00+09:00"
tags: ["ai","clusters","ethernet","hardware","linux","llm","network","performance"]
description: "리눅스 클러스터에서 10GbE·100GbE 이더넷과 인피니밴드의 속도 확인과 선택 기준을 살펴본다."
---

> [!abstract] 이 노트에 대하여
> 
> 10GbE와 100GbE, InfiniBand를 클러스터와 LLM 네트워크 성능 관점에서 비교한다. 하드웨어 연결성과 대역폭 고민이 담긴 실전 노트다.

## 히스토리

-   [2025-07-02 Wed 17:29] 네트워크 10GbE 연결 검토
-   [#인공지능 워크로드를 위한 PC클러스터 구성](https://notes.junghanacs.com/notes/20250605T222740)

## 관련메타

-   [†#장치 #디바이스 #장비 #하드웨어](https://notes.junghanacs.com/meta/20240822T140825)
-   [‡ #인공지능](https://notes.junghanacs.com/meta/20240522T143822)

## BIBLIOGRAPHY

## #스위치: 컨트롤러 연결 및 점보프레임 검증 10G

-   스위치: NEXTU 8x10G SFP L3 Fiber Managed Switch
-   이더넷: 10G MT27500 Family [ConnectX-3]
-   매니지먼트 192.168.2.1 admin admin

### 3208SFPL3-10G

-   스하판 L3 8포트10G SFP+ 이더넷 스위치
-   다운로드 복사
-   L3 8Port 1G/10GX SFP+ Managed 스위치허브 /1G/2.5G/10G SFP+ 8포트 / MSTP(멀티링),RSTP , L3 라우팅 Static, OSPF,RIP,BGP, SNMP,QOS,VLAN,DHCP Server 기능 지원 /

### NEXTU 8x10G SFP L3 매니지먼트 - 웹

IP 주소 대를 맞춰서 세팅한다. 192.168.2.123 그리고 xfce4 desktop이라도 설치한다. 그리고 나서 firefox로 192.168.2.1을 접근한다.

admin, admin으로 들어간다.

### 시리얼 연결 시도 - 실패

#### @user 다음 스위치에 연결하려고해 아래 시리얼 포트로 접근하면 될 것 같아. 방법을 알려줘 (우분투 리눅스)

-   스위치 모델명 : NEXTU 8x10G SFP L3 Fiber Managed Switch



```text
hejdev@hej1:~$ sudo dmesg | grep tty
[sudo] password for hejdev:
[    0.150752] printk: console [tty0] enabled
[    0.584824] 00:03: ttyS1 at I/O 0x2f8 (irq = 3, base_baud = 115200) is a 16550A
[    5.522803] dw-apb-uart.4: ttyS4 at MMIO 0x4010004000 (irq = 20, base_baud = 7500000) is a 16550A
```

@assistant

#### NEXTU 8x10G SFP L3 스위치 시리얼 연결 방법 (Ubuntu Linux)

_연결 절차:_

1.  **필요한 도구 확인**
    -   USB-to-Serial 케이블 (일반적으로 FTDI 칩셋 사용)
    -   RJ45 콘솔 케이블 (스위치 제공 케이블 사용)

2.  **시리얼 포트 확인**
    ```bash
    ls /dev/ttyUSB*  # USB-to-Serial 연결 시
    ls /dev/ttyS*    # 내장 시리얼 포트 사용 시
    ```
    
    -   dmesg 출력에서 =ttyS1=(I/O 0x2f8)이 기본 시리얼 포트로 확인됨

3.  **minicom 설치 및 설정**
    ```bash
    sudo apt install minicom
    sudo minicom -s
    ```
    
    -   설정 메뉴에서:
        -   Serial Device: `/dev/ttyS1` (또는 해당 포트)
        -   Bps/Par/Bits: 115200 8N1
        -   Hardware Flow Control: No

4.  **물리적 연결**
    -   스위치의 Console 포트 ↔ Linux 서버의 시리얼 포트 연결
    -   전원 케이블도 함께 연결

5.  **접속 실행**
    ```bash
    sudo minicom -D /dev/ttyS1
    ```
    
    -   Enter 키를 여러 번 눌러 로그인 프롬프트 유도

_주의사항:_

-   권한 문제 시 `sudo usermod -aG dialout $USER` 실행 후 재로그인
-   CTS/RTS 플로우 컨트롤 비활성화 필수
-   케이블 불량 확인을 위해 `screen` 이나 `cu` 로도 테스트 가능

_추가 명령어:_

```bash
# 포트 설정 확인
stty -F /dev/ttyS1 -a
# raw 데이터 보기
cat /dev/ttyS1
```

_연결 후 작업:_

-   스위치 IP 설정 확인/변경
-   10GbE 포트 활성화 상태 점검
-   Jumbo Frame 설정 확인 (일반적으로 9000 MTU)

#### @user 둘중에 뭐가 스위치 일 것 같아?

```text
hejdev@hej1:~$ sudo stty -F /dev/ttyS1 -a
[sudo] password for hejdev:
speed 115200 baud; rows 0; columns 0; line = 0;
intr = ^C; quit = ^\; erase = ^?; kill = ^U; eof = ^D; eol = <undef>; eol2 = <undef>; swtch = <undef>; start = ^Q;
stop = ^S; susp = ^Z; rprnt = ^R; werase = ^W; lnext = ^V; discard = ^O; min = 1; time = 5;
-parenb -parodd -cmspar cs8 -hupcl -cstopb cread clocal crtscts
ignbrk -brkint -ignpar -parmrk -inpck -istrip -inlcr -igncr -icrnl -ixon -ixoff -iuclc -ixany -imaxbel -iutf8
-opost -olcuc -ocrnl -onlcr -onocr -onlret -ofill -ofdel nl0 cr0 tab0 bs0 vt0 ff0
-isig -icanon -iexten -echo -echoe -echok -echonl -noflsh -xcase -tostop -echoprt -echoctl -echoke -flusho
-extproc
hejdev@hej1:~$ sudo stty -F /dev/ttyS4 -a
speed 9600 baud; rows 0; columns 0; line = 0;
intr = ^C; quit = ^\; erase = ^?; kill = ^U; eof = ^D; eol = <undef>; eol2 = <undef>; swtch = <undef>; start = ^Q;
stop = ^S; susp = ^Z; rprnt = ^R; werase = ^W; lnext = ^V; discard = ^O; min = 1; time = 0;
-parenb -parodd -cmspar cs8 hupcl -cstopb cread clocal -crtscts
-ignbrk -brkint -ignpar -parmrk -inpck -istrip -inlcr -igncr icrnl ixon -ixoff -iuclc -ixany -imaxbel -iutf8
opost -olcuc -ocrnl onlcr -onocr -onlret -ofill -ofdel nl0 cr0 tab0 bs0 vt0 ff0
isig icanon iexten echo echoe echok -echonl -noflsh -xcase -tostop -echoprt echoctl echoke -flusho -extproc
hejdev@hej1:~$ cat /dev
```

@assistant \*\*ttyS1\*이 스위치 연결에 더 적합합니다.

**이유:**

1.  **속도 (Baud Rate)**
    -   ttyS1: 115200 baud → 네트워크 장비 표준 속도
    -   ttyS4: 9600 baud → 너무 느림 (구형 장비용)

2.  **플로우 컨트롤**
    -   ttyS1: `crtscts` (하드웨어 플로우 컨트롤) → 네트워크 장비에 적합
    -   ttyS4: `-crtscts` (플로우 컨트롤 비활성화)

3.  **일반적인 네트워크 장비 설정**
    -   대부분의 현대 스위치는 115200 8N1 설정 사용
    -   NEXTU 같은 관리형 스위치는 115200이 표준

**연결 시도:**

```bash
sudo minicom -D /dev/ttyS1
```

**minicom 설정:**

-   Serial Device: `/dev/ttyS1`
-   Bps/Par/Bits: 115200 8N1
-   Hardware Flow Control: Yes (crtscts 활성화됨)

**참고:**

-   ttyS4는 ARM 기반 내장 UART로 보이며 (dw-apb-uart), 일반적으로 시스템 디버깅용
-   ttyS1은 표준 16550A 시리얼 포트로 외부 장비 연결에 적합

**따라서 ttyS1(/dev/ttyS1)로 스위치에 연결하세요.**