TTPoE 에 대해서 좀 더 자세히 설명한 다른 기사가 있네요
Tesla’s TTPoE at Hot Chips 2024: Replacing TCP for Low Latency Applications

TTPoE 개요

• Tesla는 Hot Chips 2023에서 Dojo 슈퍼컴퓨터를 소개했으며, 자율주행 자동차와 같은 자동차 응용 분야에 중점을 둔 기계 학습에 사용함
• 훈련 데이터는 많은 IO 대역폭을 요구하는 비디오를 다루며, 단일 텐서의 크기는 Tesla의 비전 응용 프로그램의 경우 1.7GB에 달할 수 있음
• Tesla는 호스트 머신이 데이터를 슈퍼컴퓨터로 푸시하는 속도에 의해 Dojo 슈퍼컴퓨터의 처리량이 제한될 수 있음을 발견함

TTPoE의 필요성

• Tesla는 더 많은 호스트를 추가하고 이러한 추가 호스트를 슈퍼컴퓨터에 저렴하게 연결하는 방법으로 이 문제를 해결함
• InfiniBand와 같은 일반적인 슈퍼컴퓨터 네트워킹 솔루션 대신 Tesla는 수정된 전송 계층으로 이더넷을 그들의 요구 사항에 맞게 조정하기로 선택함
• TCP는 Tesla Transport Protocol over Ethernet(TTPoE)로 대체되며, 마이크로초 단위의 지연 시간을 제공하고 간단한 하드웨어 오프로드를 허용하도록 설계됨

TTPoE의 특징

• TTPoE는 완전히 하드웨어에서 처리되도록 설계되었으며 표준 TCP 프로토콜보다 더 나은 지연 시간을 제공함
• TTPoE의 상태 머신은 TCP에 비해 크게 단순화됨
• TCP의 대기 상태를 제거하여 지연 시간이 감소됨
• TTP는 TIME_WAIT 상태를 삭제하고 3번의 전송에서 2번의 전송으로 연결 종료 시퀀스를 변경함
• TCP의 3-way 핸드셰이크를 2-way로 변경하여 연결 설정 지연 시간을 단축함

TTPoE의 혼잡 제어

• TCP와 마찬가지로 Tesla는 혼잡 제어를 위해 패킷 손실을 사용함
• Tesla는 저지연 기본 네트워크에서 실행되도록 설계되었기 때문에 문제에 대해 무차별 대입 방식을 사용할 수 있었음
• 전통적인 TCP 구현은 슬라이딩 혼잡 윈도우를 유지 관리하지만 TTP는 그렇지 않음
• 하드웨어는 SRAM 버퍼에서 전송된 데이터를 추적하며, 이는 혼잡 윈도우 크기를 정의함
• 전통적인 TCP 혼잡 제어 알고리즘은 Tesla의 Dojo 슈퍼컴퓨터 응용 프로그램에 효과적이기에는 너무 긴 시간 척도로 작동함

TTPoE 하드웨어 구현

• Tesla는 칩과 표준 이더넷 하드웨어 사이에 배치된 하드웨어 블록에서 TTP 프로토콜을 처리함
• 이 MAC 하드웨어 블록은 CPU 설계자가 설계했으며 많은 CPU 설계 기능을 도입함
• 발표자는 이를 공유 캐시처럼 작동한다고 설명했으며, 중재자는 순서 위험을 고려하여 요청 중에서 선택함
• 가장 두드러지는 리소스 중 하나는 1MB 전송 SRAM 버퍼로, 위에서 언급한 것처럼 혼잡 윈도우를 정의함

Mojo NIC

• TPP MAC은 Tesla가 "Dumb-NIC"라고 부르는 것에 구현됨
• 가능한 한 저렴하고 단순하기 때문에 "dumb"라고 불림
• Tesla는 Dojo 슈퍼컴퓨터에 데이터를 공급하기 위해 많은 수의 호스트 노드를 배포하려고 하며, 저렴한 네트워크 카드를 사용하면 비용 효율적인 방식으로 이를 달성할 수 있음
• Mojo라는 이름은 추가 호스트 노드가 성능을 유지하기 위해 Dojo에 더 많은 Mojo를 제공한다는 아이디어에서 유래함
• Mojo 카드는 원격 호스트 머신에 설치되며, 엔지니어가 Dojo 슈퍼컴퓨터에 데이터를 공급하기 위해 더 많은 대역폭이 필요한 경우 풀에서 원격 호스트 머신을 끌어올 수 있음

요약

• Mojo와 TTPoE 프로토콜은 잘 알려진 전송 제어 프로토콜(TCP)이 고품질 슈퍼컴퓨터 내부 네트워크에서 사용하기 위해 단순화될 수 있는 방법에 대한 흥미로운 통찰력을 제공함
• 이 프로토콜은 이론적으로 인터넷에서 실행될 수 있지만 고정 혼잡 윈도우와 같은 단순화는 인터넷 서비스 제공업체 및 그 이상으로 연결되는 품질이 낮은 링크에서는 잘 작동하지 않을 것임
• InfiniBand와 같은 다른 슈퍼컴퓨팅 네트워크 솔루션과 비교하여 이더넷을 통한 사용자 정의 전송 프로토콜은 Dojo의 요구 사항을 충족하기에 충분한 추가 대역폭을 제공할 수 있음