가정용 BGP: 가정에 DIA 회선 설치

 (aaka.sh)
1P by GN⁺ | ★ favorite | 댓글 1개
  • AP Foundation의 AS54316 인프라에 복원력을 더하려고 NYC 데이터센터 밖의 코네티컷 자택에 상시 운영 장비를 두려 했고, 핵심 난관은 BGP가 가능한 회선을 집까지 끌어오는 일이었음
  • Verizon FiOS와 Optimum 같은 일반 FTTH는 BGP 피어링을 제공하지 않았고, VPN 우회는 가능했지만 SLA 부재와 지역 전신주 인프라라는 공통 장애점이 남았음
  • 선택지는 전용 광섬유 쌍을 중앙국/POP 라우터까지 잇는 DIA 회선이었고, Verizon Enterprise는 자택이 “on net”이라며 구축비 없이 3년 약정과 월 과금 조건을 제시함
  • 설치에는 약 2개월, 5회 현장 출동, Verizon 엔지니어/기술자 10명 이상, 경찰 입회, 약 2.5마일 광섬유 작업이 필요했고 최종 구조는 Verizon CO ↔ VzT NID ↔ VzB NID ↔ 라우터가 됨
  • 운영 후에는 포트 비용에 약 30%의 Federal Universal Service Fund 세금이 붙었고, 100% SLA에도 몇 차례 순간 플랩과 약 30분 장애가 발생함

자택 BGP를 위한 요구사항

  • AS54316은 AP Foundation 서비스의 기반 네트워크이며, 기존 인프라는 NYC Telehouse Chelsea의 NetActuate 데이터센터에 있었음
  • 목표는 다른 데이터센터에 추가 코로케이션을 두는 대신, 코네티컷 자택의 여유 공간을 활용해 상시 운영 물리 인프라를 구성하는 것이었음
  • 상시 운영 장비에는 냉각, 전력, 보안, 네트워크 연결이 필요했고, 이 중 네트워크 연결이 2개월 이상 걸린 핵심 작업이 됨
  • 자체 IPv4/IPv6 주소 공간은 ARIN에서 할당받았고, IP 트랜짓 사업자와의 BGP 피어링을 통해 AS54316으로 공지됨
  • 데이터센터에서는 코로케이션 사업자나 크로스커넥트로 GTT, Cogent, HE 같은 글로벌 사업자와 연결하기 쉽지만, 주거 환경에서는 조건이 크게 달랐음

FTTH와 VPN 우회의 한계

  • 자택 지역에는 Verizon FiOS와 Optimum, 두 FTTH 사업자가 있었고 개인 용도로는 이미 FiOS를 사용 중이었음
  • 두 사업자 모두 BGP 피어링을 일반적으로 대기업용 기능으로 보고, 주거용 서비스에서는 제공하지 않았음
  • Neptune이나 Vultr처럼 IP 트랜짓을 제공하는 VPS 사업자와 VPN으로 BGP 피어링하는 방법은 가능했음
  • 하지만 대부분의 FTTH 사업자는 SLA가 없어 기본 연결 품질을 보장받기 어려웠음
  • Verizon FiOS와 Optimum을 모두 가입해 VPN 기반 멀티홈을 구성할 수도 있었지만, 두 사업자 모두 지역 전신주에 걸린 지상 인프라를 주로 사용해 나무가 선로를 덮치는 장애에 함께 취약할 수 있었음

DIA가 제공하는 차이

  • 대안은 DIA(dedicated internet access) 또는 dedicated ethernet이었음
  • 일반 비기업용 FTTH/FTTB는 PON 같은 기술로 동네가 ISP 중앙국까지의 백홀 회선을 공유하는 구조임
    • ISP는 한 가닥의 광섬유와 수동 광 분배기를 사용해 여러 주택/건물에 서비스를 제공할 수 있음
    • 사용자가 1Gbps 대칭형 상품에 가입해도, 모든 가입자가 동시에 전체 1Gbps를 쓰는 구조는 아님
  • DIA는 ISP가 중앙국 라우터에서 건물까지 전용 광섬유 쌍을 구성하고, 대역폭·가동시간·지연·지터·수리 시간에 대한 보장을 제공함
  • 이 회선은 고객 라우터와 ISP POP 라우터를 잇는 긴 광 연결에 가까우며, 비용 때문에 주로 대기업이 사용함
  • 이 사례에서 중요한 차이는 DIA 사업자가 고객과 BGP 피어링을 허용한다는 점이었음

사업자 선정과 비용 구조

  • 후보는 지역 인프라가 있는 Verizon Enterprise와 Lightpath가 자연스러운 선택지였고, AT&T, Cogent, Zayo, Crown Castle, Lumen 등 주요 연결 사업자에도 문의함
  • 사업자 조사 과정에서 여러 제약이 드러남
    • 일부 사업자는 주거용 구역 건물 연결 자체를 거절함
    • 일부는 높은 월 최소 요금, 구축비, 1년 규모 공사 기간을 요구함
    • 한 사업자는 가장 가까운 “live” 번들까지 1,148피트 광섬유를 설치하는 데 12만 8천 달러를 견적함
    • 일부 사업자는 마지막 구간 물리 인프라를 제3자 지역 교환 사업자에게 맡겼고, 수리 시 조율과 책임 공방이 생길 수 있었음
    • 거의 모든 사업자는 3년 약정을 요구함
  • 최종 선택은 Verizon Enterprise였음
    • 자택이 이미 “on net”이라 별도 구축비가 없다는 조건이었음
    • 가격을 웹사이트에 투명하게 공개한 유일한 사업자였음
  • Verizon 가격 예시는 회선 속도별로 제시됨
    • 50Mbps committed: 월 455달러
    • 100Mbps: 월 661달러
    • 1Gbps: 월 999달러
    • 5Gbps: 월 2,099달러
    • 10Gbps: 월 3,099달러
  • 50Mbps 월 455달러 기준으로 실제 인터넷 “access” 비용은 약 90달러이고, 나머지 약 365달러는 물리 계층 연결인 port 비용이었음
  • 회선에는 SLA, BGP 세션, 듀얼스택 연결이 포함됐고, 95번째 백분위 과금 방식도 가능했지만 100Mbps committed에 1Gbps burstable인 구성이 1Gbps committed보다 비싸 사용 사례에 맞지 않았음
  • 서비스 설정 과정에서는 100base-FX, 1000base-LX, 1000base-T, single-mode, multi-mode 같은 네트워크 handoff 유형을 선택할 수 있었음

설치 과정: 현장 조사부터 광 접속까지

  • 설치는 약 2개월, Verizon 엔지니어/기술자 10명 이상, 5회 출동, 경찰 입회를 거쳐 진행됨
  • Verizon 내부 업무는 물리 계층을 다루는 Verizon Telecom과 라우팅 계층을 다루는 Verizon Business로 나뉘었고, 대부분의 현장 작업은 Verizon Telecom이 맡음
  • 활성화 과정에서는 해외의 전담 order manager가 내부 조율과 설치 기간의 주 연락 창구 역할을 함

  • 1차 출동: 현장 조사

    • Verizon Telecom의 High Capacity Outside Plant Engineer가 현장 조사를 수행함
    • 거리의 전신주, 자택 서비스 인입 지점, 서버 랙 위치를 확인하고 광케이블 도관 요구사항과 전력·랙 공간 요구사항을 안내함
    • Verizon 장비에는 4U 랙 공간이 필요하다고 안내됨
    • 주요 도로에는 큰 광케이블 번들이 깔려 있고, 일부 도로에는 800가닥 이상이 있으며 미래 프로젝트용 dark fiber가 남아 있었음
    • 자택이 주요 도로 바로 옆이라 수백 피트의 새 광섬유를 깔아 큰 번들에 접속하고, 한쪽 끝은 Verizon 지역 중앙국의 스위치 포트에, 다른 끝은 서버 랙에 연결하는 계획이 잡힘
    • 현장 조사 후 약 1.5개월 뒤의 firm order commitment 날짜가 잡혔고, 사용자는 전력, 서비스 인입, 서버 랙, 네트워크 장비를 준비한 뒤 “site ready” 인증을 제출함

  • 2차 출동: 광 드롭

    • 몇 주 뒤 기술자 4명과 버킷 트럭이 와서 전신주에서 새 서버 랙까지 광케이블을 설치함
    • 지역 법의 특이점 때문에 경찰 입회도 필요했음
    • 작업팀은 랙에 2U 광 패치 패널을 설치함
    • 광케이블 양끝은 바로 종단되지 않았고, 별도 융착 접속팀이 전신주와 패치 패널에서 나중에 접속하기로 함
    • 설치된 케이블은 Corning의 12가닥 single-mode 케이블이었고, 기존 FiOS용 1가닥 케이블과 달리 전신주에서 랙까지 직접 들어옴

  • 3차 출동: 첫 번째 NID 설치

    • 같은 주 후반 다른 기술자가 NID(Network Interface Device)를 설치했고, 장비는 1U 랙 공간을 차지함
    • NID는 Verizon 서비스의 demarcation point로, Verizon 책임 구간과 고객 책임 구간을 나누는 지점임
    • Verizon NOC 엔지니어가 장비에 원격 진단을 실행할 수 있었음
    • 설치된 하드웨어는 Canoga Perkins 9145E였음
    • telecom/NNI 측에는 40km 1310nm 1.25Gbps single-mode SFP 트랜시버가 설치됨
    • user/UNI 측에는 유사한 10km 트랜시버가 들어감
    • 설치된 모델은 단일 내부 PSU였고, 제조사에는 듀얼 PSU 모델이 있었지만 Verizon certified가 아니라는 답변을 받음
    • 기술자는 커리어에서 주택에 NID를 설치하러 온 적이 없었다고 말함

  • 4차 출동: 광 융착 접속팀

    • 몇 주 뒤 Verizon은 두 명의 접속 작업자가 맨홀에서 지역 중앙국부터 자택까지 fiber pair를 연결 중이라고 안내함
    • 현장에 남아 있던 dark fiber는 양끝이 연결되어 있지 않았기 때문에, 마을 여러 번들 사이에서 광섬유 쌍을 융착 접속해 최종 경로를 만들어야 했음
    • 이후 도로 끝에서 경찰 여러 명과 Verizon 트럭 두 대가 보였고, 다음 날 자택 내부 패치 패널을 이전에 설치한 광케이블에 접속하는 작업이 진행됨
    • 작업팀은 자택 내부에서 융착 접속을 진행했고, 다른 기술자는 전신주 쪽 접속을 작업함
    • 최종 접속 후 OTDR 테스트 결과 지역 중앙국부터 패치 패널까지 전체 구간은 약 2.5마일 이상이었음
    • 이 작업이 끝난 뒤에도 회선은 아직 온라인 상태가 아니었고, 마지막 출동이 필요했음

Verizon Telecom과 Verizon Business의 이중 NID

  • 물리 계층 인프라는 설치·테스트됐지만, IP 계층에는 Verizon Business용 전용 NID가 추가로 필요했음
  • 마지막 기술자는 Ciena 3903과 1310nm single-mode optics를 설치함
  • 이 NID는 Verizon Business 관점에서 첫 번째 NID와 유사한 역할을 함
  • Verizon Telecom은 Verizon Business에 EVC를 제공했고, 최종 고객 관계는 Verizon Business 쪽에 가까웠음
  • 최종 연결 구조는 다음과 같았음
    • Verizon CO ↔ 약 2.5마일 광섬유 ↔ VzT NID ↔ VzB NID ↔ 고객 라우터

활성화와 실제 운영 후 확인점

  • 마지막 NID 설치와 테스트 후, 연결을 올리기 위한 IP 정보와 BGP 세션 피어링 정보가 제공됨
  • 활성화 단계에서 Verizon의 내부 인프라 일부도 확인됨
    • DWDM/ROADM에는 Fujitsu 9500을 사용함
    • gateway/peering router에는 Juniper MX960을 사용함
    • 피어링 라우터는 지역 중앙국이 아니라 NYC의 약 30~40마일 떨어진 위치에 있음
  • 몇 달 운영 후 비용과 운영상 주의점도 드러남
    • port 비용에는 약 30% Federal Universal Service Fund 세금이 추가됨
    • 이 세금은 분기별로 변동되며, interstate traffic이 의미 있게 있는 회선 비용 분석에 포함해야 함
  • Verizon 헬프데스크의 상당 부분은 해외 운영이라 간헐적 문제 진단이 어려울 때가 있었음
  • 주요 문제는 escalation이 비교적 쉬웠고, trouble ticket이 열리면 자동 시스템이 NID/라우터 ping 가능 여부와 BGP 세션 활성 상태를 확인함
  • SLA가 100%라고 되어 있어도 완벽을 기대하기는 어려웠고, 몇 달 동안 순간적인 플랩 몇 차례와 약 30분 장애가 있었음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • SLA 100% 라고 해도 완벽을 기대하면 안 됨. SLA는 특정 장애에 대해 비례 환불이나 서비스 크레딧을 요청할 수 있는 금전적 약정이지, 실제 가동 시간이 그 수치를 넘는다는 보장이 아님
    이 글의 회선처럼 광섬유 설비가 물리적으로 손상되면, 접속반이 위치를 찾고 복구하는 동안 몇 시간은 끊길 수밖에 없음. Verizon이 100% SLA를 내걸어도 실제로는 파이브 나인 수준으로 설계한 게 아니며, 그러려면 고객 구내의 이중 장비, 이중 인입, 종단 간 경로 다양성이 필요함

    • 그래도 SLA는 서비스를 계속 살려두게 만드는 강한 동기가 됨. 보장은 아니지만 이런 계약의 온콜을 해본 입장에서는 압박이 큼
      동시에 책임 떠넘기기에도 꽤 능숙해지게 됨
    • 비즈니스 현실에서 계약은 집행할 수 있는 만큼만 가치가 있음. SLA는 보통 별 의미가 없는데, 큰 고객이 아니라면 공급업체에 대한 재무적 지렛대가 약하고, 걸린 금액도 소송할 만큼 크지 않기 때문임
      월 1만 달러짜리 100% SLA 전용 회선이 한 달 내내 죽었는데 업체가 보상금을 안 준다고 해도, 1만 달러 받자고 변호사를 고용하고 시간을 쓰는 게 합리적이기 어려움. 3시간 장애라면 더 심해서, 월 1만 달러 기준 시간당 13.89달러이고 3배 보상이어도 125달러 수준이라 신청서 쓰는 것조차 애매함
      공급업체가 실제로 신경 쓰는 비용은 평판임. 기술자가 회선 가동률에 무심해도 계정 매니저에게 연락하면 반응이 완전히 달라질 수 있는데, 이는 SLA 자체와는 별개임
      결국 회선과 서비스의 물리적 현실을 이해하고 사야 하며, 번지르르한 SLA를 붙여도 결과는 바뀌지 않음

  • 내가 운영하는 ISP도 원하면 전용 회선을 제공함. 추가 접속 작업 때문에 설치비를 더 받고, PON 대신 전용 포트와 코어를 쓰므로 월 요금도 조금 더 받음
    다만 이런 서비스 비용의 대부분은 실제 가동 시간 보장이라기보다 SLA 위험을 떠안는 비용에 가까움. 장애 확률 자체는 PON과 크게 다르지 않아서, 실질적으로는 재무적·서비스 보장에 가까움
    절충안으로 일반 서비스에도 BGP를 제공하고, BGP를 제공하는 친한 다른 ISP들과 추천 체계도 둠. 복원력 관점에서는 “전용”보다 멀티호밍을 더 선호하는데, 전송망과 피어링까지 네트워크 스택 전체를 분리해주기 때문임

    • 왜 ISP들은 서비스 가능 지역 지도를 제공하지 않는지 궁금함. 거의 항상 “서비스 가능 여부 확인” API만 있고, 이사할 때마다 여러 ISP의 지원 지역을 보려면 주소를 하나씩 넣어야 해서 속도 제한, 부정 사용 방지 등을 처리해야 함
      한 번은 비즈니스 담당자에게 여러 주소를 보내 확인한 적이 있는데 유용하긴 했지만 왕복이 너무 느려서 직접 조회하는 편이 나았음
    • 잠재적 비상업 고객 입장에서 도움말을 봤는데 고정 IP 주소나 IPv6 관련 내용을 못 찾았음
      나중에 약관에서 “고정 IP 주소를 구매하지 않은 경우 당사가 통지 없이 인터넷 프로토콜(IP) 주소를 변경할 수 있음”이라는 문구를 찾음
    • ISP 이름이 뭔지 궁금함

  • 집까지 “진짜” 광섬유를 끌어온 사람은 몇 명밖에 못 봤음. 부럽긴 한데, 월 ISP 요금이 자동차 할부금 같다는 점만 빼면 그럼

    • 농장에 “진짜 광섬유”를 깔았음. 18마일 케이블을 포설했고 1년 동안 오가며 진행했으며, 원래는 업무 비용으로 월 4500달러였음
      설치 후 성능 문제가 계속돼서 문제를 입증하고 해지하겠다고 압박하자, 회선을 업그레이드해 제대로 속도가 나오게 하고 월 2100달러로 낮춰줌. 여전히 자동차 할부금 같지만 예전보다는 훨씬 쌈
      결과적으로 SLA, 클라우드 제공업체로의 직접 접속, 몇 개 IP 블록 호스팅이 가능해졌고 인터넷에 노출된 머신도 몇 대 운영할 수 있음
      최근 판 집도 나쁘지 않았는데, AT&T 5Gbps 회선 3개를 총 월 450달러에 썼음. 중복성은 없지만 꽤 훌륭했음
    • 월 300달러 내고 Comcast를 안 써도 된다면, 72.99달러에 세금 내는 것보다 괜찮은 거래처럼 들림
    • 내 경험상 누구에게 전화하고 무엇을 요청해야 하는지만 알면 됨. Spectrum 서비스 지역에서는 HFC 서비스 구역의 어떤 건물에도 광섬유를 넣어줌
      예전 아파트 건물에는 몇 년간 광섬유가 들어왔고, 다른 동축 케이블 건물로 옮겼을 때도 설치비 2000달러 견적을 받았음. 문제는 광섬유 서비스가 대칭형이라 Netflix에 필요한 다운로드 속도를 얻으려면 200Mbps 이상 업로드 요금제도 같이 사야 해서 너무 비쌌음. 95백분위 과금도 제공하지 않음
    • 좋아 보이지만 실제 사용처가 궁금함. 지역 EC2를 잡고 거기서 작업하는 것과 비교해 어떤 장점이 있는지 모르겠음
      프라이버시 관련 작업이나 Tor 노드 운영 같은 건 이해됨

  • 내 구성도 비슷함. DIA 회선 하나와 형편없는 Comcast Business 회선 위에 백업 VPN을 올려 근처 데이터센터에서 종료시키고 있음
    ISP가 대화라도 하게 만드는 데 꽤 많은 추적이 필요했음. 처음부터 광섬유 포설 비용을 전부 낼 준비가 되어 있다고 말했는데도 그랬음
    우리 지역 ISP들은 도시를 서비스 구역으로 나눠 가진 듯한데, 이게 어떻게 합법인지 모르겠음
    내 ISP는 구내에 큼직한 ADVA 광 회선 종단 장비를 설치했음. 이걸 ISP 쪽으로 옮기고 SFP 연결만 받게 하는 일은 아직 진행 중임
    지원은 인도로 외주화되어 있고, 전화로 원하는 걸 이해시키는 과정이 고통스러움. 다행히 웹 티켓 시스템은 쓸 만함

    • ISP가 회선을 고객 구내까지 끌고 와서 고객 전원으로 경계 장비를 두는 건 매우 일반적이지 않나 싶음. 보통 계속 동작하는 “그들 쪽”이 따로 있는 게 아니라, 고객 구내 다음에는 수 킬로미터 배선과 중앙국이 있을 뿐임
      고객 쪽 배선을 종단하는 장비는 당연히 고객 쪽에 있어야 함. 장비가 큰 박스가 아니라 단순 SFP일 수도 있겠지만, ISP는 자기 책임 구간인 종단 장비까지 연결 상태를 감시하려고 함. 일반 SFP만 있으면 그게 안 되니 SLA를 유지하면서 받아들이기 어려울 것임
      박스가 너무 크거나 시끄러운 물리적 문제가 있다면 다른 장비를 협상할 수는 있겠지만, 단순히 네트워크 통제권을 원한다면 그렇게 동작하지 않음. 고객 네트워크는 경계점부터 시작하고, 그 앞은 ISP 내부망이며, 이더넷 같은 표준 인계 인터페이스 이후가 고객망임
    • 미국이라면 도시가 서비스 구역으로 나뉜 이유는 많은 도시가 케이블 사업자에게 프랜차이즈 권리를 줬기 때문일 수 있음. 사업자가 배선과 인프라 설치 비용을 부담하는 대신 독점 서비스 권리를 받은 구조였음
      이런 계약 대부분은 1970년대나 1980년대 초에 체결됐고, AT&T나 지역 벨 운영회사에 있던 계약을 사실상 모방한 형태였음
    • 제한적인 경험상 실제 기업 고객에게도 이런 일은 흔함. 상업용 ISP 서비스에서 BGP 서비스로 가는 건 단순 상향 판매가 아니라 캐리어 상호접속이라는 완전히 다른 제품군이기 때문임
      보통 ISP 입장에서는 대역폭 과금이 크게 줄어 매출이 낮아지므로 영업 인력이 잘 훈련되어 있지 않고, 일반 채널로 접근하기 어렵다. 하지만 일단 구축되면 훌륭함. 라우터를 재부팅했을 때 ISP가 먼저 전화하는 상황을 상상하면 됨

  • 네트워크 스택에는 매료됐지만, Illustrated TCP/IP를 읽고 tcpdump를 이해하는 척하는 수준까지밖에 못 가봤음. BGP 같은 걸 직접 만져보고 싶은데 어디서 시작하면 좋을지 궁금함
    대부분은 직장에서 도제식으로 배우는 것 같고, 관련 시스템이 너무 비싸거나 기업 안에 잠겨 있어서 독학에 맞지 않는지 모르겠음

    • 시작 조언이 의외로 비기술적이지만, 미국에 있다면 아직 없다면 LLC를 세우는 걸 추천함. 거창할 필요 없이 주 정부 온라인 양식으로 충분할 수 있고, Colorado에서는 기본 형태가 연 25달러임
      ARIN과 이야기하고 ASN을 받으려면 어떤 형태의 사업체가 있으면 훨씬 수월함
      ASN이 생기면 다른 네트워크에 의존하지 않고 IP 블록을 “소유”할 수 있는 주체가 생김. 그다음 Neptune Networks 상품을 보면 합리적인 월 비용으로 트랜짓을 허용하는 인스턴스를 빌릴 수 있음. 다만 가장 작은 인스턴스는 전 세계 인터넷의 전체 BGP 테이블을 저장할 RAM이 부족한데, 그 의미를 알게 될 때쯤 중요해짐
      지역 코로케이션을 알아보기 전에도 저렴하게 많이 배울 수 있음
    • 처음에 깜빡했는데, https://dn42.dev는 여기 관련 기술을 많이 연습해볼 수 있는 훌륭한 놀이터임
    • 맞음, 이런 것들은 직장에서 배우는 경우가 많지만 적절한 도구와 자료, 약간의 비용만 있으면 정말 멀리 갈 수 있음. 요즘은 오픈소스 구현도 많아서 시작하기 쉬움
      이 분야의 장점은 거의 모두 개방 표준 위에 있다는 점임. RFC 791(IP), 793(TCP), 4271(BGP4), 9499(DNS 개요) 등 원래 RFC와도 멀지 않음. 건조하긴 하지만 대체로 핵심 자료임
      Stevens의 책도 저수준 이해에 아주 훌륭하니 좋은 출발임. 이후에는 직접 만들어봐야 함
      가상화 도구로 VM 두 개를 만들고 통신시키고, 링크를 끊고 tcpdump 같은 도구로 고쳐보면 됨. ARP나 IPv6의 NDP가 저수준에서 어떻게 동작하는지 보고, 서브넷팅도 익혀야 함. VLAN 인터페이스를 만들고 802.1q 태그를 붙이고, 여러 VLAN 간 라우팅을 해보고, 다시 망가뜨려보면 됨
      기본 OSPF 영역을 만들고, 사설 ASN 두 개 사이에 BGP 인접성을 구성하고, 서로 다른 프로토콜 사이에 경로를 재배포해보면 좋음. DNS 같은 상위 서비스, 로컬 애니캐스트 실험망, 로드 밸런서와 웹 서버도 만져보면 됨. 만들고, 부수고, 고치고, 반복하는 게 전문가들이 매일 하는 일과 크게 다르지 않음. BIRD, quagga, nginx, haproxy, ip/nftables, dnsmasq/powerdns 같은 소프트웨어를 쓰면 됨
      소프트웨어 쪽을 충분히 해보고 실제 하드웨어를 만지고 싶어지면 Quanta/QCT, Edge-core 같은 중고 화이트박스 스위치를 eBay에서 몇백 달러 이하로 구해보면 됨. ONIE 네트워크 OS를 올리고, 오픈소스라면 Sonic, 유료도 괜찮다면 Cumulus를 써서 실제 장비를 다뤄보면 됨
      SFP 트랜시버, 광섬유 모드, 직접 연결 케이블, 포트 채널도 익힐 수 있음. fs.com이나 eBay에서 저렴한 트랜시버와 광 패치 케이블을 구하고, 펌웨어를 조회해 송신 전력, 오류율, 시스템 정보를 확인해보면 됨
      LLC를 만들고 ARIN에서 ASN부터 받으라는 조언은 기초가 없을 때는 시간과 돈을 낭비하고 산만해질 수 있으니 무시하는 편이 좋음. 먼저 풍부한 자원으로 배우고, 다음 단계가 필요하다고 확신이 들면 그때 하면 됨
      이 업계의 많은 것처럼 들여다볼수록 복잡성이 프랙털처럼 커질 수 있음. 압도당하지 말고 한 단계씩 가며, 망가뜨리는 걸 두려워하지 않으면 됨. 고치는 과정에서 가장 잘 배움

  • FTTH에서 과가입이 어떻게 동작하는지 궁금함. 광 네트워크는 잘 모르지만, 각 가입자가 자기 파장이나 대역폭을 담는 파장 범위를 갖고 서로 겹치지 않는다고 생각했음
    그렇지 않다면 수동 광 네트워크가 어떻게 동작하는지 감이 안 옴

    • 일반적인 수동 광 네트워크에서는 PON 포트 하나가 PLC 분배기를 통해 128개 클라이언트에 연결됨. 특정 파장을 넣거나 빼는 WDM 분배기와 달리, PLC 분배기는 전체 신호를 단순 분할함
      내가 일하는 곳에서는 3단 분배기를 쓰는 4-4-8 구성임
      OLT는 각 ONU/ONT가 송신에 쓸 수 있는 시간 할당량을 알려줌. 각 ONT는 서로 방해하지 않도록 차례로 송신함. 이 계산에는 OLT와 ONT 사이 거리도 들어가는데, 지리적 위치가 다르므로 각 ONT의 지연 시간도 달라짐
      ONU는 전송할 데이터가 많으면 추가 송신 시간을 요청할 수 있음. OLT가 할당하는 시간은 ISP가 보장하는 최소치인 CIR와 가입자 서비스 기준 최대치인 PIR에 따라 달라짐
    • 검색할 핵심어는 GPON임. 다중화되어 있고, 각 가입자는 공유 파장 안에서 몇 개의 시간 슬롯을 받음
      가입자들의 송신이 충돌하지 않는 이유는 시간 슬롯이 겹치지 않기 때문임

  • Verizon은 일단 회선이 올라가면 엄청난 마진을 남기나 봄. 맨홀에서 일주일 동안 직원 4명과 경찰 배치까지 들여 광섬유 접속 비용을 감수할 정도니까

    • 2015년에 Time Warner Cable은 주거용 초고속 인터넷 서비스에서 97% 이익률을 낸다고 증언했음. Verizon도 꽤 괜찮게 벌고 있을 것 같음

  • 회사가 이 비용을 다 내는 데 동의했다는 게 믿기 어렵지만 멋짐. 부럽다

  • 상업용 건물에 DIA를 들일 때 겪은 과정과 매우 비슷함. ISP는 비즈니스 파크 안에서 반 마일 광섬유를 당기는 데 6만 달러를 썼다고 했고, 우리는 그 비용을 내지 않았음
    우리 랙에는 ISP 장비가 하나뿐임. Verizon은 정말 조직도를 그대로 배송하는 것 같음
    DEMARC에서 서버실까지 광섬유를 깔도록 우리 계약업체에 비용을 냈는데, 알고 보니 ISP가 무료로 해줬을 수도 있었다고 함
    그리고 세 곳의 비즈니스 회선 제공업체에서 받은 고객 지원 품질은 정말 뛰어났음. 실제로 무슨 일이 벌어지는지 아는 엔지니어에게 전화할 수 있다는 게 놀라움. 돈 낸 만큼 받는다는 말이 맞음

    • 약 15년 전 $MEGACORP에서 일할 때 연구실에 OC-48 회선이 들어와 있었고 문제가 생겼음. 20년 가까운 지속적 감원 탓에 우리 쪽에서 누가 그 회선을 책임지는지 정보가 완전히 사라진 상태였음
      지하실에 내려가 보니 경계 장비에 희미한 UUNET 스티커가 있었지만 회선 ID는 없었음. 검색해보니 여러 기업 인수를 거쳐 이제 Verizon 소유가 되어 있었음
      Verizon Business에 전화해 상황을 설명하자, 담당자가 한 시간 동안 통화하며 회선을 찾아줬음. 등록 주소는 건물 앞 도로의 맨홀이었음
      기술자가 출동했고 약 한 시간 뒤 복구됐음. 다시 같은 일을 겪지 않도록 경계 장비에 새 회선 ID 라벨도 붙여줬음

  • 저자가 이걸 큰일처럼 여기는 게 재미있음. 우리는 의사들 집에 이런 작업을 꽤 자주 함

    • 왜 하필 의사들에게 BGP가 포함된 상업용 인터넷 서비스가 필요한지 궁금함
답변달기