비가 올 때만 작동하는 Wi-Fi

• 10년 가까이 안정적이던 집의 장거리 Wi-Fi 브리지가 어느 날부터 맑은 날에는 90~98% 패킷 손실을 내고, 비가 오면 정상으로 돌아오는 이상한 장애를 보임
• 집 내부 라우터와 브리지의 로컬 장비는 정상이라 문제 범위가 사무실과 집을 잇는 가시선 무선 링크로 좁혀짐
• 재부팅, 장비 노후, 케이블, 전원 어댑터, 펌웨어, 안테나 커넥터 부식을 확인했지만 원인은 아니었고, 실제 장애물은 두 안테나 사이로 자란 이웃집 나무였음
• 비가 오면 잎과 가지에 고인 물 무게로 나무가 처져 신호 경로에서 벗어나고, 비가 그친 뒤 약 15분 동안 다시 올라오며 링크를 방해함
• 해결은 기존 802.11g 장비를 간섭에 더 강한 802.11n 장비로 교체하는 것이었고, 새 안테나 설치 후 비가 오지 않아도 링크가 정상 연결됨

---

비가 와야 살아나는 인터넷

• 비가 오지 않을 때 집 인터넷은 웹사이트 ping에서 98% 패킷 손실을 보였고, 연결은 살아 있어도 실제 사용은 어려운 상태였음
• 비가 시작된 뒤 5분 안에 패킷 손실률이 0% 로 떨어졌고, 비가 약 1시간 지속되는 동안 인터넷도 정상으로 유지됨
• 비가 그친 뒤 약 15분이 지나면 패킷 손실률이 다시 90% 이상으로 올라가 인터넷을 사용할 수 없게 됨
• 이후 며칠 동안 같은 패턴이 반복됨
  • 비가 시작되면 몇 분 안에 연결이 빠르고 안정적으로 바뀜
  • 비가 멈추면 15분 안팎으로 연결이 다시 망가짐

집 네트워크 구조

• 집은 일반 가정용 회선 대신, 몇 블록 떨어진 아버지 사무실의 빠른 상업용 인터넷 회선을 공유해 사용하고 있었음
• 사무실과 아파트는 작은 언덕을 따라 떨어져 있었고, 아파트가 2층으로 더 높은 위치에 있었음
• 두 지점 사이에는 line-of-sight 방식의 Wi-Fi 브리지가 구성돼 있었음
  • 양쪽에 고이득 지향성 Wi-Fi 안테나를 서로 마주 보게 설치함
  • 이 구성은 거의 10년 동안 비가 오든 맑든 문제없이 동작함

장애 구간 좁히기

• 집 안의 로컬 Wi-Fi 라우터는 정상 동작했고, 패킷 손실도 없었음
• Wi-Fi 브리지의 집 쪽 장비도 정상으로 보였음
• 반면 브리지의 원격 쪽 장비와 그 뒤의 네트워크 장비를 ping하면 90% 이상 패킷 손실이 발생함
• 이 결과로 문제는 집 내부 Wi-Fi가 아니라 사무실과 집 사이의 무선 브리지 링크에 있는 것으로 좁혀짐

물리 작업이 된 하드웨어 디버깅

• 먼저 모든 장비를 껐다 켰지만 문제가 해결되지 않음
• 이후 네트워크 장비를 하나씩 점검함
  • 장비 노후 고장 여부를 확인했지만 문제가 아니었음
  • 케이블이 빠지거나 느슨해진 것도 아니었음
  • 전원 어댑터 고장도 아니었음
  • 자동 펌웨어 업데이트 실패도 아니었음
  • 야외에 있던 안테나 커넥터 부식도 원인이 아니었음
• 하드웨어 점검에는 사다리를 오르고, 10년 동안 건드리지 않은 케이블을 추적하고, 집과 사무실을 여러 번 오가는 물리적 작업이 필요했음

진짜 원인: 신호 경로에 들어온 나무

• 여러 번 오가던 중 동네가 많이 변했고, 예전에는 어린 나무였던 것들이 크게 자랐다는 점이 눈에 들어옴
• 집 쪽 Wi-Fi 브리지 안테나가 설치된 구조물에 올라가 사무실 쪽 안테나 방향을 봤을 때, 안테나가 보이지 않았음
• 이웃집 나무의 꼭대기 가지가 두 안테나 사이의 가시선 경로를 가로막고 있었음
• 나무는 신호를 방해할 만큼만 간신히 높게 자란 상태였음

비가 오면 왜 고쳐졌나

• 비가 오면 물이 잎과 가지에 고여 나무를 아래로 누름
• 그 무게 때문에 가지가 처지면서 Wi-Fi 안테나 사이의 신호 경로에서 벗어남
• 비가 그친 뒤에는 물이 천천히 떨어져 나가고, 약 15분 동안 나무가 다시 올라오면서 신호 경로를 다시 막음
• 직선 경로 밖의 물체도 간섭을 만들 수 있으며, 좋은 신호 품질을 위해서는 안테나 사이의 Fresnel zone이 장애물 없이 확보되는 것이 바람직함
• 실제 환경에서는 완벽한 Fresnel zone 확보가 어렵기 때문에 Wi-Fi 장비는 오류 정정 같은 기법으로 완전하지 않은 조건에서도 동작함

해결: 802.11g에서 802.11n으로 교체

• 기존 장비는 802.11g였고, 해결책은 802.11n 장비로 업그레이드하는 것이었음
• 802.11n은 새 수학과 물리 기반 기법으로 신호가 간섭에 더 강하게 동작하도록 함
• 예를 들어 빔포밍(beamforming) 은 여러 안테나가 같은 주파수로 송신하면서 신호를 형성하고 조향해 유효 범위와 신호 품질을 개선하는 방식임
• 새 장비가 도착한 뒤 안테나를 교체하고 나사, 케이블, 케이블타이 작업을 마치자 Wi-Fi의 “link established” 표시등이 다시 초록색으로 켜짐
• 새 링크는 비가 오지 않는 상태에서도 정상적으로 연결됨

[GN⁺]

Hacker News 의견들

• 같은 계열의 고전 이야기인 “500마일 밖으로 이메일을 보낼 수 없다”를 먼저 링크하는 사람인지 모르겠음

  http://www.ibiblio.org/harris/500milemail.html

  또는 Magic/More Magic 스위치 이야기도 있음

  http://www.catb.org/jargon/html/magic-story.html

  물리적 현실이 우리가 머릿속에 만든 기계의 추상 모델과 부딪힐 때가 재미있음

  • 이 대목은 정말 역대급으로 좋아함:

    "Anyway, I asked one of the geostatisticians to look into it--"

    "Geostatisticians..."

    "--yes, and she's produced a map showing the radius within which we can send email to be slightly more than 500 miles. There are a number of destinations within that radius that we can't reach, either, or reach sporadically, but we can never email farther than this radius."

    전문가들이 자기 전문성을 동원해 이런 현실 문제를 분석하고, 터무니없이 철저한 설명을 내놓을 때가 정말 좋음

  • 최근에 비슷한 일이 있었음. 오락실에서 핀볼 게임을 하고 있었는데, 특정 램프 샷이 낮에는 인식되다가 어느 순간부터 안 됐음

    알고 보니 센서가 광학 빔 방식이었고, 수신부가 창문으로 들어오는 직사광선을 그대로 받고 있었음. 계속 적외선을 받고 있으니 핀볼이 빔을 가려도 차단됐다고 보고하지 않았던 것임. 해 각도가 몇 도 더 바뀌자 바로 다시 동작함

  • 또는 “바닐라 아이스크림에 알레르기 있는 자동차” 이야기도 있음 [1]

    [1] https://news.ycombinator.com/item?id=37584399

  • 500마일 이메일 이야기는 결국 우리가 근본적으로 물리 법칙의 지배를 받는다는 걸 떠올리게 해주는 가장 좋아하는 사례 중 하나임. 웃기지만, 네트워크가 아무리 빨라도 지연 시간은 결국 빛의 속도에 묶인다는 사실을 상기시켜 줌

  • 500마일 이야기를 완전히 잊고 있었음. 제일 좋아하는 문장은 이거임:

    If the problem had had to do with the geography of the human recipient and not his mail server, I think I would have broken down in tears.

• 가짜인지는 모르겠지만 실제로도 가능함. 2010년쯤 WISP에서 일할 때 비슷한 일이 있었음

  매일 밤 약 10분 동안 본사에서 중계탑으로 가는 연결이 불안정해졌음. 당시 Mikrotik 5GHz 카드 두 장과 큰 안테나를 쓰고 있었음

  컴퓨터 앞에 앉아 있으면 해가 진 뒤 몇 분 후부터 모니터링 경고가 들어오기 시작했음. 일주일 동안 같은 사양으로 하드웨어 교체까지 포함해 온갖 걸 시도하다가 너무 실망해서 해 질 무렵 담배를 피우러 나갔음

  그때 건물 주변의 거대한 조명들이 광센서에 의해 켜졌고, 즉시 휴대폰으로 SMS 경고가 왔음. 건물 안으로 뛰어 들어가 외부 조명을 껐더니 바로 패킷 손실 0% 가 됨

  알고 보니 건물 관리 쪽에서 전주에 외부 램프를 전부 새 나트륨 증기등으로 바꿨고, 어떤 이유에서인지 켜진 뒤 첫 5~10분 동안 5GHz 대역에 매우 강한 간섭을 일으켰음. 램프를 바꾸니 해결됨

  • “어떤 이유에서인지”라기보다, 안정기와 전구 자체가 무선 주파수에서 꽤 시끄럽고, 가열되는 동안은 더 심하게 노이즈를 냄
  • 전용 가시선 네트워크 구성인데 로컬 패킷 손실도 없었다면, 가시선 문제가 제일 먼저 확인되지 않았다는 게 오히려 놀라움

• 호주의 한 이동통신사에서 일할 때 겪은 장거리 마이크로파 링크 문제가 거의 똑같이 떠오름. 그 회사는 마이크로파 링크 체인에 꽤 많이 의존했고, 이 특정 링크는 고정 회선을 구하기 어렵고 현지 엔지니어도 주변 환경 변화를 잘 모르는 북부 퀸즐랜드에 있었음

  매주 평일과 토요일 7시부터 3시까지 링크가 간헐적으로 계속 끊겼고, 그 이후와 일요일에는 멀쩡했음. 원인은 그 시간대에 마이크로파 경로 한가운데서 새 주거 건물을 짓는 크레인이 움직였기 때문이었음. 누군가 현장에 가볼 기회가 생기기 전까지 몇 주 동안 온갖 이론과 시간이 낭비됨

  • 놀라운 이야기임. 군대가 좋은 레이더 커버리지가 중요한 지역에 풍력 터빈을 원치 않는다는 사실도 떠오름. 예를 들어 핀란드 방위군은 러시아 국경 근처 어디든 민감해함. 블레이드가 금속이 아니어도 여전히 노이즈와 레이더 그림자의 원인이 됨

  • 직장에서 보는 대부분의 디버깅이 떠오름. 사람들이 이론을 세우고 인터페이스에서 무슨 주문 같은 작업을 함

    로그 파일이나 오류 설명을 읽으면 보통 10초 만에 원인과 해결책이 분명해지는데도 말임

  • 그 정도였으면 부시 파일럿을 불러 선로를 따라 비행하게 했을 것 같음

• 제목은 Fleetwood Mac 말장난이었을 수도 있음

  o/~ Wi-Fi's only working when it's rainin'
  Players only stutter when they're buff'rin'
  Websites, they will page load oh so slooooww
  When the rain falls down, you can download

• 특이한 인터넷 구성은 몇 문단 뒤에 묻어둘 정보가 아니라 꽤 중요한 정보임. 그 설명이 나오고 나면, 네트워크 장비 전원이나 케이블을 따라가며 노트북을 여기저기 꽂아보기 전에 안테나를 막는 게 없는지부터 확인했어야 할 것처럼 보였음

  사후 판단은 쉽지만, 그 정보가 추가되자마자 결말을 맞혔음

  • 같은 생각이었지만, 아마 곧바로 Wi-Fi 송신기까지 떠올리진 못했을 것 같음

    여러 인터넷 문제를 수십 년 디버깅하고 나니 이제는 먼저 “원천”이 동작하는지 확인함. 예를 들어 노트북을 모뎀에 직접, 다른 케이블로 꽂아봄. 그게 되면 “선”을 따라 내려가다가 안 되는 지점을 찾음. 보통 범인을 꽤 빨리 찾고, ISP 문제인데 라우터 설정을 건드리는 일도 막아줌

    원문 상황에서는 사무실 인터넷은 멀쩡하고 집 인터넷만 문제라는 걸 깨닫는 순간, 둘 사이의 연결이 다음으로 볼 명백한 지점이었을 것임

    그래도 재미있는 이야기이고, 비가 인터넷 동작 여부를 결정한다는 건 여전히 꽤 예상 밖임

  • 나도 같은 느낌이었지만, 글쓴이를 변호하자면 그 정보가 아마 머릿속 뒤편에도 묻혀 있었을 것임. 이런 구성을 몇 년 쓰다 보면 세부 사항 상당수가 자기 자신에게도 보이지 않게 되고, 마음이 굳이 전면으로 끌어올리지 않는 “당연한” 배경 정보가 됨

  • 물리적 구성을 설명하자마자 속으로 “나무!”라고 외치고 있었음

  • 맞음, 개인적으로도 글에서 너무 깊이 묻혀 있었다고 봄

    처음에는 전체 맥락이 없어서, 비가 외부 신호 간섭을 막아 AP 채널이 바쁘게 보이던 현상이 사라진 건가 생각했음

• 예전에 1998년식 Volkswagen Wolfsburg Edition을 갖고 있었음. 매끈하고 선명한 빨간색이라 어디를 가도 눈에 띄는 차였고, 도시 근로자라 기차역에 주차한 뒤 출근하는 게 편했음

  어느 특히 지친 날, 기차에서 내려 주차장으로 걸어가 차를 보니 이상하게도 모든 창문이 없어져 있었음. 처음에는 누가 차를 훼손했다고 생각해 겁이 났지만, 차 주변 어디에도 유리 조각이 없었음. 자세히 보니 창문이 그냥 내려가 있었고, 다시 올리고 집으로 가며 이상한 일은 잊어버렸음

  몇 주 뒤 토요일 아침, 뒷마당 현관에서 커피를 마시고 있는데 하늘이 어두워지고 가벼운 비가 내리기 시작했음. 빗방울이 지붕을 두드리는 소리 사이로 차 창문이 내려가는 특유의 윙 소리가 들렸음

  앞쪽으로 달려가 보니 Volkswagen의 창문이 저절로 내려가 비가 차 안으로 쏟아지고 있었음. 결국 창문의 이상 행동은 전기 계통의 단락 때문이라는 걸 깨달았음

  그날 이후로 이 차는 그냥 멋진 빨간 차가 아니라, 예상 못 한 창문 장난으로 긴장을 놓지 못하게 하는 나름의 별난 성격을 가진 차가 됨

  • 2015년식 Opel Astra를 갖고 있는데, 일부 국가에서는 Vauxhall로도 팔리는 것 같음. 어느 날 비슷하게, 아무것도 하지 않았는데 모든 창문이 저절로 내려가 있는 걸 봤음

    처음 일어난 건 음악 페스티벌에서 캠핑 장비를 차에서 잔뜩 옮긴 뒤였음. 리모컨 키로 잠그고, 키를 주머니에 넣고, 마지막 짐을 캠프로 옮겼음. 한 시간쯤 뒤 누군가 내 차 창문이 완전히 열려 있는데 의도한 거냐고 물었고, 당연히 아니었음

    다음은 장을 보고 집에 돌아온 뒤였음. 문을 잠그고 식료품 상자를 들고 집에 들어가 풀어놓은 다음 창밖을 보니 주차장의 차 창문이 전부 내려가 있었음. 펌웨어 결함 같은 건가 생각했음

    며칠 뒤 같은 일이 또 일어났음. 장을 보고, 짐을 들고 들어가고, 창밖을 봤더니 차가 스스로 창문을 완전히 내려놓았음. 며칠 사이에 같은 상황에서 같은 결함이 두 번? 확률이 얼마나 되겠나 싶었음

    그러다 갑자기 깨달았음

    주머니에 물건을 꽤 많이 넣고 다니는데, 리모컨 버튼이 있는 차 키도 그중 하나였음. 무거운 물건이나 상자를 들 때 “잠금 해제” 버튼을 짧게가 아니라 몇 초 동안 실수로 누를 가능성이 꽤 있었던 것임. 그래서 리모컨을 들고 차 앞에 서서 버튼을 길게 눌러 봤더니, 5초쯤 후 모든 창문이 조금 내려가고, 몇 초 더 기다리자 완전히 내려감

    그 뒤로 내 차에 여름 환기를 위해 원격으로 창문을 내리는 흥미로운 기능이 있다는 걸 알게 됨

• 또 다른 고전:

  앉아 있으면 로그인할 수 있고, 서 있으면 로그인할 수 없음

  참고 링크를 찾아봐야겠음

  수정: 여기 한 버전이 있음:

  https://www.reddit.com/r/talesfromtechsupport/comments/3v52p...

  • 그 변형으로, 어떤 단말기에 “print screen” 버튼이 있었고 서 있으면 동작하지만 앉으면 안 된다는 이야기를 읽은 기억이 있음. 아니면 반대였을 수도 있음

    결국 print screen 버튼이 두 개였고, 그중 하나만 동작했으며, 하나는 서 있을 때나 앉아 있을 때 더 잘 보였던 문제였음

    이런 이야기는 말이 전혀 안 되거나 불가능해 보일 때 한발 물러서서 내가 무엇을 잘못 가정하고 있는지 생각하라고 가르치는 고전적인 디버깅 우화임

  • 제목만 보고는 어떻게든 “사무실 의자가 모니터를 끈다”와 관련 있을 줄 알았음. 실제로는 아니었지만, 그것도 좋은 이야기임

    https://news.ycombinator.com/item?id=21978004

    [수정: 이 이야기도 이미 스레드에서 몇 번 언급된 걸 봤음]

  • Mr. Bean 에피소드 중에 TV 옆에 앉아 있을 때만 TV가 동작하는 장면이 있음. 당연히 그 자리에서는 TV를 볼 수 없음. 결국 옷으로 TV 옆에 자기 분신 같은 걸 만들어 두고, 본인은 TV 앞에 벌거벗고 앉아 보는 식으로 해결했던 것 같음

• 몇 년 전 가족을 위해 집에서 차고 건물까지 점대점 Wi-Fi 링크를 설치했음. 작고 PoE 전원이며 꽤 먼 거리도 되는 Ubiquity Nanostation 한 쌍을 지정했음

  집 쪽 장비는 영국식 표준 기와지붕 안쪽에 있었음. 기와가 조밀한 3/4인치이고, 받침목까지 고려하면 1인치가 넘는 두껍고 밀도 높은 재료였음

  다른 쪽은 20m 떨어진 가시선 거리였지만 외부 장착이 금지돼 있었음. 차고 건물에는 포일로 덧댄 Kingspan류 단열재가 있었고, 그쪽 장비를 천창 근처에 겨우 설치해 그럭저럭 동작하게 했음. 이후 거기에 액세스 포인트를 데이지체인으로 물렸음

  모든 게 괜찮다가 천창이 금속 코팅된 것으로 교체되면서 문제가 생김. 비가 오기 전까지는 신호가 겨우 동작했지만, 비가 오면 충분히 망가졌음

  문제가 충분히 성가셔졌을 때 가족과 작전을 짜고, 누군가 주말에 없는 틈에 찾아가 차고 쪽 장비를 밖으로 옮겼음. 지금은 새집처럼 보임. 반대편에는 진짜 새집도 달아뒀음. 가짜 새집은 햇볕에 달궈지지만, 진짜 새집은 항상 그늘에 있음

  • 왜 속임수가 필요했는지 모르겠음. 이 이야기에는 뭔가 빠져 있음

• 최근 겪은 이상한 인터넷 문제 중 하나는 50Mbit 인터넷을 100Mbit로 업그레이드했는데, 노트북은 100Mbit에 거의 도달하지 못하고 홈랩은 속도 테스트에서 쉽게 100Mbit가 나왔던 일이었음

  차이는 홈랩은 물리적으로 연결돼 있고 노트북은 Wi-Fi를 쓴다는 점이라는 걸 깨닫는 데 시간이 걸렸음

  노트북 Wi-Fi는 AP에 약 1.2Gbit로 연결돼 있었고, 다른 기계도 같은 문제가 있었음. 내부 네트워크 속도를 확인해 보니 Wi-Fi 장치에서 홈랩으로 파일을 보내거나 받을 때도 약 90Mbit에서 막혔음

  그래서 AP와 라우터 사이 연결을 보게 됐고, Wi-Fi AP가 라우터에 1Gbit가 아니라 100Mbit로 연결돼 있다는 걸 깨달았음. 기존 케이블보다 보기 좋아서 아무렇게나 쓴 싸구려 CAT7 케이블이 실제 CAT7이 아니었고 100Mbit만 제공했던 것임. 케이블을 바꾸자 해결됨. 찜찜해서 이더넷 케이블을 전부 괜찮은 품질로 교체하기로 했음

  그 “가짜” 케이블이 어디서 왔는지도 기억나지 않음. 아마 언젠가 AliExpress에서 산 잡다한 기기에 딸려온 것이었을 듯함. 쌓아둔 USB 케이블도 비슷한 일이 있었는데, 어디서 왔는지 잊고 있다가 나중에야 겨우 제 기능만 하는 수준이라는 걸 알게 됨

  • 비디오 케이블도 마찬가지임. 1440p/4K와 높은 주사율이나 가변 비트레이트로 가면 HDMI 2.1이나 DP 1.4 인증이 실제로 중요해지기 시작함

    더 나쁜 건 하드웨어가 규격 미달 케이블로도 어떻게든 동작시키려 애쓴다는 점임. 그 결과 화면이 무작위로 검게 깜빡이거나, 노트북을 꽂은 뒤 여러 번 임의로 재연결되는 현상이 생김

  • 나머지 내용을 보면 첫 문장을 읽을 때 헷갈림. 홈랩과 노트북이 서로 바뀌어야 하는 것 아닌가?

• 여기까지 읽고:

  “사무실과 우리 아파트는 몇 블록 떨어져 있었다...”

  이건 분명 가시선 전송일 거라고 생각했음

  1993년 여름에 일하던 회사가 250m 떨어진 두 사무실 사이에 적외선이었던 것 같은 전송 장비를 설치했을 때도 겪었음. 여름 해가 북서쪽쯤에서 송신기 뒤로 지나가면 매일 저녁 약 한 시간 동안 Wi-Fi가 끊겼음