ChatGPT 및 API에서 발생한 대규모 장애

 (status.openai.com)
3P by GN⁺ | ★ favorite | 댓글 2개
  • 11월 8일 5:42AM~7:16AM PT 동안 OpenAI의 ChatGPT와 API 전반에서 요청 상당수가 502 또는 503 오류로 실패해, 모든 모델과 API 엔드포인트가 영향을 받음
  • 라우팅 계층 노드가 메모리 한계에 도달하며 준비 상태 검사에 실패했고, 충분한 노드가 unavailable 상태가 되자 유입 트래픽을 처리할 용량이 부족해짐
  • 당일 오전 completion 요청이 이전 어느 날보다 크게 늘면서, 기존 메모리 문제가 서비스 전체 장애로 번지는 tipping point가 됨
  • 복구는 유입 트래픽 제한, 서비스 대규모 재배포, 트래픽 재개를 단계적으로 진행하는 방식이었고, responseBuffer 재사용 수정 후 메모리와 CPU 사용량이 3배 개선됨
  • OpenAI는 메모리 한도 조정, rate limit 기반 부하 차단, 용량 증설을 적용했으며, 메모리 알림과 자동 확장(auto scaling) 구성을 추가할 예정임

장애 범위와 직접 원인

  • 11월 8일 5:42AM~7:16AM PT 사이 OpenAI 요청의 상당 부분이 502 또는 503 오류로 실패함
  • 장애 기간 동안 모든 모델과 API 엔드포인트에서 큰 폭의 실패가 발생함
  • 직접 원인은 라우팅 계층 노드가 메모리 한계에 도달하고 준비 상태 검사에 실패한 것임
    • 서비스 내 충분한 수의 노드가 unavailable 상태가 됨
    • 유입 트래픽을 처리할 충분한 용량이 남지 않음
    • 서비스가 자체적으로 복구하지 못함
  • 그날 오전에는 이전 어느 날보다 completion 요청이 훨씬 많았고, 이것이 장애를 유발한 tipping point로 작용함

복구 조치와 재발 방지

  • 즉시 대응은 세 가지를 함께 진행하는 방식이었음
    • 유입 트래픽 제한
    • 서비스 대규모 재배포
    • 트래픽을 천천히 다시 증가시킴
  • 만성적인 메모리 문제의 근본 원인은 루프 안에서 responseBuffer를 재사용하지 않고 계속 새로 할당한 데 있었음
    • 요청이 많을 때 GC가 뒤처지는 문제가 발생함
    • 수정은 버퍼를 미리 할당하고 재사용하는 방식으로 이뤄짐
    • 배포 이후 메모리와 CPU 사용량 모두 3배 개선됨
  • 이미 적용된 추가 조치:
    • 설정된 메모리 한도를 적절한 수준으로 조정해 서비스에 상당한 headroom이 생김
    • 트래픽을 더 부드럽게 줄여 받기 위한 rate limit controls를 구현함
    • 추가 예방 조치로 서비스 용량을 늘림
  • 앞으로 적용할 변경:
    • 메모리 동작이 서비스 문제로 커지기 전에 잡기 위한 알림 변경을 구현함
    • 과거에는 용량 추가가 upstream service에 부정적 영향을 줄 수 있어 이 서비스에 자동 확장을 켤 수 없었음
    • 해당 근본 문제가 해결되면서 OpenAI는 이 서비스에 자동 확장을 구성할 예정임
  • 장시간 API 장애는 고객 제품과 비즈니스에 영향을 주며, 이 규모의 장애는 특히 피해가 클 수 있음

함께 보면 좋은 글 β

xguru   [-]

이번 개발자행사 영향으로 뭔가 트래픽이 몰렸나 보네요.
확실히 GPT-4 Turbo는 뭔가 아웃풋이 많이 달라졌습니다.
GN+ 요약도 프롬프트를 거의 수정 안했는데 형식이 바뀌어 버렸네요.

답변달기
GN⁺   [-]
Hacker News 의견들

  • ChatGPT가 다운돼서 오늘 처음으로 Google Bard를 써봤는데, 솔직히 꽤 괜찮았음
    ChatGPT와는 설명하기 어려운 미묘하게 다른 말투가 있음

    • Bard를 추천받는 일이 많지만, 거의 매번 틀리거나 오해를 부르는 정보를 돌려줌
    • Bard는 학습 데이터와 학습 방식이 다르니, 그것만으로도 ChatGPT와 다른 이유를 어느 정도 이해할 수 있음
      사용자 입장에서는 원하는 답을 끌어내기 위한 유도 방식이 서로 다르고, 질문법이나 프롬프트 엔지니어링도 달라져야 함
    • 같은 이유로 오늘 처음 써봤는데, 더 느리고 코딩에는 훨씬 약했음
      SQL 집계 쿼리를 물어봤을 뿐인데 쿼리 요구사항 일부를 그냥 무시했음
    • Bard는 필터가 지나치게 공격적인 편임
      판타지 세계의 도둑 아이디어를 브레인스토밍해도, 예를 들어 Lies of Locke Lamora 같은 분위기인데도 자주 협조를 거부함
      사용자에게 보여주기 전에 출력에 어떤 휴리스틱 필터를 돌리는 것 같고, 프롬프트를 조금 바꾸면 통과되기도 함
      ChatGPT 쪽은 판타지 범죄가 실제 범죄 실행 정보가 아니라는 정도는 알아차릴 만큼 시스템이 똑똑함
    • https://you.com/chat을 써봤는데 나쁘지 않았음
      GPT4 모델은 무료 한 달 체험 쿠폰 "codegpt"가 있고, GPT3.5는 무료임

  • Phind는 코딩용으로 꽤 좋고, 추가 코드 토큰 수십억 개로 학습한 LLama 2 기반이라 아직 살아 있음: https://www.phind.com/s

    • Phind를 사람들이 어떻게 쓰는지 궁금함
      최근 Phind와 직접 대화해봤는데, 내게 도움을 주려면 내 코드베이스를 읽어 들여야 내가 말하는 모델들을 이해할 수 있지 않겠냐고 했음
      코드베이스를 모르면 가장 사소한 함수 말고는 제대로 쓸 수 없다고 봄
      Phind도 그렇다고 답했지만, 실제로 코드베이스를 읽어 들일 수는 없다고 했음
      말은 꽤 조리 있고 내가 하는 말을 이해하는 것처럼 보였음
      함수가 사소하지 않은 클래스를 매개변수로 받거나 반환하는 경우에 도움을 줄 수 없다면, 도대체 어디서 가치가 나오는지 모르겠음
    • Phind에서 좋은 결과를 많이 얻었음
      최신 미세조정 모델인 V7은 사용감이 좋았고, 웬만한 오픈소스 모델보다 나았음
      다만 링크 끝에 s가 붙어 있어서 404가 남
    • Phind는 일관성 문제가 조금 있었지만, 전체적으로 큰 불만은 없음
      큰 프롬프트에서 응답이 안 나오거나 답변 옵션이 사라지는 작은 결함이 가끔 있었음
      전반적으로는 ChatGPT와 함께 아이디어를 주고받거나 다른 관점을 얻는 데 잘 맞음
      정보를 가져온 웹사이트를 보여주는 주석 기능도 아주 잘 만들었음
    • Phind도 내려간 것 같음
      "The inference service may be temporarily unavailable - we have alerts for this and will be fixing it soon."
    • 방금 써봤음: https://www.phind.com/search?cache=on5whfczqko9igz84bvacksk
      내가 보기엔 전체가 환각임. 문서 링크를 붙여주는 점은 좋음
      수정: astrojs를 vite로 바꾸니 아주 좋고 정확한 답이 나옴: https://www.phind.com/search?cache=rh6s7pydzi3312b7rf43i7cm
      꽤 인상적임

  • 와, 진짜 식은땀이 났음
    출시 약 48시간 전에 대부분 서비스를 Azure OpenAI로 막 옮겼는데, 이번 장애의 영향은 받지 않았음
    정말 안도했음

    • 흥미롭네. 그러면 Azure OpenAI는 영향을 안 받았다는 건가?
      OpenAI API와 시스템 업데이트를 같은 시점에 받는지, 가격도 같은지 궁금함

  • 지금이야말로 HuggingFace가 여러 오픈소스 채팅 모델을 호스팅한다는 걸 말하기 좋은 때임
    개인적으로 좋아하는 모델 중 하나는 Mistral 7B의 미세조정 버전임: https://huggingface.co/spaces/HuggingFaceH4/zephyr-chat

    • 예전에 로컬 대규모 언어 모델을 조금 실험해봤지만, 당시에는 3080 Ti에서 돌릴 만큼 작고 괜찮은 모델을 찾지 못했음
      이 모델은 겨우 사용할 만한 속도로 실행할 만큼 작고, 초당 1토큰 조금 넘게 나오며, 지금까지는 GPT3.5에 거의 가까운 수준으로 보임
    • 무료라면 어떻게 돈을 버는지 궁금함

  • Bard가 빛날 기회라고 말하려 했는데, Bard도 장애가 난 것 같음

    • Bard를 써보러 갔는데, 화면이 깔끔하고 UI가 정말 좋았음
      응답도 잘 정리되어 보이고 보기 좋았음
      인공지능만 OpenAI만큼 좋았다면 좋았을 텐데
    • 은박지 모자를 챙겨야 할 듯함. 이게 우연일 리가 없음 :D
    • "Something went wrong. Sorry, Bard is still experimental"이라고 뜸
      기회를 날린 것 같음
    • Bard는 아직도 너무 겁먹은 상태이고, 심지어 아직 국제 서비스도 아님
    • 서로 대화하기 시작한 듯함

  • 갑자기 조용해진 수다쟁이들을 기준으로, 누가 ChatGPT로 HN 댓글을 쓰고 있었는지 보려면 지금 HN 댓글을 긁어보기 딱 좋은 때임

    • 헤헤. 대규모 언어 모델로서, 다른 인간들이 이 인간의 말을 따르면 안 된다고 생각합니다 ;)

  • 장애를 알아차렸음
    많은 사람이 ChatGPT를 자전거 보조바퀴처럼 쓰다가, 보조바퀴 없이 타는 법을 잊어버리는 느낌임

    • 그 비유라면 보조바퀴보다는 목발에 더 가까워 보임
      그것 없이는 탈 수 없다면, 아무것도 훈련시킨 게 아님
    • 오히려 이런 느낌임
      전통적인 오토바이를 만들고 있는데, 누군가 전기자전거 엔진을 제안하고, 아직 내연기관도 없으니 이걸로 데모나 시장 출시를 앞당긴 뒤 나중에 진짜 엔진으로 바꾸자고 생각함
      그런데 핸들바를 완성할 즈음 전기자전거 엔진은 네 번 업그레이드되어 어떤 내연기관보다 좋아져 있음. 그러면 굳이 바꿀 이유가 없어짐
      시장에 도착할 때쯤 그 엔진은 더 여러 번 업데이트되어 완전 자율주행에 날 수도 있음
      게다가 자가복제까지 가능해져서, 이제 구매자들이 당신을 필요로 하지 않을 수도 있음

  • 이제 수백만 명의 주니어 개발자가 매뉴얼을 읽어야 할 것임
    대단한 날임

    • ChatGPT로의 전환과 의존이 얼마나 갑작스럽고 완전했는지 놀라움
      우리 직업의 마지막 날들이니 즐기자
    • 매뉴얼을 읽는 건 공룡들이나 하는 일이고, 이제는 구글링해야 함

  • 오늘 Bard를 써봤는데, 많이 좋아졌음

    • 그러길 바람
      아직도 Bard의 문제들이 놀라움
      지난달에는 어떤 사실에 대해 거짓말을 하더니, 더 자세히 물어보자 이메일을 보냈다고 주장했음
      그리고 실제로는 이메일을 보내지 않았고 자신이 보낼 수 없다는 걸 “알고” 있었다며 사과했음
      ‘모른다’고 말하지 못하고 대신 거짓말하는 친구 같음
      리스본의 ‘Christ the King’ 동상 안에 시장이 있었던 적이 있냐고 물었고, 현지인에게 들은 소문을 확인하려던 것임
      실제로는 없었는데 Bard는 있다고 믿었음

  • 다행히 OpenAI에는 서비스 수준 협약이 없음: https://help.openai.com/en/articles/5008641-is-there-an-sla-for-latency-guarantees-on-the-various-engines

    • GPT의 열렬한 팬으로서 말하지만, OpenAI가 회사로서는 얼마나 형편없는지, 그런데도 우리가 그 끔찍한 플랫폼에 얼마나 빨리 올라탔는지 놀라움
      9개월 전 새 직장에서 업무용 OpenAI 계정에 로그인할 수 없는 버그가 있었음
      지원 요청에 답하는 데 6개월이 걸렸고, 내 문제와 전혀 상관없는 일반 복붙 답변을 받았음
      우리는 엄청난 돈을 쓰고 있었지만 응답을 받거나 전화로 연결할 사람을 찾을 수 없었음
      결국 동료들에게 모든 키를 대신 만들어 달라고 해야 했음
      그러다 약 8개월 뒤 어느 날 갑자기 아무 이유 없이 다시 작동하기 시작했음
      그 직후 Azure OpenAI Service로 옮겼고, 진지한 기업이 쓰기에는 OpenAI 플랫폼이 너무 처참하게 나빴기 때문임
답변달기