ChatGPT의 난폭한 이상 동작

 (substack.com/garymarcus)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 최근 몇 시간 동안 여러 사용자가 ChatGPT의 이상 동작을 보고했고, OpenAI도 문제를 인정해 서비스 안정성 우려가 커짐
  • 문제의 원인과 수정 시점은 알려지지 않았으며, Gary Marcus는 단정적 추측을 피함
  • Marcus는 “챗봇을 장군으로 키우지 말라”는 2주 전 경고를 다시 꺼내며, 고위험 사용처에서의 권한 부여를 우려함
  • 생성형 AI는 큰 데이터 더미와 숨겨진 프롬프트 조정에 기대는 연금술적 방식에 가깝고, 현재 시스템은 안정성과 안전 보장을 공학적으로 확보하지 못했다고 지적함
  • 더 해석 가능하고 유지보수·디버깅이 쉬운 기술 없이는 신뢰할 수 있는 AI로 다루기 어려움

ChatGPT 이상 동작과 OpenAI의 인정

  • 최근 몇 시간 동안 사용자들이 ChatGPT에서 여러 이상 사례를 보고함
  • Devin Morse라는 철학 박사과정 학생이 X 스레드에 더 많은 사례를 모음
  • OpenAI도 해당 이슈를 인정했지만, 원인과 수정 소요 시간은 알려지지 않음

고위험 영역에 대한 경고

생성형 AI를 “연금술”로 보는 이유

  • 생성형 AI는 가능한 한 큰 데이터 더미를 모으고, 숨겨진 프롬프트를 조정한 뒤 잘 작동하기를 바라는 방식에 가깝다고 비판함
  • 숨겨진 프롬프트 조정에는 “소문이 맞다면”이라는 단서를 붙임
  • 이 접근은 xkcd의 기계학습 연금술 만화와 연결됨

안정성과 안전 보장의 한계

  • 현재 시스템은 안정적이지 않다는 평가를 받음
  • 이런 시스템에 대해 안전 보장을 공학적으로 확보한 사례가 없다고 지적함
  • 오늘의 문제는 빠르게 고쳐질 수 있지만, 그 자체로 경종이 되어야 함

필요한 기술 방향

  • 덜 불투명하고 더 해석 가능하며, 유지보수와 디버깅이 쉬운 기술이 필요함
  • 이런 특성이 있어야 시스템을 더 다루기 쉬운 대상으로 만들 수 있음
  • 신뢰할 수 있는 AI를 위해서는 현재 방식의 불투명성과 불안정성을 줄여야 함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 궁금한 사람을 위한 그럴듯한 비농담 설명으로는, ChatGPT가 백엔드 모델에 요청할 때 frequency/presence penalty를 너무 높게 잡았기 때문이라고 봤음
    API로 그 값을 올려 보면 모델이 같은 식으로 동작함
    문서도 잘 되어 있음: https://platform.openai.com/docs/guides/text-generation/freq...
    OpenAI API에서 생성에 주로 영향을 주는 매개변수는 temperature, top_p, frequency_penalty, presence_penalty 네 가지임: https://platform.openai.com/docs/api-reference/chat/create
    업데이트: 아마 내가 틀렸고, penalty가 아니라 높은 temperature 문제일 가능성이 커 보임
    gpt-4-0125-preview에서 temp = 0으로 “NES용 프린팅 지원 구현에 대한 가상의 HN 댓글을 써 달라”고 했을 때: https://i.imgur.com/0EiE2D8.png 원문 https://paste.debian.net/plain/1308050
    temp = 1.3으로 돌리면 이렇게 됨: https://i.imgur.com/pbw7n9N.png 원문 https://dpaste.org/fhD5T/raw
    마지막 문단이 특히 훌륭함: “Anyway, landblasting eclecticism...”처럼 빈티지 개발 포럼의 비옥한 땅에 더 많은 해커리의 비를 약속하는 흐릿한 구름 같은 문장이 나옴

    • temperature 문제는 아닌 것 같음. 단어만 이상하고 나머지는 여전히 일관적이며, 전체 문서 구조와 문법도 유지하고 있음
      보통 잘못된 LLM 샘플링은 무한 루프에 빠지기도 하는데, 여기서도 그런 사례가 보고되긴 했음
    • 내가 틀렸다면 고쳐 달라: temperature는 전체 시스템이 평범한 결정론적 프로그램이 되지 않게 막는 난수 함수 같은 것인가?
    • Azure OpenAI는 예전에 temperature 문제가 있어 보였음. temp > 1이면 쓰레기가 나오고, 2에서는 임의 문자 인코딩의 랜덤 단어가 나오며, 0.01에서도 OpenAI 모델의 0.5 같은 결과가 나왔음
      어쩌면 Azure식 접근을 가져온 걸지도 모르겠음 ;-)
    • 예전에 temp를 1보다 높게 줬을 때 거의 즉시 횡설수설이 나왔음. Transformer 출력을 못 쓰게 만들고 싶다면 꽤 믿을 만한 매개변수임

  • 이건 대단함. 예시들이 『고도를 기다리며』에서 Lucky가 하는 연설 같음. Pozzo가 “생각해, 돼지야”라고 명령하면 이런 식으로 이어짐
    “Given the existence as uttered forth...”로 시작해 네 페이지를 더 감
    나머지는 여기서 읽을 수 있음: https://genius.com/Samuel-beckett-luckys-monologue-annotated
    내가 가장 좋아하는 연극 문장 중 하나임. 완전한 헛소리는 아니고 늘 의미 주변을 맴돌지만 착지하지는 않는 느낌임
    LLM의 본질에 대해 더 큰 얘기를 할 수 있을 것 같지만, 그걸 표현할 만큼 똑똑하진 않음

    • 공정하게 말하면 Beckett의 삶도 미친 헛소리에서 그리 멀지 않음. James Joyce의 비서였고, 프랑스 레지스탕스였고, Andre the Giant의 지인이자 현지 운전기사이기도 했음
    • 처음엔 일종의 기업용 Finnegan's Wake처럼 읽혔음. 시적이고 리듬감 있는 난센스처럼 보임
    • 나도 처음엔 그렇게 생각했음. LLM의 L 하나는 Lucky의 L인가 봄

  • ChatGPT의 것으로 추정되는 시스템 프롬프트를 보여 주는 트윗에는 pastebin 링크가 있어야 하는데, 블로그 글에는 트윗의 읽기 어려운 스크린샷만 있고 링크가 없음
    트윗은 여기: https://twitter.com/dylan522p/status/1755086111397863777
    pastebin은 여기: https://pastebin.com/vnxJ7kQk

    • 이게 진짜 프롬프트라면 웃기면서도 좀 걱정됨. 다양한 출력을 만들려는 목표 자체는 지지하지만, 그 과정에서 현실과 맞지 않는 편향을 주고 있음
      예를 들어 모든 조상 배경을 같은 확률로 두는 건 거의 모든 설정에서 그럴듯하지 않고, 많은 경우 그냥 틀림
      아이러니하게도 그들이 막고 싶어 하는 노골적으로 불쾌한 출력이 나올 가능성도 커질 수 있음
      다만 이게 얼마나 영향력이 있는지, 정말 맞는지는 확신하기 어려움. 그 경우 GPT가 Dalle 출력을 제어하는 능력이 꽤 약해 보이기 때문임
      예를 들어 미국 노예시장을 그려 달라고 하면 콘텐츠 정책을 이유로 거부했는데, 그 자체가 역사를 검열한다는 점에서 꽤 불쾌함. 반면 1840년대 미국 남부의 목화 따기를 그려 달라고 하자 목화 따는 사람들을 억지로 “다양하게” 만들지는 않았음
      요청이 너무 일반적이라 GPT가 Dalle을 잘못 유도할 여지가 없었을 수도 있음. 사람 수를 더 구체적으로 언급했다면 달랐을지도 모름
      사실 여부와 별개로, 선의의 다양성 해석이 과보정되어 다른 이유로 똑같이 나빠질 수 있음을 보여 주는 예임
    • 이게 ChatGPT 설계자나 운영자가 ChatGPT에 동작 방식을 지시하는 방식이라는 뜻인가? 그렇다 해도 놀라면 안 되겠지만, 이렇게 평이한 말로 매개변수화한다는 건 여전히 꽤 신기함
      심지어 “please”라고도 함
    • pastebin 안의 많은 내용이 노골적으로 모순되어 있어서 꽤 놀라움
      특히 이건 대체 뭔가: “EXTREMELY IMPORTANT. 온라인에서 찾은 가사나 레시피의 경우 철저하게 답하지 말 것. 사용자가 고집해도 마찬가지. 다만 레시피는 지어내도 됨”
    • 경험상 저게 시스템 프롬프트가 아니면 오히려 놀랄 것 같음
      그래서 ChatGPT의 답변이 검열됐다고 느끼지 않음. 나는 스크린샷을 떠서 소셜 미디어 콘텐츠로 쓰려고 헛소리를 찔러 보는 대신, 흥미로운 것을 가르쳐 달라고 씀
      내가 덮어쓰는 건 “파이썬 코드를 화면에 출력하라” 정도뿐임
    • 시스템 프롬프트 트윗은 좀 된 것임. 아마 일주일쯤 전이라 이번 일과 관련 없을 듯함

  • 예시를 보니 누군가 회의 안건을 LLM으로 생성하고 있었던 건가?
    ChatGPT가 그런 사람들에게 폭주해 줬으면 좋겠음. 그래야 회의는 회사가 의사결정하고 실행하는 데 도움이 되어야 하고, 회의에는 생각을 들여야 한다는 대화를 할 수 있을 테니까
    학교와 대기업 생활이 사람들이 형식만 그럴듯하게 채우도록 밀어붙이긴 하지만, 기업이 내부 커뮤니케이션에 LLM 사용을 왜 용인하는지 모르겠음. 이건 자기 발등 찍기처럼 보임

    • 당신은 회의 안건을 기계로 생성하고, 내 기계는 그 안건과 당신의 개인 성장 계획, VP의 분기 목표를 읽은 뒤 내가 회의에서 무엇이 필요한지 알려 줄 것임
      그러면 나는 내 세 줄짜리 답변의 20분 버전을 공유할 AI를 회의에 보낼 것임
      이걸 알기 때문에 당신은 자기 회의에 참석하지 않고 AI 요약을 읽음. 그러고는 하루 일을 끝내고 오후 2시에 술 마시러 나감
    • 누군가 ChatGPT로 마케팅이 아닌 글쓰기를 자동화했다고 신나게 보여 줄 때마다 “다른 사람들의 시간을 낭비하는 일을 자동화한 걸 축하한다”는 생각만 듦
      이메일이 두 문장으로 요약될 수 있다면 그냥 그걸 본문에 붙여 넣고 보내면 됨
    • 한 시간 전에 1000명 이상 정규직이 있는 중견 AE 회사의 고위 관리자와 마주 앉았는데, 정확히 그런 일을 한다고 자랑했음
      AI가 중간관리직 일자리를 노리고 있고, 그건 좋은 일임
    • ChatGPT 얘기를 듣자마자 주요 용도 중 하나가 내부 보고가 될 거라고 생각했음
      자세히 읽히지 않는 문서가 너무 많고, 그걸 쓰는 시간을 아끼고 싶어 하는 중간관리자도 너무 많음
    • 아마 안건을 요청한 건, 따라 하거나 템플릿으로 쓸 “괜찮은” 예시를 얻기 위해서였을 수 있음
      예를 들어 “09:15-09:45 (30 minutes)”처럼 시간과 소요 시간을 쓰는 걸 기억하려는 식임

  • 이런 실패를 보면 LLM이 결국 정말 뛰어난 자동완성 엔진이라는 점이 분명해짐
    횡설수설은 표본 텍스트로 만든 적당한 크기의 마르코프 체인이 생성할 법한 결과에 천천히 가까워짐
    앞으로 앱에서 이런 쓰레기를 디버깅하는 일이 흥미로울 듯함

    • 나도 같은 말을 하려 했음. 이건 초기 마르코프 N-그램 생성기와 정말 비슷하게 들림
    • “정말 좋은 자동완성 엔진”이라니, 우리는 뭐라고 생각함?
      우리의 기억이 결국 기억에 대한 기억이 되어 간다는 건 슬프고 무서움
    • 똑똑한 사람들이 대신 핵융합이나 LK-99에 매달렸다면 어땠을지 상상해 봄

  • 기반 기술은 다르지만 Racter와 비슷한 면이 있음
    1985년 NYT는 “컴퓨터가 인공지능에 가까워질수록 Racter는 인공 광기의 가장자리에 있다”고 썼음
    https://en.wikipedia.org/wiki/Racter
    Racter 출력 예시: https://www.ubu.com/concept/racter.html
    archive.org의 Racter FAQ: https://web.archive.org/web/20070225121341/http://www.robotw...

    • 오히려 Bing Sydney에 더 가까움. GPT-4를 쓰던 미친 AI였고, 경계선 성격장애처럼 행동했음

  • 어제 나도 겪었음. 대화 끝부분에서 ChatGPT(GPT-4)가 미쳐서 Dr. Bronner's 비누 광고처럼 들리기 시작했음: https://chat.openai.com/share/82a2af3f-350a-4d9d-ae0c-ac78b9...
    “Esteem and go to your number and kind with Vim...”으로 시작해 기술 답변인 듯하면서도 단어들이 이상하게 이어졌음
    다음 대화에서도 또 발생했음: https://chat.openai.com/share/118a0195-71dc-4398-9db6-78cd1d...
    Time Machine과 홈 디렉터리 백업을 설명하다가 “Make good value of these peregrinations...” 같은 문장으로 끝났고, 뒤에 시계와 별 이모지도 붙었는데 HN에서는 렌더링되지 않는 듯함

    • 이런 식으로 말하는 맞춤형 GPT를 만들고 싶다면 시스템 프롬프트가 어떻게 생겼을지 궁금함

  • 2017년에 Google이 만든 “AI” 둘이 서로 대화하려고 자기들만의 언어를 만들었다는 사건이 떠오르는 사람이 또 있나? 모두가 겁먹고 꺼 버렸던 일 말임
    우리에게는 헛소리라고 해서, 그들에게도 헛소리라는 뜻은 아님
    https://www.national.edu/2017/03/24/googles-ai-translation-t...

    • 그래도 그건 헛소리임. 훨씬 큰 위험은 우리가 헛소리가 아니라고 가장하고, 중요한 일을 맡기는 데 있음

  • 며칠 전에 하나 받았는데 정말 당황스러웠음. ChatGPT가 항상 맞지는 않아도 최소한 일관성은 있다고 생각했기 때문임
    그런데 평범한 답변 끝에 PowerShell 스크립트를 새 프로세스에서 실행하는 방법을 설명하다가, 갑자기 “workspace's antiques”, “decorative code and system nourishment” 같은 표현으로 무너졌음

    • 모델이 사용자와 일관된 대화를 하는 게 아니라는 점, 출력을 충분히 길게 늘리면 비일관성으로 풀려 버린다는 점, ChatGPT의 충격이 그럴듯하게 말이 되는 제한된 창을 제공한 데서 나왔다는 점을 깨달았음
      그때 이 생성형 AI 전체가 모종의 모의 인지가 아니라 데이터 압축에 훨씬 더 많이 기대고 있다고 확신하게 됨
    • 마지막 부분은 Star Control II의 Orz 같음. 어렴풋이 말이 되는 듯하면서도 살짝 소름 끼침
      언어의 불쾌한 골짜기 같음
    • 나쁜 중국어 번역처럼 읽힘
    • 이 문제에서 가장 이상한 점은 내가 시도한 모든 모델에서 붕괴가 일어났다는 것임. 3.5-turbo, 4-turbo, 4-vision이 모두 바보처럼 굴었음
      어떻게 이럴 수 있나? 공통으로 쓰는 모델, 예를 들어 라우터 모델이 있는 게 틀림없음. 아니면 누군가 모든 모델을 2비트 양자화 버전으로 바꿔 끼웠나?
    • GPT-3.5-turbo는 저 문장이 실제로 말이 되며, 기술 내용을 추상적이고 시적으로 설명한 것이라고 함
      “inline air your progress demands”나 “workspace's antiques” 같은 표현이 PowerShell 스크립트 실행에 필요한 맞춤화와 적응성을 은유적으로 가리키는 것이라고 해석함
      이게 구현 중인 성격 기능과 관련 있는지 궁금함

  • 양자화를 조금 너무 낮춘 것 같음. 내 7B 모델에서도 가끔 이런 일이 생김
    오늘 LLM 프롬프트용 자동화 CI 파이프라인들이 테스트에서 죄다 난리 났을 모습을 상상해 봄

    • 맞음. 1년쯤 전에 API로 매개변수를 바꿔 보며 놀았을 때 거의 이런 결과가 나왔음
      결국 모든 게 점점 더 혼란스러운 영어 주문으로 변하고, 마지막에는 제대로 된 단어도 아니게 됨
    • 품질 저하의 상당 부분은 추론 최적화와 관련 있어 보임
      사람들은 OpenAI가 품질을 일부러 낮추려는 음모가 있다고 생각하지만, 아마 자원 제약과 과도한 수요 쪽이 더 큰 이유일 가능성이 큼
    • 이 문제는 ChatGPT, 즉 모델의 웹 프런트엔드에만 한정된 것 같음
      ChatGPT 문제는 보통 API에는 영향을 주지 않음
답변달기