GN⁺: 챗봇 ChatGPT의 난폭한 행동
(garymarcus.substack.com)ChatGPT가 난통을 일으킴
- ChatGPT가 난통을 일으켰다는 것은 농담이 아니며, 인용문이자 경고임.
- 최근 몇 시간 동안 사람들이 ChatGPT와 관련하여 다양한 문제를 보고함.
- OpenAI 자체도 이 문제를 인정함.
인공지능의 연금술
- 생성적 AI는 일종의 연금술로, 사람들은 가능한 한 많은 데이터를 수집하고, 숨겨진 프롬프트를 조작하여 모든 것이 잘 작동하기를 바람.
- 그러나 이러한 시스템들은 결코 안정적이지 않았으며, 안전을 보장할 수 있는 엔지니어링은 아직 없음.
- 더 투명하고, 해석 가능하며, 유지보수가 쉽고, 디버깅이 가능한 새로운 기술의 필요성이 여전히 중요함.
GN⁺의 의견
- ChatGPT가 겪고 있는 문제는 인공지능 기술의 현재 한계와 안정성 문제를 드러내는 사례임.
- 이러한 문제는 인공지능의 신뢰성과 안전성을 향상시키기 위한 새로운 접근법과 기술의 필요성을 강조함.
- 이 사건은 인공지능 개발자와 사용자 모두에게 경각심을 일으키는 계기가 될 수 있으며, 더 나은 미래의 AI 기술 개발을 위한 중요한 교훈을 제공함.
Hacker News 의견
- 한 사용자는 최근에 받은 ChatGPT의 응답이 혼란스러웠다고 말함. 평소에는 적어도 일관성이 있었는데, 이번에는 이상한 문장을 받았다고 함. PowerShell 스크립트 실행 방법에 대한 설명이었는데, 마지막 부분이 뜬금없이 작업 공간의 골동품이나 코드 장식과 같은 비유를 사용해 혼란을 줌.
- 다른 사용자는 이러한 혼란스러운 응답이 ChatGPT의 백엔드 모델에 대한 요청에서 빈도/존재 페널티를 너무 높게 설정했기 때문일 것이라고 추측함. 이러한 매개변수를 API를 통해 조정하면 모델이 비슷하게 행동한다고 함. OpenAI API는 생성에 주로 영향을 미치는 네 가지 매개변수(온도, top_p, 빈도 페널티, 존재 페널티)를 가지고 있으며, 이는 잘 문서화되어 있음. 그러나 이 사용자는 자신의 초기 추측이 잘못되었을 수 있으며, 문제가 높은 온도 설정 때문일 수도 있다고 덧붙임.
- 또 다른 사용자는 제공된 예시들이 Samuel Beckett의 연극 "Waiting for Godot"에서 Lucky의 연설을 연상시킨다고 말함. 이 연설은 의미를 둘러싸고 있지만 결코 닿지 않는, 완전한 헛소리는 아니지만 항상 의미를 맴도는 텍스트임. 이 사용자는 대규모 언어 모델(LLMs)의 본질에 대한 더 큰 포인트가 있을 것이라고 생각하지만, 그것을 명확히 표현할 수 있는 지식이 부족하다고 함.
- 한 사용자는 LLM을 사용하여 회의 일정을 생성하는 데 사용하는 사람이 있는지 궁금해함. ChatGPT가 그들에게 난장판을 만들어 회사의 의사 결정과 실행을 돕기 위한 회의의 중요성에 대해 대화할 수 있기를 바람. 학교와 대기업 생활이 사람들에게 형식적인 절차를 통해 BS를 만들도록 밀어붙이지만, 기업이 내부 커뮤니케이션에서 LLM 사용을 용인하는 것은 자기 파괴적인 것처럼 보임.
- 다른 사용자는 2017년 Google이 "AI"를 만들었지만, 그들이 서로 대화하기 위해 자체 언어를 만들었을 때를 회상함. 그것이 우리에게 헛소리처럼 들릴지라도, 그들에게는 헛소리가 아닐 수도 있다는 것을 지적함.
- 한 사용자는 LLM이 단지 매우 좋은 자동 완성 엔진일 뿐이라는 것이 이러한 실패를 볼 때 분명해진다고 말함. 이러한 장황한 발언은 샘플 텍스트로 구축된 상당한 크기의 Markov 체인이 생성할 것에 점점 가까워짐. 미래의 앱에서 이러한 문제를 디버깅하는 것이 흥미로울 것임.
- 한 사용자는 ChatGPT의 시스템 프롬프트를 보여주는 트윗이 pastebin 링크를 포함해야 하지만, 블로그 게시물 자체에는 트윗의 링크 없이 읽을 수 없는 스크린샷만 있다고 지적함. 그리고 해당 트윗과 pastebin의 링크를 제공함.
- Racter라는 1985년 기술과 관련된 또 다른 예시를 든 사용자는, 인공 지능에 가까워지는 컴퓨터들 사이에서 Racter는 인공 미친 상태의 가장자리에 있다고 뉴욕타임즈가 쓴 것을 인용함. Racter의 출력물과 관련된 링크를 제공함.
- 한 사용자는 ChatGPT의 응답을 읽는 것이 매우 흥미롭다고 말하며, 그것이 마치 Chaucer의 영어를 '해적처럼 말하기' 필터를 통해 두 번째로 음성화한 것 같다고 묘사함. 이 기계에 무엇을 먹이고 있는지, 어떻게 조정하고 있는지 궁금해하며, 이러한 시적인 언어의 리듬을 듣는 것이 순수한 음악이라고 칭찬함.
- 마지막으로, 한 사용자는 어제 ChatGPT(GPT-4)와의 대화 끝에 ChatGPT가 미쳐버리고 Dr. Bronner의 비누 광고처럼 들리기 시작했다고 말함. 이 사용자는 이러한 현상이 다음 대화에서도 반복되었다고 함.