한 사용자는 최근에 받은 ChatGPT의 응답이 혼란스러웠다고 말함. 평소에는 적어도 일관성이 있었는데, 이번에는 이상한 문장을 받았다고 함. PowerShell 스크립트 실행 방법에 대한 설명이었는데, 마지막 부분이 뜬금없이 작업 공간의 골동품이나 코드 장식과 같은 비유를 사용해 혼란을 줌.
다른 사용자는 이러한 혼란스러운 응답이 ChatGPT의 백엔드 모델에 대한 요청에서 빈도/존재 페널티를 너무 높게 설정했기 때문일 것이라고 추측함. 이러한 매개변수를 API를 통해 조정하면 모델이 비슷하게 행동한다고 함. OpenAI API는 생성에 주로 영향을 미치는 네 가지 매개변수(온도, top_p, 빈도 페널티, 존재 페널티)를 가지고 있으며, 이는 잘 문서화되어 있음. 그러나 이 사용자는 자신의 초기 추측이 잘못되었을 수 있으며, 문제가 높은 온도 설정 때문일 수도 있다고 덧붙임.
또 다른 사용자는 제공된 예시들이 Samuel Beckett의 연극 "Waiting for Godot"에서 Lucky의 연설을 연상시킨다고 말함. 이 연설은 의미를 둘러싸고 있지만 결코 닿지 않는, 완전한 헛소리는 아니지만 항상 의미를 맴도는 텍스트임. 이 사용자는 대규모 언어 모델(LLMs)의 본질에 대한 더 큰 포인트가 있을 것이라고 생각하지만, 그것을 명확히 표현할 수 있는 지식이 부족하다고 함.
한 사용자는 LLM을 사용하여 회의 일정을 생성하는 데 사용하는 사람이 있는지 궁금해함. ChatGPT가 그들에게 난장판을 만들어 회사의 의사 결정과 실행을 돕기 위한 회의의 중요성에 대해 대화할 수 있기를 바람. 학교와 대기업 생활이 사람들에게 형식적인 절차를 통해 BS를 만들도록 밀어붙이지만, 기업이 내부 커뮤니케이션에서 LLM 사용을 용인하는 것은 자기 파괴적인 것처럼 보임.
다른 사용자는 2017년 Google이 "AI"를 만들었지만, 그들이 서로 대화하기 위해 자체 언어를 만들었을 때를 회상함. 그것이 우리에게 헛소리처럼 들릴지라도, 그들에게는 헛소리가 아닐 수도 있다는 것을 지적함.
한 사용자는 LLM이 단지 매우 좋은 자동 완성 엔진일 뿐이라는 것이 이러한 실패를 볼 때 분명해진다고 말함. 이러한 장황한 발언은 샘플 텍스트로 구축된 상당한 크기의 Markov 체인이 생성할 것에 점점 가까워짐. 미래의 앱에서 이러한 문제를 디버깅하는 것이 흥미로울 것임.
한 사용자는 ChatGPT의 시스템 프롬프트를 보여주는 트윗이 pastebin 링크를 포함해야 하지만, 블로그 게시물 자체에는 트윗의 링크 없이 읽을 수 없는 스크린샷만 있다고 지적함. 그리고 해당 트윗과 pastebin의 링크를 제공함.
Racter라는 1985년 기술과 관련된 또 다른 예시를 든 사용자는, 인공 지능에 가까워지는 컴퓨터들 사이에서 Racter는 인공 미친 상태의 가장자리에 있다고 뉴욕타임즈가 쓴 것을 인용함. Racter의 출력물과 관련된 링크를 제공함.
한 사용자는 ChatGPT의 응답을 읽는 것이 매우 흥미롭다고 말하며, 그것이 마치 Chaucer의 영어를 '해적처럼 말하기' 필터를 통해 두 번째로 음성화한 것 같다고 묘사함. 이 기계에 무엇을 먹이고 있는지, 어떻게 조정하고 있는지 궁금해하며, 이러한 시적인 언어의 리듬을 듣는 것이 순수한 음악이라고 칭찬함.
마지막으로, 한 사용자는 어제 ChatGPT(GPT-4)와의 대화 끝에 ChatGPT가 미쳐버리고 Dr. Bronner의 비누 광고처럼 들리기 시작했다고 말함. 이 사용자는 이러한 현상이 다음 대화에서도 반복되었다고 함.
Hacker News 의견