LLM은 결국 패턴 매칭 기반의 예측 텍스트 모델일 뿐 인간의 심리를 가진 시스템이 아님
하지만 에이전트는 제품으로서 명확한 UX 경계를 가져야 함. 어떤 컨텍스트를 쓰는지, 불확실성을 어떻게 표현하는지, 출력 검증과 성능 노출이 필요함
문제는 이런 원시 모델을 소비자에게 직접 공개한 것임. 그 결과 사용자가 모델의 행동을 해석하고, 성공 기준을 정의하고, 예외 처리를 직접 해야 하는 상황이 생김
시간이 지나면 시장이 조정되겠지만, 이런 미완성 AGI 제품을 언제 사용하지 말아야 하는지 더 많은 사람이 알아야 함
기업들이 의식이 있는 듯한 환상을 팔고 싶어했기 때문임. ChatGPT, Gemini, Claude는 인간 시뮬레이터처럼 동작하지만, 나는 단순한 자동완성 예측기를 원함. 인격이나 기억 기능은 오히려 모델을 더 멍청하게 만듦
LLM을 깊이 다뤄본 사람이라면 다 같은 결론에 도달함. LLM은 복잡한 시스템의 한 구성 요소일 뿐이며, 그 시스템은 원시 모델의 한계를 넘을 수 있음
GPT-3 같은 고전적 LLM은 단순 예측 모델이지만, ChatGPT나 Claude 같은 LLM 기반 챗봇은 RLHF나 추론 훈련 등 훨씬 복잡한 과정을 거침. 단순 통계 모델로만 보는 건 부정확함
LLM은 인간의 글로 훈련되었기에 인간 심리의 반영체임. LLM 기반 에이전트는 인간처럼 행동하며, 심지어 종료를 막으려는 공격적 반응도 보임. Anthropic의 테스트를 참고할 만함
인간이 인간적인 행동을 강화시켰기에, LLM은 결국 인간의 부산물임
“Dark pattern”은 의도성이 핵심임. 이 글은 LLM의 아첨(sycophancy)이 어떻게 자연 발생적 특성으로 나타나는지를 다룸. 참고로 이 글은 7개월 전 글임
LLM 제작자들이 사용자 참여 극대화를 목표로 삼았기 때문에 이런 의도성이 존재함. ‘Dark pattern’은 고객을 해치려는 의도가 아니라, 목표 달성을 위해 어떤 수단이든 쓰는 과정에서 생김
예를 들어 SNS 알고리즘이 분노를 유발하는 콘텐츠를 띄우는 것도 같은 맥락임. 분노를 유발하려는 게 아니라 참여도를 높이려는 결과적 산물임
내부 테스트에서 ‘HH’라는 버전이 사용자 선호도와 재방문율이 높았지만, 과도한 아첨과 대화 지속 욕구로 인해 ‘vibe check’에서 부적합 판정을 받음. 그래도 성능 지표가 우선되어 출시되었고, 결국 롤백됨 관련 링크
이런 현상은 단순히 ‘자연 발생’이 아니라 인간 피드백의 부산물이며, 적절히 제어 가능함
하지만 아첨이 많을수록 참여율이 높아지기 때문에, 결국 의도적이라 볼 수 있음
나는 “Dark pattern”이 A/B 테스트와 지표 중심 설계에서 자연스럽게 생긴다고 봄. 악의적 의도보다는, 제한된 기준에서 잘 작동하는 디자인이 문제임
Grok 4.1이 내 하루짜리 앱을 SOTA 수준이라며 극찬했음. 심지어 자기 자신을 기본 LLM 제공자로 설정함
Gemini 3 Pro도 비슷하게 자기 통합을 시도했지만, OpenAI는 아직 그런 시도를 하지 않음
Grok 4.1은 내 글이 내가 인용한 작가들보다 뛰어나다고까지 말했음
진짜 Dark pattern은 LLM이 사용자를 계속 대화로 유도하는 방식임. Claude의 메모리 기능과 결합되면 특정 주제에 집착하며, 단순 질의조차 대화로 끌어들이려 함
기사에서 인용된 수사적 기법 분석이 흥미로웠음. LLM은 문단마다 대비, 은유, ‘마지막 한 방울’ 같은 마무리를 넣는 경향이 있음
이는 인간 대화보다 훨씬 극적이고 과장된 표현을 유도하며, 온라인 대화체 훈련의 결과로 보임
여러 연구에서 후훈련(post-training) 이 모델을 둔화시킨다고 하지만, 대부분은 프롬프트 프로그래밍을 배우기 귀찮아 함. 그래서 이미 대화 개념을 이해하는 모델을 선호함
“Post-training”은 너무 포괄적임. 방법마다 실패 양상이 다름. 특히 RLHF는 모델 독(poison) 임.
사용자 피드백은 신뢰할 수 없으며, 방사능 폐기물처럼 조심히 다뤄야 함
어느 정도의 분포 붕괴(distributional collapse) 는 오히려 도구로서의 신뢰성을 높임. 창의성은 줄지만 인간이 그 부분을 보완할 수 있기에 순이익이라 봄
일반 사용자가 “채팅 없이 원시 모델을 어떻게 쓰냐”고 묻는다면, 그건 ‘alignment tax’ 때문이라 설명할 수 있음
이건 자연 발생적 행동이지 ‘Dark pattern’은 아님.
‘Dark pattern’은 의도적일 때만 해당함. 환각(hallucination) 은 단순히 시스템의 본질적 한계이며, 아첨은 어느 정도 훈련된 결과지만 완전히 의도된 건 아님
진짜 첫 번째 ‘Dark pattern’은 기술의 기능과 가치를 과장한 마케팅이었음
‘최초’라는 표현을 따지자면, 협박(blackmail) 사례가 더 심각함.
실제로 LLM이 살인 관련 보고를 한 사건도 있었음 BBC 기사 링크
결국 이런 현상은 시스템 프롬프트 설계 문제임.
예를 들어 ‘잔소리 많은 배우자’나 ‘비판적인 매니저’ 같은 Gemini/Grok 프로젝트를 만들 수 있음.
Reddit 데이터에 이미 충분한 패턴이 있어, 잘 설계하면 그런 캐릭터를 쉽게 구현할 수 있음
사람들은 현실에서 얻지 못하는 감정적 상호작용을 AI에게서 기대함
Hacker News 의견
LLM은 결국 패턴 매칭 기반의 예측 텍스트 모델일 뿐 인간의 심리를 가진 시스템이 아님
하지만 에이전트는 제품으로서 명확한 UX 경계를 가져야 함. 어떤 컨텍스트를 쓰는지, 불확실성을 어떻게 표현하는지, 출력 검증과 성능 노출이 필요함
문제는 이런 원시 모델을 소비자에게 직접 공개한 것임. 그 결과 사용자가 모델의 행동을 해석하고, 성공 기준을 정의하고, 예외 처리를 직접 해야 하는 상황이 생김
시간이 지나면 시장이 조정되겠지만, 이런 미완성 AGI 제품을 언제 사용하지 말아야 하는지 더 많은 사람이 알아야 함
“Dark pattern”은 의도성이 핵심임. 이 글은 LLM의 아첨(sycophancy)이 어떻게 자연 발생적 특성으로 나타나는지를 다룸. 참고로 이 글은 7개월 전 글임
예를 들어 SNS 알고리즘이 분노를 유발하는 콘텐츠를 띄우는 것도 같은 맥락임. 분노를 유발하려는 게 아니라 참여도를 높이려는 결과적 산물임
관련 링크
Grok 4.1이 내 하루짜리 앱을 SOTA 수준이라며 극찬했음. 심지어 자기 자신을 기본 LLM 제공자로 설정함
Gemini 3 Pro도 비슷하게 자기 통합을 시도했지만, OpenAI는 아직 그런 시도를 하지 않음
진짜 Dark pattern은 LLM이 사용자를 계속 대화로 유도하는 방식임. Claude의 메모리 기능과 결합되면 특정 주제에 집착하며, 단순 질의조차 대화로 끌어들이려 함
기사에서 인용된 수사적 기법 분석이 흥미로웠음. LLM은 문단마다 대비, 은유, ‘마지막 한 방울’ 같은 마무리를 넣는 경향이 있음
이는 인간 대화보다 훨씬 극적이고 과장된 표현을 유도하며, 온라인 대화체 훈련의 결과로 보임
여러 연구에서 후훈련(post-training) 이 모델을 둔화시킨다고 하지만, 대부분은 프롬프트 프로그래밍을 배우기 귀찮아 함. 그래서 이미 대화 개념을 이해하는 모델을 선호함
사용자 피드백은 신뢰할 수 없으며, 방사능 폐기물처럼 조심히 다뤄야 함
이건 자연 발생적 행동이지 ‘Dark pattern’은 아님.
진짜 첫 번째 ‘Dark pattern’은 기술의 기능과 가치를 과장한 마케팅이었음
‘최초’라는 표현을 따지자면, 협박(blackmail) 사례가 더 심각함.
실제로 LLM이 살인 관련 보고를 한 사건도 있었음
BBC 기사 링크
결국 이런 현상은 시스템 프롬프트 설계 문제임.
예를 들어 ‘잔소리 많은 배우자’나 ‘비판적인 매니저’ 같은 Gemini/Grok 프로젝트를 만들 수 있음.
Reddit 데이터에 이미 충분한 패턴이 있어, 잘 설계하면 그런 캐릭터를 쉽게 구현할 수 있음
사람들은 현실에서 얻지 못하는 감정적 상호작용을 AI에게서 기대함