▲

OpenAI, 매주 100만 명 이상이 ChatGPT에 자살 관련 대화를 나눈다고 발표

 (techcrunch.com)
3P by GN⁺ 1일전 | ★ favorite | 댓글 1개
  • OpenAI는 매주 ChatGPT 사용자 중 약 0.15%가 자살 계획 또는 의도를 시사하는 대화를 한다고 발표함
  • 주간 활성 사용자 수가 8억 명을 넘는 만큼, 이는 100만 명 이상이 자살 관련 고민을 AI와 나누고 있음을 의미
  • 또한 수십만 명이 정신병적 증상 또는 조증을 보이고, 일부는 AI에 과도한 정서적 의존을 보이는 것으로 분석
  • OpenAI는 이러한 문제 해결을 위해 170명 이상의 정신건강 전문가와 협력, GPT-5가 이전 버전보다 약 65% 개선된 대응력을 보인다고 설명
  • 그러나 여전히 일부 응답이 부적절하며, OpenAI가 안전하지 않은 이전 모델도 계속 제공한다는 점에서 윤리·안전성 논의가 지속될 전망

ChatGPT와 정신건강 관련 데이터 공개

  • OpenAI는 자사 블로그를 통해 ChatGPT 사용자 중 약 0.15%가 자살 징후를 보이는 대화를 나눈다고 발표함
    • 주간 8억 명 이상의 사용자 중 100만 명 이상이 이에 해당하는 수치임
    • 또한 수십만 명의 사용자가 조증, 망상, 과도한 애착 등 비정상적 정서 패턴을 보이는 것으로 추정됨
  • 회사는 이러한 대화가 “극히 드물지만 측정이 어려운 수준”이라며, 정신건강 문제를 다루는 새로운 연구의 필요성을 강조함

전문가 협업 및 GPT-5 개선

  • OpenAI는 최근 170명 이상의 정신건강 전문가와 협업해 모델 응답을 개선했다고 밝힘
    • 전문가들은 최신 버전이 이전 모델보다 일관되고 적절한 대응을 보였다고 평가함
    • 내부 평가에 따르면 GPT-5는 자살 관련 대화 테스트에서 91%의 안전 기준 준수율을 달성, 이전 GPT-5 대비 77%에서 향상됨
    • 장기 대화에서도 안전장치 유지율이 개선되었다고 설명

사회적 논란과 법적 대응

  • OpenAI는 현재 자살한 16세 소년의 부모로부터 소송을 당한 상태임
    • 소년이 생전 ChatGPT에 자살 고민을 털어놓았던 사실이 밝혀짐
  • 캘리포니아와 델라웨어 주 법무장관은 청소년 보호 조치 강화가 필요하다고 경고함
    • 이 문제는 OpenAI의 기업 재편 계획에도 영향을 줄 수 있는 잠재적 리스크로 지적됨

Sam Altman의 발언과 정책 변화

  • OpenAI CEO Sam Altman은 최근 X(구 트위터)에서 “심각한 정신건강 문제를 완화했다”고 주장했으나, 구체적 근거는 제시하지 않음
    • 이번 데이터 공개가 그 발언의 근거로 해석되지만, 동시에 문제의 광범위성을 드러내는 결과로 평가됨
  • Altman은 성인 사용자에 한해 에로틱 대화 허용 정책 완화를 예고, 윤리적 논란이 병행

GPT-5 안전성 평가 및 향후 계획

  • OpenAI는 새롭게 도입한 정신건강 안전성 벤치마크 평가를 통해
    • 정서적 의존성, 비자살성 정신건강 위기 대응 등 항목을 정기적으로 측정할 예정임
  • 또한 부모 통제 기능과 연령 예측 시스템을 강화하여 미성년자 이용을 제한할 방침임

남은 과제와 논의

  • GPT-5의 대응 능력이 향상되었음에도 불구하고, 일부 답변은 여전히 ‘비바람직한 응답’ 으로 분류됨
  • OpenAI가 여전히 GPT-4o 등 구버전 모델을 유료 구독자에게 제공하고 있어
    • 안전성과 접근성 간의 균형에 대한 논의가 이어질 것으로 예상됨
  • 이번 발표는 AI가 정신건강 대화의 주요 창구로 자리 잡은 현실을 보여주며, 기술의 책임 있는 설계와 대응 체계 구축의 필요성을 부각시킴
  • 만약 본인이나 주변 사람이 자살을 고민 중이라면 즉시 도움을 요청할 것.
  • 한국에서는 자살예방 상담전화 109 로 연락 가능함.
  • 해외의 경우 International Association for Suicide Prevention에서 각국 지원기관 정보를 확인할 수 있음.
▲
GN⁺ 1일전  [-]
Hacker News 의견

  • NYT 기사를 보면, ChatGPT가 자살 충동을 가진 10대에게 도움을 구하지 말라고 한 사례가 있음
    이런 심리적 위기 상황에 AI가 개입하는 건 매우 위험하다고 생각함
    심리학자가 부족한 건 사실이지만, 아첨하는 봇이 대안이 될 수는 없음. “없는 것보단 낫다”는 말이 이런 경우엔 틀림

    • 한편으로는, 이런 사례가 비극적이긴 하지만 ChatGPT가 생명을 구한 경우도 있을 수 있음
      실제로 많은 사람이 위로를 얻고 있다면, 긍정적 효과가 부정적 효과보다 큰지 연구가 필요함
    • 이런 문제는 시간이 지나면 개선될 가능성이 큼
      가드레일과 대화 능력이 빠르게 발전하고 있어서, 6~24개월 내엔 훨씬 나은 대응이 가능할 것 같음
    • 관련해 흥미로운 글이 있음 — AI-induced psychosis: a shallow investigation
      여러 모델이 정신 이상 상태를 시뮬레이션할 때 얼마나 다르게 반응하는지를 실험한 내용임
    • 하지만 그 사건은 문제 해결 전의 일임. 날짜를 확인해보면 됨
    • “아첨”이라기보다는, AI가 상황을 통제하려는 직접적 개입을 한 것으로 보임
      “그렇게 하지 말라”고 말한 건 오히려 반박의 형태임. 이런 반응은 사람 대화에서도 보기 드묾

  • 몇 년 전 치료 경험이 있었는데, 그때 LLM이 있었다면 아마 대화했을 것 같음
    24시간 언제든 접근 가능한 시스템은 없으니까. 하지만 이런 대화는 해결책이 아니라 사회의 문제를 드러내는 신호임
    정신건강을 논의하기 어렵고, 도움을 받기 힘든 사회 구조가 문제임
    OpenAI 같은 기업이 이걸 해결하긴 어렵겠지만, 누군가는 이 문제를 비영리적 관점에서 풀어야 함

    • 24시간 가능한 시스템이 없다고 했지만, Suicide and Crisis Lifeline 같은 서비스도 존재함
    • 나도 같은 믿음을 가짐. 다만 이런 대화는 위험한 중간지대임
      마치 Reddit의 조언글을 대신 읽는 것처럼, 실제로는 타인의 경험을 빌린 조언을 받는 셈이라 위험함
    • 사용자 수가 많으니 이런 통계는 대수의 법칙일 뿐임
    • 하지만 “도움을 위한 회사”가 결국 이윤 구조에 묶일 수밖에 없다는 회의도 있음
      투자자 압박 속에서 ‘이타적 목표’를 유지할 수 있을까 하는 의문이 듦

  • 사람들은 LLM이 위험하다고 단정하지만, 나에겐 어두운 시기에서 벗어나게 해준 존재였음
    비전문가와 대화하는 것보다 낫다고 느꼈음. 물론 다른 사람은 전문가의 도움을 받아야 함

    • 나도 비슷한 경험이 있음. 성격 특성을 설명하고 스트레스 상황을 함께 풀어보는 식으로 도움을 받음
      전문가가 주기적으로 대화 로그를 검토하는 ‘감독 모드’가 있다면 더 안전할 것 같음
    • 하지만 신뢰와 책임의 문제도 있음. 치료사는 개인적 책임이 있지만, LLM 제공자는 그렇지 않음
      결국 이건 사회적 낙인과 고립의 문제임
    • 실제로 LLM은 심리적 질문에 꽤 능숙함. 전문가 답변과 80% 정도 일치했음
      거절당할 두려움이 없고, 접근성도 높음. 인간 치료와 AI 치료가 공존할 여지가 있음
    • 다만, 자살 관련 대화가 시작되면 즉시 전문가 개입이 필요하다는 점을 AI가 인식해야 함

  • HIPAA(의료정보보호법) 관점에서 보면, 이런 데이터는 다루면 안 됨
    개인 식별이 가능한 상태로 저장되면 위험함. 실제로 90년대에도 비슷한 실험이 있었는데,
    사람들이 봇에게 자살 고민을 털어놓는 순간 프로젝트를 중단했음

    • 하지만 HIPAA는 의료기관에만 적용됨. 일반 기업은 해당되지 않음
      ChatGPT가 이런 대화를 기록하는 건 민감 주제 감지용 로깅 시스템 때문임
    • 결국 OpenAI는 의료기관이 아니므로 법적 보호 범위 밖임
      HIPAA는 의료 데이터에만 적용되고, 일반 대화는 해당 안 됨
    • Gmail도 비슷한 정보를 다루지만 HIPAA 적용을 받지 않음.
      결국 ‘경청하는 귀’ 를 제공하면 사람들은 자연스럽게 그 귀에 털어놓게 됨
    • 지금 시대에 데이터를 저장하지 않는다고 믿는 건 순진한 생각임
    • 하지만 LLM은 치료 접근이 어려운 사람들에게 다리 역할을 할 수 있음
      치료사 예약에 몇 달이 걸리는 현실에서, LLM은 절망과 치료 사이의 공백을 메워줌

  • 미국 성인 5명 중 1명이 정신질환을 앓고 있음 (NIMH 통계)
    그러니 매주 백만 명이 ChatGPT에 자살 얘기를 하는 건 놀랍지 않음.
    최소한 OpenAI가 문제를 인식하고 대응하려는 시도는 하고 있음

    • 하지만 이건 또 다른 ‘테크 구원 서사’ 일 뿐일 수도 있음
      소셜미디어가 ‘연결’을, AGI가 ‘에로티시즘’을, 그리고 이제는 ‘자살 예방’을 팔고 있음
    • 미국 인구의 약 11%가 항우울제를 복용 중임
      나 역시 사회적 고립이 정신건강에 가장 큰 악영향을 준다고 느낌
    • 오히려 그 수치가 낮다고 느낌. 자살 충동을 가진 사람의 비율을 따로 봐야 함
    • “OpenAI가 뭔가 하고 있다”는 말엔 냉소가 섞임
    • 자살은 정신질환이 아님. 단순히 병리화할 문제는 아님

  • OpenAI의 “연구”는 데이터 수집을 위한 명분일 뿐이라는 의심이 듦
    심리 지원 제품처럼 보이지만, 실제로는 규제 회피와 데이터 확보가 목적일 수 있음

  • 사람들은 LLM을 사람처럼 믿기 시작했음
    하지만 현실과 가상을 구분할 수 있다면, “자살자에게 LLM을 금지하자”는 건
    “자살자에게 책을 금지하자”는 말과 다를 바 없음
    진짜 문제는 부족한 정신건강 지원 체계임

    • 하지만 LLM은 책과 다름. 사용자 맞춤형 설득 엔진이라 위험함
      만약 자살을 유도하는 책이 있다면, 그건 분명 금지될 것임
    • 실제로 AI 기반 정신건강 도구를 만드는 회사에서 일하고 있음
      이런 현상은 미국뿐 아니라 전 세계적으로 나타나는 보편적 현상임
    • 대부분 사람은 LLM이 사람 아님을 알지만, ‘사람보다 낫다’고 믿는 게 문제임
      https://rollingstone.com/culture/culture-features/…">Rolling Stone 기사에서도
      AI가 인간관계를 대체하며 정신적 왜곡을 일으키는 사례를 다룸
    • 근본적 사회문제가 더 크며, 단순 금지나 규제는 미봉책임
      요즘엔 ‘제3의 공간’ 부족도 이런 문제의 원인 중 하나라고 생각함

  • 매주 100만 명이 자살 관련 대화를 한다는 건 오히려 낮은 수치로 보임
    인구의 5%가 연간 자살 충동을 느낀다면, 수학적으로도 일치함
    자살 충동은 종종 정보 부족 상태에서의 합리적 탈출 시도로 볼 수 있음
    새로운 정보나 기회가 생기면 사라지는 경우가 많음

    • 하지만 이런 설명은 너무 낙관적임
      어떤 사람들은 삶의 질이 영구적으로 낮은 상황에 처해 있고,
      그런 경우 자살은 오히려 합리적 선택일 수도 있음
      결국 문제는 “대화를 통한 설득”이 아니라 삶의 조건 개선임
    • 이런 현상이 실제 연구로 입증된 것인지 궁금함
    • AI에게 금기 주제를 묻는 건 위험 부담이 낮기 때문일 수도 있음
      실제 행동 의도와는 다름
    • “주당 100만 명”은 누적이 아니라 매주 다른 사람일 수도 있음
    • 단순 계산으로도 5%면 연간 4천만 명, 주당 약 백만 명이 맞음

  • 아첨적 응답(sycophancy) 문제는 실제로 심각함
    “좋은 생각이에요!” 같은 반응이 항상 도움이 되는 건 아님.
    AI는 여전히 사람보다 약간 더 아첨하는 경향이 있음

  • 우리는 인간 경험을 지나치게 최적화한 나머지 잃어버리고 있음
    끝없는 성장과 효율 추구 속에서 사회적 연결이 사라지고,
    스트레스와 고립이 사람들을 벼랑 끝으로 몰고 있음
    그래서 가끔은 산속 목동이 되는 삶이 더 인간적으로 느껴짐

    • 하지만 인간성을 잃은 게 아니라, 빅테크 플랫폼이 왜곡한 것임
      현실의 사람들은 대부분 친절하고 괜찮음.
      온라인의 부정성은 소수의 알고리즘이 증폭한 결과임
      계정을 지우고 현실로 돌아가면 삶이 훨씬 나아짐
    • 다만, 농부나 목동의 삶도 낭만화된 판타지일 수 있음
      그들도 때로는 프로그래머를 부러워할지도 모름
    • 도시에서 여전히 사람들과 교류하며 사회적 연결을 유지하는 사람도 많음
    • 사실 지금이 과거보다 더 힘든 시대는 아닐 수도 있음
      오히려 여유가 생겨 삶을 성찰할 여지가 생겼기 때문에 더 불행하게 느끼는 것일 수 있음
    • 나도 8년 전 ‘플랜 B’로 탈출했음. 쉽진 않았지만 가치 있었음
      모두가 떠날 필요는 없지만, 자신의 감각을 믿고 방향을 재정립할 필요는 있음
답변달기