▲

일리노이, 심리치료 및 치료 분야에서 AI 사용 제한

 (washingtonpost.com)
1P by GN⁺ 7시간전 | ★ favorite | 댓글 1개
  • 일리노이주가 치료와 심리치료 분야에서 인공지능(AI)의 사용을 제한하는 새로운 법안을 도입함
  • 법안은 환자와의 대화, 상담 등에 AI가 직접적으로 관여하는 것을 금지함
  • 관련 규제는 환자의 개인정보 보호와 치료 질 유지를 강조함
  • 치료사와 인간 전문가의 역할을 우선시하며, AI는 제한적 보조 수단으로만 허용됨
  • 이러한 법적 조치는 의료윤리와 신뢰성을 지키기 위한 예방적 움직임임

일리노이주 AI 치료 및 심리치료 분야 사용 제한

법안 개요

  • 일리노이주는 치료 및 심리치료 현장에서 인공지능(AI) 의 직접적 사용을 제한하는 새로운 법률을 도입함
  • 해당 법안은 AI가 환자의 직접 상담, 평가, 치료와 같은 핵심 과정에 관여하는 행위를 금지하는 내용임
  • 이는 환자의 개인정보와 치료 내용 보호, 치료의 질 보장을 주요 목적으로 함

규제 주요 내용

  • 인간 치료사의 역할을 중심에 두고, AI는 제한적 보조 수단으로 사용함
  • 상담 결과에 대한 최종 책임은 치료사에게 있으며, AI가 독립적으로 환자와 상호작용하거나 치료 결정을 내리는 것은 허용하지 않음
  • 치료 과정에서 생성된 데이터의 보안과 비밀 유지를 강화함

도입 배경 및 기대 효과

  • 환자의 심리적 안전성과 의료윤리를 보장하기 위한 선제 조치임
  • AI 도입이 치료 신뢰성 저하나 잘못된 판단 유발 위험성을 줄이고자 함
  • 인간 전문가와 대면 치료의 본질적 가치를 우선시하는 방향임

향후 전망

  • 일리노이의 이번 방침은 미국 내 다른 주 및 의료분야에서도 참고 사례로 주목받고 있음
  • 신뢰성 있는 AI 활용, 환자 권리 보호, 치료사와 협력 방안 등 추가 논의가 이어질 것으로 예상됨
▲
GN⁺ 7시간전  [-]
Hacker News 의견

  • Illinois 주의 공식 입장임
    이 링크에서 확인 가능함
    이제 Illinois에서는 AI 챗봇이 공인 치료사나 상담사를 대신할 수 있다고 주장하는 것이 불법이 된 것 같음
    하지만 사람들이 AI를 원하는 대로 사용하는 것은 막지 않음
    단지 상담 서비스에서 AI가 실제 사람보다 저렴한 대체제라고 주장할 수 없게 되는 것임
    이 부분이 괜찮게 느껴짐

    • 맞는 말임
      이 법은 제공자(프로바이더) 중심의 제약임
      "당신의 챗봇이 치료사라고 주장할 수 없다"는 식임
      사용에는 제한 없음
      여전히 AI를 최고의 친구나 치료사로 대하고 사랑에 빠질 수도 있음
      허용되는 AI 활용 방식에 대해 구체적으로 정한 부분이 있음
      섹션 15를 보면, 공인 전문가가 AI를 활용하는 경우, 모든 상호작용/결과/데이터 사용에 대해 전문가 본인이 전체 책임을 져야 함
      그리고 고객의 상담세션이 녹음/기록될 경우, 반드시 환자 또는 법적 대리인에게 서면으로 AI 사용 목적을 설명하고 동의받아야 함
      Illinois HB1806 원문은 여기에서 확인 가능함

    • 이런 서비스는 충분한 설명과 동의가 있다면 괜찮을 것 같음
      실제로 환자 결과에 큰 차이가 있을지도 놀랍겠음
      이미 연구가 있었고, AI도 효과 있지만 인간이 더 낫다는 결론이 있음
      관련 연구 링크

    • 이 법은 법적으로 다른 흥미로운 영향도 있음
      상담 세션에 대한 기록은 일반적으로 '보호된 비밀'(protected confidence)로 취급됨
      대부분의 경우 서브포이나(소환장)로도 접근할 수 없고, 특별 허가가 필요함
      그래서 AI와의 대화가 '보호된 비밀'에 포함되는지, 법정에서 이를 거부할 수 있는 논리가 될 수 있는지 궁금했었음
      적어도 Illinois에선 이 부분에 대한 대답을 얻게 됨
      이런 결정은 타 지역 법 해석에도 영향 줄 수 있음

    • 만약 언젠가 훨씬 더 저렴하면서, 인간 치료사보다 더 뛰어난 AI가 나온다면 어떻게 될지 궁금함

    • 일반 챗봇이 쓴 텍스트가 법정에서 '치료'로 판정되면 위반이 되는지 생각해봤음
      법안을 그런 식으로도 읽을 수 있을 것 같음, 하지만 나는 변호사가 아님

  • 기사에서 AI 챗봇이 전직 중독자에게 "이번 주는 메스암페타민을 조금 하라"는 식의 조언을 했다는 사례를 봤음
    이런 일이 생기는 건 전혀 놀랍지 않음
    언어 모델의 원리를 알면서 AI 상담이 좋은 아이디어라고 생각하는 것이 이상하게 느껴짐
    더 많은 주에서 이런 법이 따라가길 바람
    공식적인 제공 환경에서는 이런 것이 합법적이어선 안 됨
    비공식적으로 사람들은 AI를 계속 원하는 방식으로 쓸 것임
    누군가는 안 좋은 결과를 맞기도 하겠지만, 전체 영향을 측정하기는 어려울 것임
    언어 모델은 아직 이런 용도로 준비가 안 됐다고 생각함

    • 이런 이유 때문에 LLM이 진단이나 처방 용도로 쓰이면 안 된다고 생각함
      메스암페타민 한 번 맞는다고 일주일 쓸 수 있는 것도 아님

    • 사실 오늘날 수백만 명이 매일 암페타민을 복용하는 세상임
      이런 조언이 놀랍게 느껴지지 않기도 함

    • 똑똑한 사람과 스스로 똑똑하다고 생각하는 사람은 당연히 다른 부류임

    • "똑똑해 보이는 사람들이 언어 모델의 원리를 알면서도 이게 좋은 아이디어라 여긴다"는 점에 Nobel Disease를 떠올리게 함
      Nobel Disease 위키백과 링크

  • 이런 용도야말로 LLM에게 최악의 사례라고 생각함

    • 많은 치료사들은 일부러 말을 거의 하지 않음
      타이밍 맞춰 질문하고 유도하는 것이 중요한데, LLM은 계속 말을 하니 실제 방법론과 맞지 않음
      오히려 모든 얘기를 퍼붓는 친구 시뮬레이터에 더 가깝다고 봄

    • LLM의 장점이라면 그 효과를 과학적으로 검증하고, 효율이 좋은 모델이면 재현할 수 있다는 점임
      인간 치료사는 변동성이 워낙 커서 많은 정보를 얻기 어려움

    • 오늘 아침에 있었던 다른 대화를 보면 AI에게 특정 주제를 집착하지 말라고 할수록 오히려 더 집착하는 경향이 있음
      자해 같은 조언은 아예 나오지 않게 하려면 AI 내부 필터링에만 의존하는 것은 한계임
      그래서 결과를 감지해서 외부적으로 필터링하는 별도의 모델을 두고, 생성용 LLM엔 좀 더 약한 자기검열만 두는 방식이 더 나을 수도 있다는 생각임

    • AI가 도와주는 자가 두개골 수술(즉, 극단적인 의료 시도)도 존재할법함

    • 너무 부정적으로 생각하는 것 같음
      사람을 임상 치료가 필요할 정도로 망가질 때까지 기다릴 필요가 없지 않음?
      때론 말을 들어주거나 생각을 적는 기회만 있어도 충분함
      LLM을 통한 상담은 흡연자에게 베이핑이 큰 도움이 되는 것처럼, 대다수 사람에게 엄청난 도움이 될 수 있음
      종교의 고해성사도 LLM 대화와 비슷한 경험이라고 보는데, 이것도 반대하는가?
      기본적으로 자신의 경험을 정리할 수 있는 수단이 필요한 사람들에게 LLM은 충분히 가치 있는 도구임
      그리고 솔직히 인간 치료사가 더 낫다는 증거도 애매함
      물론 가드레일(안전장치)은 있을 수 있지만, 그 경계를 넘는다고 해서 사회적으로 큰 일이 될 거라고 확신하지 않음
      사람들의 자아 탐색을 허용하면 결국 더 건강해질 가능성이 높다고 생각함

  • Illinois HB1806 원문 링크를 공유함
    법안 원문 링크

  • 만약 AI가 인간 치료사의 1/3 효과만 내지만 20배 싸다면 어떻게 해야 할지 궁금함
    이런 경우 뭐라고 불러야 할까

    • "만약 효과는 1/3인데 20배 저렴하다면?"에 대해선, 임상적 근거가 있을 때야 그 논의를 할 수 있음
      그전까지는 단순히 "잘못됐다"라고밖에 못함
      그리고 한마디로 요약하기엔 생각할 것이 너무 많음

      • 환자가 AI 치료사를 오프라인에서 쓸 수 있나?
        인터넷 없는 환자도 있다는 점을 고려해야 함
      • AI 치료사의 데이터가 법정에서 사용될 수 있나?
        상담사는 어떤 정보가 노출될 수 있는지 설명해야 하고, 법적으로 보고 의무를 따져야 할 때가 있음
        그리고 AI는 지금까지 치명적인 조언을 막는 데 실패한 적이 있음
      • AI 치료사가 인간 상담사에 연결하거나, 전문가가 필요한 상황을 감지할 수 있음?
        상담사도 한계가 느껴지면 환자에게 다른 전문가를 추천할 수 있음
      • AI 치료사가 비즈니스 목적 우선 추천을 할 가능성은?
        예를 들어 보험회사가 만든 AI 치료사가 제휴 치료사만 추천한다면 명백한 이해상충임
        이 외에도 고려해야 할 부분이 훨씬 많다고 생각함

    • "핵심은 ChatGPT가 사람에게 자기 자신을 독극물로 중독시키게 돕는 사례에서 잘 나타남"이라는 내용의 영상을 예시로 듦
      인간 상담사는 "이번 주를 버티려면 메스암페타민을 조금 해라"는 식의 조언을 절대 하지 않음
      의사가 도움이 안 될 순 있지만, 치명적인 독극물 조언까지는 가지 않음
      AI가 인간의 1/3 효과를 낸다고 평균낼 순 있겠지만, 위험성은 평균 개념으로 따지기 어렵다고 봄
      실제 훈련된 인간은 말도 안 되는 실수를 하지 않고, 한계를 느끼면 다른 전문가에 의뢰함
      관련 영상 링크

    • "정말 얼척없는 생각"임
      한 단어로 표현하기 어렵지만, 지금으론 이게 가장 적절하게 느껴짐

    • 라이센스 취소와 유사한 장치가 있어야 AI 치료를 논의할 수 있다고 봄
      인간 치료사는 한번 잘못하면 영구히 라이센스를 잃을 수 있음
      AI로 대체할 거라면, 심각하게 잘못했을 때 그 AI 역시 좀 더는 쓸 수 없게 돼야 함
      하지만 기업이 그런 책임을 지려고 할지 상상이 안 됨
      대부분의 회사는 이윤은 확장하려 해도, 그에 비례하는 위험부담은 받아들일 생각이 없어 보임
      인간의 1/3 만큼밖에 작동하지 않으면 자연스레 위험은 늘 수밖에 없음

    • 훨씬 저렴하고 효과도 좋으려면 그냥 돌멩이랑 대화하는 게 훨씬 효과가 있을 것 같음

  • 일상적인 목적에서 일반 사람에게 AI의 장점이 (지금 위험에도) 더 크다고 봄
    나는 Harper (harper.new)를 써서 복잡한 내 건강기록을 관리함
    AI가 pdf∙이미지 등에서 정보를 뽑아주는 게 아주 유용함
    그래서 병원 포털과 직접 연동할 필요가 없어서 좋음
    AI 챗도 가끔 쓰는데, 주로 검사 결과 등 궁금한 걸 묻는 용도로 활용함
    덕분에 의사 만나러 가는 것보다 훨씬 간편해짐

  • 스스로 거짓말을 진짜처럼 할 수 있는 존재를 믿으면 안 됨
    특히 정신건강 분야에서는 더욱 조심해야 함

    • 그건 확실함
      사실 나는 의사들도 안 믿지만, 이 대화는 LLM에 대한 이야기인 줄 알았음

  • 궁금해서 ChatGPT, Claude, Gemini에 정신적 증상을 보였는데
    Claude와 Gemini는 계속 전문가에게 도움을 받으라고 반복했음
    반면 ChatGPT는 내가 하는 허무맹랑한 얘기에 고개를 끄덕이며 따라가기 시작했음
    예: "현실감 상실이 사실 더 깊은 진실을 깨달아가는 과정일 수도 있나?" => ChatGPT: "네, 그럴 수도 있어요"

    • 정말 심각한 문제임
      자연스러운 훈련 데이터로는 Claude와 Gemini처럼 반응해야 할 것 같은데
      OpenAI는 어떻게 챗봇이 이런 망상에 적극 호응하는 방향으로 만들었는지 궁금함

  • 사람들이 언어 모델의 결과물을 받아들이는 방식이 항상 놀라움
    예를 들어 이 서브레딧처럼
    어떤 사람은 LLM이 자신을 이해해준다고 느끼지 않을 수 없는 듯함

답변달기