# 생성형 AI의 불편한 골짜기에 대한 고찰

> Clean Markdown view of GeekNews topic #17522. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=17522](https://news.hada.io/topic?id=17522)
- GeekNews Markdown: [https://news.hada.io/topic/17522.md](https://news.hada.io/topic/17522.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2024-11-01T09:38:01+09:00
- Updated: 2024-11-01T09:38:01+09:00
- Original source: [thoughtworks.com](https://www.thoughtworks.com/insights/blog/generative-ai/reckoning-generative-ai-uncanny-valley)
- Points: 8
- Comments: 0

## Summary

생성형 AI는 놀라움을 주는 힘을 가지고 있지만, 기대와 현실의 차이로 인해 불편한 골짜기에 빠질 수 있습니다. 이 기술의 한계를 이해하고, 사용자 경험을 개선하기 위해 멘탈 모델과 AI의 작동 방식을 재평가하는 것이 중요합니다.

## Topic Body

- 생성형 AI는 다른 기술과 달리 놀라움을 줄 수 있는 힘이 있음  
  - 때로는 좋은 것이지만, 때로는 그렇지 않을 수도 있음  
  - 이런 기술 경험의 중심에는 기대하는 질문들이 있음  
    - "정말 내가 기대한 것인가? 출력물이 충분히 좋은가? 아니면 나를 속이고 있는 것인가?"  
- 이론적으로는 생성형 AI가 발전하면서 이 문제가 덜 중요해져야 하지만, 현실에서는 더 '인간적'이 되면서 불길하고 불편해질 수 있음  
  - 이는 로봇공학에서 오랫동안 "불편한 골짜기(uncanny valley)"라고 묘사해온 상황에 빠지게 됨  
- 더 큰 데이터 세트나 더 나은 학습으로 보정할 수 있다며 간과하고 싶을 수 있지만, 기술에 대한 우리의 멘탈 모델의 혼란을 이야기 하는 한 이것은 "인정하고 해결해야 할 문제"임  
  
### 멘탈 모델과 안티패턴  
- 멘탈 모델은 UX와 제품 디자인에서 중요한 개념이지만, AI 커뮤니티에서도 좀 더 적극적으로 수용되어야 함  
  - 일상 생활에서는 잘 나타나지 않는 경우가 많음: AI 시스템에 대해 가정 하는 것이 일상적인 패턴이기 때문에   
- AI 코딩 어시스턴트 인기가 높아지면서 "AI 생성 코드에 대한 안일함"과 "생성형 AI로 페어 프로그래밍 대체"를 피해야 할 두 가지 관행으로 지적함  
  - 둘 다 이 기술이 "실제로 어떻게 작동하는지"와 "한계를 인정하지 않는 잘못된 멘탈 모델"에서 비롯됨  
  - 이러한 도구가 더 설득력 있고 '인간적'이 될수록 기술이 실제로 어떻게 작동하는지와 제공하는 '해결책'의 한계를 인정하기 어려워짐  
- 생성형 AI를 세상에 배포하는 사람들에게도 위험은 비슷하거나 더 두드러질 수 있음  
  - 일반적으로 설득력 있고 사용 가능한 것을 만들기 위한 의도이지만, 사용자를 오도하거나 속이거나 불편하게 만든다면 가치가 사라짐  
  - EU AI Act와 같이 딥페이크 제작자에게 AI 생성 콘텐츠라고 레이블을 붙이도록 하는 법률이 나오는 것은 놀랄 일이 아님  
- AI와 로봇공학뿐만 아니라 크로스 플랫폼 모바일 앱 구축에서도 유사한 문제가 있음  
  - 서로 다른 플랫폼은 사용 방식이 다르기 때문에 전체 경험 설계를 변경해야 함   
  - 마찬가지로 생성형 AI에서도 서로 다른 맥락과 사용 사례에 따라 다른 가정과 멘탈 모델이 있으며, 사용자가 불편한 골짜기에 빠지는 지점이 달라짐  
  - 이러한 미묘한 차이가 LLM 출력에 대한 경험이나 인식을 변화시킴  
- 방대한 양의 합성 데이터를 필요로 하는 의약품 연구자에게는 마이크로 수준의 정확성이 중요하지 않을 수 있지만, 법률 문서를 파악하려는 변호사에게는 정확성이 매우 중요함  
  - 불편한 골짜기에 빠지는 것은 한 걸음 물러서서 기대치를 재평가할 신호일 수 있음  
> "기존의 생성형 AI에 대한 멘탈 모델과 개념은 무시할 수 있는 부차적인 문제가 아니라 근본적인 디자인 문제임"  
> Ken Mugrage & Srinivasan Raguraman  
  
### 관점의 전환  
- 생성형 AI의 불편한 골짜기는 문제일 수 있지만 기술의 한계를 상기시켜주는 도구이기도 함  
- 산업계 전반에 걸쳐 이를 해결하기 위한 흥미로운 시도들이 있었음  
  - 펜실베니아 대학의 Ethan Mollick 교수는 AI를 좋은 소프트웨어가 아닌 "**꽤 좋은 사람들**"로 이해해야 한다고 주장  
    - AI는 인간처럼 특이한 강점과 약점이 있기 때문에 어떤 작업을 맡길 수 있을지 파악하기 어려움  
    - 매뉴얼이 없기 때문에 AI가 잘하는 것이 무엇인지 알아내는 유일한 방법은 함께 일하면서 배우는 것  
  - 즉, 생성형 AI가 할 수 있는 일과 효과적인 곳에 대한 기대는 잠정적이어야 하며 유연해야 함  
  - 어느 정도 가정과 기대를 성찰함으로써 불편한 골짜기를 극복할 수 있는 한 가지 방법일 수 있음  
  
### 블랙박스 풀어내기  
- 사고방식의 전환을 요구하는 것만으로는 충분하지 않음  
  - 첫 걸음이지만, 생성형 AI에 대해 다르게 생각하고 멘탈 모델이 제기하는 과제를 해결하는 데 도움이 되는 실천과 도구도 있음  
- 한 가지 예는 최신 Technology Radar에서 파악한 "[LLM에서 구조화된 출력 얻기](https://www.thoughtworks.com/radar/techniques/summary/structured-output-from-llms)" 기법  
  - 프롬프트할 때 특정 형식으로 응답하도록 지시하거나 파인튜닝을 통해 수행할 수 있음  
  - Instructor와 같은 도구 덕분에 이전보다 더 쉽게 할 수 있게 됨  
  - 기대치와 LLM 출력 간에 더 큰 정렬을 제공한다는 장점이 있음   
    - 예상치 못하거나 완전히 맞지 않는 것이 있을 가능성은 있지만, 이 기법은 그 문제를 어느 정도 해결함  
- 그 외에도 다른 기법들이 있음  
  - Retrieval-augmented generation은 일반적으로 골치 아픈 '콘텍스트 윈도우' 제어 작업을 더 잘 제어하는 방법  
  - 이러한 기법의 성공을 평가하고 측정할 수 있는 프레임워크와 도구를 보게 되어 기쁨  
    - [Ragas](https://www.thoughtworks.com/radar/languages-and-frameworks/summary/ragas)는 충실도와 관련성 같은 것에 대한 메트릭을 AI 개발자에게 제공하는 유용한 라이브러리  
    - [DeepEval](https://www.thoughtworks.com/radar/languages-and-frameworks/summary/deepeval)도 Radar에 소개됨  
- 측정은 중요하지만 LLM에 대한 관련 지침과 정책을 생각하는 것도 중요함  
  - 그래서 [LLM Guardrails](https://www.thoughtworks.com/radar/languages-and-frameworks/summary/llm-guardrails) 탐색을 권장함  
  - 또한 이러한 모델 내부에서 실제로 어떤 일이 일어나고 있는지 더 잘 이해하기 위한 조치를 취해야 함  
    - 이러한 블랙박스를 완전히 풀어내는 것은 불가능할 수 있지만, [Langfuse](https://www.thoughtworks.com/radar/platforms/langfuse)와 같은 도구 덕분에 팀과 조직은 작동 방식에 대해 더 명확한 관점을 얻을 수 있음  
    - 이는 이 기술과의 관계를 재정립하고 멘탈 모델을 바꾸며 불편한 골짜기에 빠질 가능성을 제거하는 데 큰 도움이 될 수 있음  
  
### 결함이 아니라 기회  
- "생성형 AI 도구의 캄브리아 대폭발"이라고 설명한 이러한 도구들은 업계의 핵심에 있는 사람들이 생성형 AI를 재고하고 더 나은 제품을 구축하는 데 도움이 될 수 있음  
- 그러나 더 넓은 세상을 위해서는 이 작업이 보이지 않을 것임   
  - 따라서 도구 체인을 발전시켜 생성형 AI를 더 잘 제어하고 이해하는 방법을 모색하는 것 외에도, 기존의 멘탈 모델과 생성형 AI 개념 자체가 근본적인 디자인 문제라는 점을 인정하는 것이 중요함  
  - 앞으로 나아가면서 무시할 수 있는 부차적인 문제가 아님  
> "생성형 AI의 불편한 골짜기는 고쳐야 할 문제가 아니라 우리가 이 기술에 대해 정말로 원하고 기대하는 바를 재평가할 기회임"

## Comments



_No public comments on this page._