ChatGPT의 미래 텔링 능력: 향상된 예측을 위한 내러티브 프롬프트 탐색

• 본 연구는 OpenAI의 ChatGPT-3.5와 ChatGPT-4의 예측 능력을 직접 예측과 미래 내러티브라는 두 가지 뚜렷한 프롬프트 전략을 사용하여 조사한다.

• 분석은 2021년 9월 모델의 훈련 데이터 컷오프 이후 2022년에 발생한 이벤트에 초점을 맞추어 미래 이벤트를 예측하는 능력을 평가한다.

• 연구 결과는 향후 내러티브 프롬프트가 특히 주요 아카데미상 수상자와 경제 동향을 예측하는 데 ChatGPT-4의 예측 정확도를 크게 향상시킨다는 것을 보여준다.

• ChatGPT의 내러티브 프롬프트는 환각 내러티브 구성을 위한 능력을 활용하여 직접 예측에 비해 보다 효과적인 데이터 합성 및 외삽을 가능하게 한다.

• 이 연구는 대형 언어 모델(LLM) 예측 능력의 새로운 측면을 강조하고 분석 맥락에서 잠재적인 응용 프로그램을 제안한다.

• 연구팀은 2명의 연구 보조원을 고용해 프롬프트당 50회 ChatGPT에 질의해 답변 분포를 생성한 결과 프롬프트당 총 100회 시행됐다.

• 결과는 각 프롬프트에 대한 답변의 전체 분포를 설명하는 상자 그림으로 표시되어 모델의 성능과 한계에 대한 통찰력을 제공한다.