GN⁺: LLM을 활용한 재무제표 분석
(papers.ssrn.com)- 대형 언어 모델(LLM)이 전문 인간 분석가와 유사하게 재무제표 분석을 성공적으로 수행할 수 있는지 조사
- 표준화되고 익명화된 재무제표를 GPT-4에 제공하고, 모델이 미래 수익의 방향을 예측하도록 지시
-
주요 발견
- 예측 성능: LLM은 내러티브나 산업별 정보 없이도 수익 변화 예측에서 금융 분석가를 능가함
- 상대적 우위: 분석가들이 어려움을 겪는 상황에서 LLM이 상대적 우위를 보임
- 예측 정확도: LLM의 예측 정확도는 좁게 훈련된 최신 ML 모델의 성능과 동등함
- 내러티브 통찰: LLM의 예측은 훈련된 메모리에서 비롯된 것이 아니라, 회사의 미래 성과에 대한 유용한 내러티브 통찰을 생성함
- 거래 전략: GPT의 예측을 기반으로 한 거래 전략은 다른 모델 기반 전략보다 높은 샤프 비율과 알파를 제공함
GN⁺의 의견
- LLM의 잠재력: 대형 언어 모델이 재무 분석에서 인간 분석가를 능가할 수 있다는 점은 금융 업계에 큰 변화를 가져올 수 있음. 이는 자동화된 분석 도구의 발전 가능성을 시사함.
- 모델의 투명성: LLM이 내러티브 통찰을 제공한다는 점은 모델의 예측 과정이 더 투명하고 이해하기 쉬울 수 있음을 의미함. 이는 금융 분석가들이 모델을 신뢰하고 활용하는 데 도움이 될 수 있음.
- 거래 전략의 유용성: GPT 기반 거래 전략이 높은 성과를 보인다는 점은 투자자들에게 큰 매력을 줄 수 있음. 그러나 이는 모델의 예측이 항상 정확하다는 보장은 아니므로 신중한 접근이 필요함.
- 기술 도입 고려 사항: 데이터의 품질과 모델의 훈련 과정이 중요함. 또한, 모델의 예측이 실제 시장 상황과 어떻게 일치하는지 지속적으로 검토해야 함.
- 관련 기술 및 프로젝트: 금융 분석에서 유사한 기능을 제공하는 다른 프로젝트로는 AlphaSense, Kensho, 그리고 Bloomberg의 GPT-3 기반 분석 도구 등이 있음. 이들 도구와의 비교를 통해 LLM의 장단점을 더 명확히 이해할 수 있음.
Hacker News 의견
- 40페이지 Figure 3를 보면 Ou와 Penman(1989)의 59개 재무 예측 변수를 사용한 3층 신경망 모델과 GPT(CoT)를 비교한 결과, GPT가 통계적으로 유의미하게 더 나은 성능을 보이지 않음.
- 시장은 중요하지만 투기는 시장의 목적이 아님. 돈을 벌고 싶다면 훈련을 받고 좋은 급여를 받는 것이 좋음. 투기는 탐욕의 관점에서 보면 파멸의 위험이 큼. 금융 시스템은 제로섬 게임이며, 국제 금융은 위험이 많음. 친구를 돌보고, 행복을 극대화하며, 정직하고 윤리적으로 행동할 필요가 있음.
- 일반 시민들이 지방 정부의 재정에 대해 의미 있는 질문을 할 수 있게 하는 것이 가장 큰 변화를 가져올 수 있음. 예를 들어, 일리노이 주 쿡 카운티의 수많은 지방 자치 단체와 선출된 당국이 매월 재무 보고서를 작성하지만 시민의 감시가 부족함.
- 연구의 역사: 경영진의 발언을 비교하고, 긍정적/부정적 단어를 세어 감정 분석을 수행하며, 트위터와 뉴스 기사를 사용해 실시간 감정 모델을 구축함. LLM(GPT2)으로 감정 분석 모델을 구축했지만, 경영진이 긍정적인 단어만 사용하도록 훈련받아 신뢰성이 떨어짐.
- 표준화된 LLM 모델이 사용되면, 재무 보고서가 LLM의 결과를 더 유리하게 만들기 위해 조작될 가능성이 있음.
- 연구 설계에서 텍스트 정보를 제공하지 않음. LLM이 순수한 재무 수치를 분석하고 종합하는 능력을 이해하는 것이 주요 관심사임. 이는 LLM이 수학적 계산을 하지 않고 다음 토큰을 예측하는 방식으로 작동하기 때문임.
- LLM 래퍼를 판매하려는 사람들에게: 이 분야는 매우 어려움. 데이터, 분포, 낮은 수요 문제에 직면할 것임. 실제로 이를 사용할 펀드는 이미 사용 중임.
- GPT의 예측 능력의 원천을 이해하려고 함. 모델이 재무 분석가 역할을 하도록 지시하고, 주요 재무 비율을 계산하며 경제적 해석을 제공하도록 함. 그러나 LLM은 계산을 하지 않고 다음 토큰을 예측하는 방식으로 작동함.
- Greg Diamos가 Lamini에서 발표한 수익 전화 분석을 기억함. 관련 링크는 HuggingFace와 GitHub에서 확인 가능함.
- 더 큰 컨텍스트 윈도우를 가진 모델(Gemini, Claude Opus)과 비교했으면 흥미로웠을 것임. 그렇지 않으면 제목을 "GPT-4를 사용한 재무 보고서 분석"으로 바꾸는 것이 좋음.