40페이지 Figure 3를 보면 Ou와 Penman(1989)의 59개 재무 예측 변수를 사용한 3층 신경망 모델과 GPT(CoT)를 비교한 결과, GPT가 통계적으로 유의미하게 더 나은 성능을 보이지 않음.
시장은 중요하지만 투기는 시장의 목적이 아님. 돈을 벌고 싶다면 훈련을 받고 좋은 급여를 받는 것이 좋음. 투기는 탐욕의 관점에서 보면 파멸의 위험이 큼. 금융 시스템은 제로섬 게임이며, 국제 금융은 위험이 많음. 친구를 돌보고, 행복을 극대화하며, 정직하고 윤리적으로 행동할 필요가 있음.
일반 시민들이 지방 정부의 재정에 대해 의미 있는 질문을 할 수 있게 하는 것이 가장 큰 변화를 가져올 수 있음. 예를 들어, 일리노이 주 쿡 카운티의 수많은 지방 자치 단체와 선출된 당국이 매월 재무 보고서를 작성하지만 시민의 감시가 부족함.
연구의 역사: 경영진의 발언을 비교하고, 긍정적/부정적 단어를 세어 감정 분석을 수행하며, 트위터와 뉴스 기사를 사용해 실시간 감정 모델을 구축함. LLM(GPT2)으로 감정 분석 모델을 구축했지만, 경영진이 긍정적인 단어만 사용하도록 훈련받아 신뢰성이 떨어짐.
표준화된 LLM 모델이 사용되면, 재무 보고서가 LLM의 결과를 더 유리하게 만들기 위해 조작될 가능성이 있음.
연구 설계에서 텍스트 정보를 제공하지 않음. LLM이 순수한 재무 수치를 분석하고 종합하는 능력을 이해하는 것이 주요 관심사임. 이는 LLM이 수학적 계산을 하지 않고 다음 토큰을 예측하는 방식으로 작동하기 때문임.
LLM 래퍼를 판매하려는 사람들에게: 이 분야는 매우 어려움. 데이터, 분포, 낮은 수요 문제에 직면할 것임. 실제로 이를 사용할 펀드는 이미 사용 중임.
GPT의 예측 능력의 원천을 이해하려고 함. 모델이 재무 분석가 역할을 하도록 지시하고, 주요 재무 비율을 계산하며 경제적 해석을 제공하도록 함. 그러나 LLM은 계산을 하지 않고 다음 토큰을 예측하는 방식으로 작동함.
Greg Diamos가 Lamini에서 발표한 수익 전화 분석을 기억함. 관련 링크는 HuggingFace와 GitHub에서 확인 가능함.
더 큰 컨텍스트 윈도우를 가진 모델(Gemini, Claude Opus)과 비교했으면 흥미로웠을 것임. 그렇지 않으면 제목을 "GPT-4를 사용한 재무 보고서 분석"으로 바꾸는 것이 좋음.
Hacker News 의견