19P by cjb9452 5일전 | ★ favorite | 댓글 8개

안녕하세요. 개인 포트폴리오를 관리하기 위해 토이 프로젝트로 시작했다가, 점차 판이 커져 31개의 LLM 에이전트 시스템을 구축하게 된 학생 개발자입니다.

초기에는 사용자를 모으기 위한 B2C 종목 추천 웹서비스로 기획했습니다. 하지만 막대한 API 통신 비용 문제와 효용성 검증 문제에 부딪혔습니다. 그래서 사용자 확보(마케팅)를 포기하고, UI/UX를 모두 걷어낸 뒤 제 실계좌(1,000만 원)를 직접 연결하여 AI가 모든 판단과 매매를 알아서 수행하는 파이프라인으로 피벗하여 운영 중입니다.

그동안 고민하며 구축한 아키텍처와 기술적인 삽질 경험을 GeekNews 분들과 공유하고자 합니다.


🧠 시스템 아키텍처: 6단계, 31개 에이전트 교차 검증

이 시스템(K-Agent Alpha)은 단일 프롬프트가 아닌, 완전한 탑다운(Top-Down) 투자 방식을 모사한 Multi-Agent 릴레이 파이프라인으로 작동합니다. 약 1시간 동안 순차적으로 실행됩니다.

  1. 포트폴리오 & 심리 분석 (Phase 0~1):

    • KIS(한국투자증권) API로 실제 잔고를 불러오고, 기존 매매의 승률을 분석해 피드백 루프를 돕습니다.
    • 변동성(VIX), 환율, KOSPI 등락 등 5개 지표를 기반으로 시장 스탠스를 규정합니다.
  2. 거시경제 팀 (Phase 2 - 7개 에이전트):

    • 금리, 환율, 파생상품 에이전트들이 FRED, 한국은행 API 등을 통해 글로벌 유동성을 분석합니다.
    • 단방향 사고를 막기 위해 Base/Bull/Bear 3가지 시나리오를 강제로 도출하게 설계했습니다.
  3. 산업/섹터 팀 (Phase 3 - 10개 에이전트):

    • 시스템에서 가장 정교한 파이프라인입니다. 외인/기관 실시간 수급, 업종 PER, 검색 뉴스를 바탕으로 유망 업종을 스크리닝합니다.
    • LLM 특유의 환각(없는 주식을 추천)을 잡기 위해, 상장폐지 여부나 시총 미달을 기계적으로 필터링하는 Validator 에이전트를 배치했습니다.
  4. 기업분석 및 리스크 팀 (Phase 4 - 8개 에이전트):

    • DART 재무제표, 차트(기술적 지표), 뉴스를 뜯어보고 후보를 올립니다. 리스크 매니저가 공매도 압력과 MDD를 검증합니다.
  5. 최종 결정권자 CIO (Phase 5 - 1개 에이전트):

    • 30명(Gemini Flash)의 산출물을 가장 똑똑한 gemini-3.1-pro-preview 원탑 모델이 취합합니다.
    • 매몰 비용 오류(Sunk Cost Fallacy) 등을 막기 위해 무조건 "내가 틀렸을 때의 Bear Case 시나리오""투자 무효화 조건" 을 명시하도록 'Bounded Autonomy' 프롬프트를 적용했습니다. 여기서 생성된 JSON이 제 한국투자증권 API로 쏘아집니다.

💡 트러블 슈팅: LLM의 인지 편향과 트래픽 폭주

시스템을 운영하며 두 가지 뼈아픈 문제를 겪고 해결했습니다.

  1. LLM은 손절을 못 한다 (처분 효과):
    • AI는 수익 난 종목은 조금만 올라도 팔고 싶어 하고, 물린 주식은 "언젠가 오를 것"이라며 방치하는 인간의 인지 편향을 똑같이 재현했습니다. 이를 막기 위해 어제와 오늘의 결정이 모순될 경우 왜 스탠스가 바뀌었는지 명시하게 하고, 스스로 자신의 과거 승률을 평가해 반박(Red-Teaming)하도록 로직을 수정했습니다.
  2. 31개 에이전트의 API 트래픽 한계 (Rate Limit & Context Limits):
    • 20~30개 종목을 깊게 분석하다 보니 토큰이 터지거나 외부 API Limit이 막히는 현상이 지속되었습니다. 결국 재무, 차트 지표 등 대량의 데이터는 get_fundamental_batch_all처럼 백단에서 한 방에 말아서 밀어 넣는 Batch 처리 아키텍처로 개편하여 실행 시간을 1시간 이내로 안정화했습니다.

📊 AI가 실제로 내뱉는 로그 예시

위 과정이 끝나면 AI는 아래와 같이 상당히 딥한 수준의 전략 리포트(로그)를 출력합니다.

(AI가 어제 작성한 실제 거시경제 진단 로그 중 일부 추출)
"PPI(생산자물가) 반등 폭(2.43%)이 CPI(2.0%)를 추월하면서 기업들의 마진 스퀴즈(Margin Squeeze)가 현실화되고 있습니다...
선물 시장은 -1112.61의 깊은 백워데이션 상태를 기록하고 있습니다.
유가가 100달러를 돌파하고 환율이 1,520원을 넘어서는 'Sudden Stop' 국면 진입 가시화.
현금 비중을 34% 수준까지 대폭 상향 조정. 전방위적 저평가 매력이 돋보이는 조선기자재 편입."


💻 실행 결과 및 로그 관전하기

아직 전체 소스코드가 제 보안 키들과 실계좌 로직들로 엉켜 있어, 오픈소스로 바로 git clone 해서 실행해 보실 수 있게 올리지는 못했습니다 (추후 핵심 프롬프트와 파이프라인은 정리해서 깃허브에 올릴 예정입니다).

대신, 이 31개의 프롬프트 파이프라인이 실제로 하루 1시간씩 토론하고 어떤 의사결정 로그(결과물)를 내뱉는지 평가해 보실 수 있도록 전용 텔레그램 채널을 연동해 두었습니다.

  • 랜딩 페이지나 이메일 수집, 마케팅 목적이 전혀 아닙니다.
  • 사람이 개입하지 않고 100% LLM이 자동 생성하는 기관급 투자 리포트와 그로 인한 실시간 매매 내역(실계좌 연동)이 매일 오후 3시 5분에 스트리밍으로 올라갑니다.

👉 실시간 AI 판단 로그(리포트) 채널: t.me/K_Agent_Alpha

현재 멀티 에이전트 시스템이나 프롬프트 엔지니어링 쪽에 관심 있으신 분들이 보시고, 아키텍처나 AI의 판단 오류 수정에 대해 따끔한 조언이나 기술적인 피드백을 주시면 정말 감사하겠습니다!

LLM 은 추론 시간이 있기에 실시간 매매나 HFT 같은 고빈도 매매 에는 대응이 느립니다. 최소 5분봉 기준으로만 가능 합니다. 거기에 LLM 모델을 여러개 엮어도 능력이 더 뛰어 나거나 하지 않습니다. 차라리 5개 정도의 LLM 으로 로직이나 LSTM 모델에서는 캐치 하지 못하는 시장이나 커뮤니티 의 분석 환희 인지 공포인지 같은 감정적 분석을 맡기고 어드밴스드ppo cnn lstm(과거차트 데이터분석) 같은 딥러닝들과 거기에 사용자 만에 분석 로직에 따른 매매 방법을 앙상블로 엮어야 합니다. 초단기 매매는 LSTM, cnn 같은 딥러닝 모델이 맞습니다.

그 부분 충분히 고려하고 있습니다. 그래서 장 마감 종가베팅을 통해서 고빈도 매매를 피하려고 합니다.

조금더 팁을 드리자면 소형 llm 모델을 sft(ntr) 튜닝을 통해서 특정 도메인 특화로 만드는 것입이나 그것들은 로컬에서 돌리고 api 는 대형 언어모델 하나만 사용 하고요! 7B 나 3B 정도 되는 것들 특정 분석용 으로 특화하면 좀더 좋은 결과가 나옵니다. 아! sft(ntr) 할땨 ai hub 적극 이용하시면 데이터셋 만들기 편합니다. ( 저도 비슷한걸 만들어 본적이 있어서요 ^^;)

아참 꼭 한두달 은 꼭 백테스팅 이 필요 합니다. 안그러면 llm 이 이상한짓 해서 자산 날리는걸 목격 할수도 있습니다.(저점에 매수 고점에 매도)

대단히 정교한 환각 덩어리를 만드셨네요... 시장은 예측할 수 없습니다. 만드신걸로 자산이 두배 이상 불어난다면 제가 틀렸음을 인정 하겠습니다.

환각일 수도 있습니다. 그래서 저도 지켜보려고 합니다. 제 돈을 건만큼 계속해서 업데이트를 해야 될 겁니다. 일종의 실험입니다.