LangChain 스킬 공개, Claude Code 통과율 25% → 95%로 끌어올린 방법

LangChain이 코딩 에이전트 성능을 극적으로 향상시키는 "스킬(Skills)" 세트를 공개.

특히 Claude Code 같은 모델이 LangChain/LangGraph/LangSmith 관련 태스크를 수행할 때, 스킬 없이 25% 정도만 성공하던 것이 스킬 장착 후 95% 까지 올라갔고, LangSmith 관련 태스크는 17% → 92%로 크게 개선됨.

공개된 스킬 종류

• LangChain 스킬 11종: 에이전트 기본 루프, LangGraph의 Human-in-the-Loop, Deep Agents 등
• LangSmith 스킬 3종: 트레이싱, 데이터셋 구축, 에이전트 평가
  → LangSmith CLI도 함께 공개 (터미널에서 트레이스 조회·데이터셋 관리·실험 실행 가능)

평가 결과 & 교훈

• 스킬 사용 시 Claude Code 완료율 82% vs 미사용 9%
• 스킬 호출 정확도: 너무 많으면 (20개) 오작동 ↑ → 12개 정도로 줄이면 정확도 ↑
• AGENTS.md나 CLAUDE.md에 “언제 어떤 스킬 쓸지” 명확히 안내해야 효과 극대화

미래 전망

• LangSmith 스킬을 활용하면 에이전트가 자기 실행 로그 분석 → 문제 요약 → 테스트 데이터셋+평가자 자동 생성이라는 자기개선 루프를 돌릴 수 있게 됨.
• 앞으로는 “에이전트가 에이전트를 개선하는” 터미널 기반 사이클이 주류가 될 가능성 제시.