Show GN: CRoM v1.0.2 오픈소스 툴킷 - 토큰 소모 감소 · 속도 개선 · 긴 대화 변질 방지

제가 직접 만들고 꾸준히 업데이트해온 CRoM (Context Rot Mitigation for Efficient LLMs) 의 새로운 버전 v1.0.2를 공개합니다.

CRoM은 긴 프롬프트에서 발생하는 Context Rot(지침 흐림, 추론 드리프트, 기억 손실) 문제를 완화하여, LLM이 더 안정적이고 효율적으로 컨텍스트를 활용할 수 있도록 돕는 파이썬 툴킷입니다.

🔑 주요 기능:
▫️Budget Packer: 토큰 예산 내에서 중요한 텍스트만 안정적으로 압축
▫️Hybrid Reranker: TF-IDF + Dense 임베딩 기반 문서 재정렬
▫️Drift Estimator: 응답 간 의미 변화 모니터링
▫️Observability: Prometheus 메트릭 기반 모니터링
▫️플러그인 확장: FlashRank, LLMLingua, Evidently 지원
▫️Benchmarking: CLI로 end-to-end 평가 및 성능 분석

📊 최신 v1.0.2에서는 ImportError 및 SyntaxError 수정, 버전 관리 일관성 개선, 통합 테스트(10+ 케이스) 추가, 1,000+ 문서 성능 검증이 포함되었습니다.

🔗 링크
▫️GitHub Release: https://github.com/Flamehaven/…
▫️Demo: https://huggingface.co/spaces/Flamehaven/crom-demo
▫️제작 스토리: https://medium.com/p/ab356e656d88