날조된 부품번호나 조용히 틀린 계산이 도면·BOM·발주까지 타고 들어가는 업계에서
일하다 보니, LLM 답변을 "검사 통과 전엔 출고 금지" 문서처럼 다루는 하네스를
만들어 몇 달째 실사용 중. 개인·도메인 정보를 걷어낸 큐레이션 스냅샷을 공개함.
- 답변 송출 전 검증 게이트 13종: 날조 차단(부품번호·DOI 추정생성 금지),
산술 Bash 재실행, 프롬프트 인젝션 격리, "돌렸다" 주장 시 실제 도구출력
대조, 실패사례를 회귀 골드셋으로 박제하는 재발방지 게이트 등 - 모든 핵심 수치·인용·인과주장에 신뢰도 3등급 부착 — 기억 기반 인용은
최대 노랑, 초록은 실조회만 - 안전임계 결론은 이종 모델(Gemini·Groq·OpenAI CLI)로 병렬 재유도 후 수렴
판정 — 같은 모델 셀프체크는 같은 맹점을 공유한다는 전제 - 외부 스킬/플러그인은 격리→정적스캔→사람 정독→리빌드 후에만 반입하는
공급망 INTAKE 파이프라인 (자연어 지시문도 코드와 동급 위협으로 취급) - 새 검사기는 섀도 모드로 오탐률 측정 후 승격, 검증된 주장은 원장에 적재해
모순 자동 대조
게이트 훅과 검사기는 실제로 돌아가는 파이썬 코드고, 회귀 테스트도 같이 들어 있음.
클론해서 추가 의존성 없이 바로 실행됨:
python3 eval/tests/test_g9_regression.py --hook hooks/g9_arith_enforce.py
python3 hooks/tests/test_glossary_hook.py
settings.example.json으로 훅을 배선하면 자기 환경에서도 게이트가 동작함.
통째로 까는 배포판은 아니고 훅·검사기 단위로 골라 붙이는 구조.
문서 상당수는 한국어, 아키텍처·README는 영어.