3주 전 첫 Show GN 에서 5-tier firewall 만들고 있다고 공유드렸는데, 그 사이 설계 정정 + 실제 ship 한 내용 공유드립니다. 1점/1댓 묻혔지만 진전이 있어서 한 번 더.
▶ 5-tier → 4-tier 정정 (PUSH / QUEUE / SILENT / AUTO)
"Call" tier 는 빼고 보류. PoC 진행 중 데이터로 결정했습니다.
▶ Agent loop end-to-end 완성
미팅 요청 메일 도착 → tier 분류 → Klorn 이 캘린더 conflict 확인 → 답장 + 캘린더 이벤트 draft → PendingAction 으로 대기 → 사용자 1-click approve → 발사. 모든 액션은 발사 전 payload hash 로 서명, ActionReceipt 매치 없으면 실행 불가.
▶ 가장 오래 걸린 부분: invariant test (코드 100줄 미만)
send_email 같은 액션이 사용자 approval 없이 실행되면 build 가 깨지는 테스트. 누군가 approval check 를 제거하면 → 테스트 실패 → 빌드 실패 → 배포 실패. 우회 자체가 옵션이 되지 않습니다. "agent 가 알아서 보내지 않는다" 가 마케팅 문구가 아니라 사실이 되는 이유.
▶ 실제 prod bug 도 하나 잡았습니다
OpenRouter 가 :free model SKU 를 retire 해서 모든 autonomous cycle 이 "404 No endpoints found" 로 죽었음. 기존 failover 는 402 / 403 / 429 만 처리. "모델 사라짐" 은 못 했음. Multi-model fallback chain 박아서 upstream SKU 하나 죽어도 agent 안 죽음.
▶ Day 14+7 retention 측정 중
ICP 5명 활성화가 PoC 통과 기준. 솔직한 피드백 한 줄도 환영합니다.
▶ 60초 영상: https://klorn.ai
▶ 코드: https://github.com/k08200/klorn
베타 무료 + PRO 자동 적용. 첫 글 의견 주신 분들 정말 감사했습니다.
댓글과 토론
질문 하나 — agent / SaaS 운영하시는 분들, agent 가 사용자 의도 없이 행동했을 때 가장 자주 본 failure mode 가 뭐였나요?
저는 운영하면서 본 빈도 순으로:
- Prompt drift — 본인 의도 아닌 답장이 자동 발사
- Model retire — :free SKU 죽으면서 fallback 도 없이 cycle 죽음
- Tool argument 오해 — agent가 잘못된 파라미터로 외부 액션
다른 분들 패턴 궁금합니다.
2번이 빈번했고, 그 대안으로 fallback 하니 프롬프트따라 1번이 발생하고 그에따라 3번이 발생했어요 ㅋㅋㅋ
항상 고급모델 쓰면 그럴일 없겠지만, 아무래도 대고객용 서비스면 소넷급 이상은 부담되니까요 ..
ㅋㅋ 그 순서 진짜 공감해요. 저도 #2 때문에 제일 많이 데였고, free로 떨어뜨리면 프롬프트가 안 맞아서 #1 나는 것도 똑같이 겪었어요.
저는 그래서 어느 순간 모델을 믿는 걸 포기하고 대신 모델이 싸든 비싸든 retire되든 상관없이, 메일 보내거나 지우거나 외부로 넘기는 건 모델이 못 정하게 막아놨어요. 그건 무조건 사람 승인 받고 나가게. 자동으로 도는 건 분류나 읽음처리, 브리핑처럼 되돌릴 수 있는 것만요.
이렇게 해두니까 모델이 drift해도 최악이 "내가 보고 거절할 이상한 제안"이지 "이미 나가버린 답장"은 아니더라고요. #1이 #3까지 안 번져요.
#2는 free SKU 404 뜨는 거 매일 카탈로그 체크로 잡고 fallback 체인으로 우회하는데, 분류기만 유료 flash로 고정했어요. 소넷급 풀로 쓰는 건 저도 대고객엔 부담이라... 분류만 돈 쓰고 제안 만드는 건 free로 두되 승인 게이트가 리스크 먹게 한 거죠.
결국 비용이랑 안전을 같은 축에 안 두는 게 핵심이었던 것 같아요. 모델은 싸도 되는데 게이트는 싸면 안 되니까.