설치형, 혹은 웹ui 인터페이스 등 ai를 사용할때 인풋과 아웃풋, 프로세스의 동작(웹검색이나, 실행권한, 실행 등) 이러한 시스템적으로 보여지는 모든 행위들을 로깅하는 도구나 프로젝트가 있을까요?
부분적으로라도 좋습니다. 상용 서비스라던지,
클로드 코드같은경우 cmd에서 calude처서 클로드 실행하고 이후 인풋과 아웃풋, 돌아가면서 클로드 프로세스가 실행한 작업(네트워크, 로컬행위 등)에 대한 로깅...
댓글과 토론
제가 만든 것을 댓글로 남겨도 되는지 모르겠지만, 혹시 이러한 툴을 찾고 계신 건지 도움이 될 듯 하여 댓글을 남깁니다.(금지된 사항이라면 죄송합니다.)
AI의 모든 행위는 아니지만, 무엇을 참조해서 어떤 답변이 나왔는지 로깅하는 서비스를 만들고 있습니다. 단순 시맨틱 허브에서 피봇 했어요. 머클 트리 기반으로 외부 원장에 해시를 기록하고, rekor를 통해 witness를 적용하여 위변조를 방지 했습니다.
파라미터 수가 적은 비 LLM 모델이라면 zkml을 적용해서 입력에 따른 답변 출력의 정합성도 체크할 수 있습니다.
아래의 데모 오딧 로그를 페이지 메인 하단의 로그 증명 검증기에 넣어주시면 어떤 걸 체크할 수 있는지 확인하실 수 있습니다.
페이지 : https://hub.rawctx.dev/
데모 오딧 로그 : https://github.com/pasar6987-create/rawctx-demo-audit-log/…
주제 넘지만, 이런 댓글은 커뮤니티 분위기에 부정적인 영향을 주는 것 같습니다.
궁금한게 있으면 자유롭게 물어볼 수 있는게 좋을 것 같고,
당신이 찾아봐라 식의 이야기는,,
특히나 AI slop에 지치신 분들도 많아서 LLM답변에 의존하라는 건 더더욱..
argos 엿나 커서마피아? 토스 개발자 출신 바이브코딩 하시는 분이 운영하시는 서비스가 있는데, 셀프호스팅도 가능하고 api키나 플랜에서 여러 계정을 모니터링 할 수 있고 얼마나 세션이 돌았고 툴은 무엇을 썻고 등등 말씀하시는 기능들이 있을 것 같네요.
클로드만 됐었나 기억은 잘 안나는데, 맞춤형으로 만드실거면 뜯어봐도 좋을 것 같습니다.
클로드 코드 쪽이라면 cc-token-saver (https://github.com/ww-w-ai/cc-token-saver) 를 한번 써보세요.
Claude Code는 세션마다 transcript (.jsonl)에 모든 인풋/아웃풋과 tool 호출(파일 읽기, 쓰기, bash 실행, 웹 요청 등)을 기록하는데, cc-token-saver가 이걸 파싱해서 세션별로 뭘 했는지, 토큰을 어디에 얼마나 썼는지 HTML 대시보드로 시각화해줍니다. "이 세션에서 AI가 어떤 파일을 건드리고, 몇 번 명령을 실행하고, 비용이 얼마 들었는지" 한눈에 볼 수 있어요.
특히 /continue 스킬은 트랜스크립트를 분석해서 기존의 세션들을 복원하는 기능인데, 트랜스크립트 분석 기능은 동일하게 쓸 수 있기 때문에 "/continue ~한 경우에 대해 인풋, 아웃풋, 네트워크 정보 분석해." 이렇게 지시하셔도 됩니다. (LLM 이 알아서 적당히 변형해서 적용)