Hacker News 의견

• 나는 이런 LLM 도구들을 쓰지 않음. 항상 같은 프롬프트를 고정해두면 오히려 수정하기 어렵고, 어떤 입력이 어떤 출력을 만드는지 추적하기 힘들어짐
  그래서 매번 정확한 프롬프트를 새로 작성함. 여러 번 대화로 문제를 풀기보다는 한 번에 원하는 답을 얻는 걸 목표로 함

  • 완전 공감함. 나에 대한 추가 맥락이 있으면 더 나은 답을 얻을 수도 있지만, 대부분은 그 ‘기억’이 오히려 혼란을 줌
    초보자에게는 도움이 되겠지만, 우리 같은 HN 사용자에게는 블랙박스를 더 불투명하게 만드는 기능은 반갑지 않음
  • 나도 같은 전략을 씀. 특히 프로그래밍 질문에서 처음부터 필요한 정보를 다 넣는 게 훨씬 나은 결과를 줌
    처음 잘못된 가정으로 시작하면, 이후 수정해도 그 흔적이 남아있음. 인간도 비슷하게 한 번 떠올린 아이디어에 집착하는 경향이 있음
  • 마지막 문단이 핵심임. 대화로 수정하기보다 원래 프롬프트를 정제하는 게 효율적임
    나는 종종 “모호성을 줄이기 위해 5가지 질문을 해줘” 같은 식으로 시작한 뒤, 그 답을 반영해 프롬프트를 다듬음
  • ChatGPT에게 모기지 종류를 물었더니 “TypeScript를 주로 쓰는 크리에이티브 테크놀로지스트로서…”로 시작함
    메모리나 개인화 설정을 제대로 구분하지 못하고 엉뚱한 맥락을 섞어버림
  • 나는 Plan mode까지만 씀. 사실상 프롬프트를 생성하는 프롬프트를 만드는 방식임
    코드 변경 품질이 확실히 좋아졌지만, 서브에이전트나 여러 CLAUDE.md 파일은 안 씀

• Anthropic의 메모리 접근 방식에는 근본적인 결함이 있다고 봄
  메모리를 툴 호출 뒤에 숨겨두는 바람에, 에이전트가 ‘기억해야 할 때를 기억해야 하는’ 순환 문제가 생김
  인간의 기억은 무의식적이고 자동인데, 이건 그 반대임. 반면 OpenAI의 방식은 semantic search 기반이라 손실이 크다는 단점이 있음

• Anthropic이 “안전성 테스트를 광범위하게 진행했다”고 밝힌 건 반가움
  메모리가 잘못된 패턴을 강화하거나, 사용자가 마치 살아있는 존재와 대화하는 듯한 착각을 주는 문제를 방지하려 했다고 함

  • 하지만 그런 주장을 하려면 평가 데이터나 방법론을 공개해야 함. 그렇지 않으면 그냥 ‘느낌으로 테스트했다’는 말로 들림
  • 사실 일정한 사고 패턴의 일관성은 우리가 추구하는 특성이기도 함. 그게 생명체처럼 보이는 건 어쩔 수 없는 현상임
  • 문구가 애매함. 개선을 시도했다는 말이지, 실제로 개선됐다는 보장은 없음
  • 어떤 사람에게는 아첨처럼 보이지만, 다른 사람에게는 정확도 향상으로 느껴질 수도 있음
  • 이런 테스트를 하는 직원들은 끔찍한 내용까지 다뤄야 할 텐데, 그 점이 걱정됨

• Claude에게 “너는 나에 대해 무엇을 알고 있니?”라고 물을 때 느껴지는 섬뜩한 순간이 있음

• Claude Code는 한 세션 안에서도 규칙을 자주 잊음
  “두 메시지 전에 말한 규칙을 벌써 잊었다”고 답할 때가 많음. 여러 프로젝트에 걸친 기억은 더 신뢰하기 어려움

  • 내 claude.md 파일은 프로젝트마다 직접 손봐서 길고 정교함. 너무 짧거나 복잡한 파일일수록 이런 문제가 생김
  • 반복 지시를 instruction.md 파일에 YAML 구조로 정리해두면 성능이 좋아짐. 세션마다 이 파일을 ‘성경처럼’ 강조하면 효과적임

• 나는 이런 기능이 있다면, 체크리스트 형태로 매번 확인받는 게 좋겠음
  예를 들어 “Ubuntu 18을 쓰고 있음”, “라우터는 192.168.1.1” 같은 식으로

  • ChatGPT에서는 이미 이렇게 쓰고 있음. 내 환경을 기억해서 “노트북에서 x 문제가 생겼다”고만 해도 정확한 해결책을 제시함
  • Perplexity나 Grok도 워크스페이스별 프롬프트를 미리 설정할 수 있어서, 환경별로 맞춤 대응이 가능함
  • Claude Code가 내 환경을 확인하지 않고 npm으로 설치해버려서 pnpm 환경이 망가진 적 있음
  • 네 체크박스 방식이 바로 Claude의 Skills 개념과 동일함
  • Claude도 시스템 프롬프트를 커스터마이징할 수 있는지 궁금함. 예전에 ChatGPT에서 “기본 언어는 TypeScript로 가정” 같은 설정을 했었음

• 일반 대화에서는 메모리를 끄고, 프로젝트별로만 켜둘 수 있는지 명확하지 않음
  서로 다른 프로젝트나 일반 대화 간에 기억이 섞이는 건 원치 않음

  • 문서에 따르면 프로젝트마다 독립된 메모리 공간이 있어서 누출되지 않는다고 함
    공식 문서 링크
  • 아마 내부적으로는 Topic1, Topic2 식으로 버킷을 나눠 저장할 것임.
    이런 구조만 잘 잡으면 오염은 일어나지 않음. 사실 메모리 레이어는 단순한 설계 문제임

• 대화가 길어질수록 품질이 떨어지는 현상이 있음
  마지막 부분의 쓰레기 같은 내용이 메모리에 남을까 걱정됨

  • 그래서 나는 GPT를 진지한 작업에는 안 씀. 후반부에 잘못된 정보가 쌓이면 수정이 어려움
    틀린 내용을 잊게 만들 수도 없고, 새 맥락을 덧씌워도 여전히 잘못된 지식을 유지함

• 나는 종종 새 채팅 세션을 시작해서 맥락을 초기화함
  Claude가 스스로의 추측에 빠져 혼란스러워질 때가 있어서, 새로 시작하는 게 더 낫다고 느낌

• Claude 데스크톱에서 MCP 지원 이후 메모리 기능을 써봤는데, 처음엔 흥미로웠지만 점점 쓸데없는 내용이 저장되어 혼란스러워짐
  결국 비활성화했음. ChatGPT의 과도한 아첨 현상도 메모리 때문이라는 말이 있음. 유용하지만 만능은 아님

  • 나도 MCP 메모리 툴을 만들어봤음. 과거 대화 기반 RAG와 그래프 구조를 모두 지원하지만, 맥락이 많아질수록 창의성이 줄어듦
    그래서 반대로 anti-memory 툴도 만들었음. 최소한의 정보만 주고 모델이 스스로 채워넣게 하는 방식임
    정보 노출이 너무 많으면 창의성이 죽고, 너무 적으면 엉뚱해짐. 기억 노출의 균형이 중요함
    Claude의 대화 기록 검색 방식은 이 점에서 괜찮음. 명시적으로 요청할 때만 사용함
    반면 ChatGPT는 과거 대화를 무분별하게 끌어와서 통제가 어려움