- 최근 국내외 커뮤니티에서 context engineering 이라는 키워드가 유행하곤 함.
- 많은 사람들이 에이전트 워크플로에 집중하지만, 자동화된 LLM 워크플로뿐 아니라 학습이나 아이데이션 등 매일 단위로 llm을 사용하는 경우에도 마찬가지임.
- 예를 들어 ‘강화학습’이라는 주제에 대해 llm과 대화하던 중, 코드가 궁금해져서 코드를 물어보면, 다음 질문에 대해서도 전부 코드로 대답하는 등 맥락이 오염됨. 컨텍스트에 대한 걱정은 우리의 사고 흐름을 방해함.
다른 UI의 필요
- 분기를 그래프 형태로 표시하면 대화 맥락을 빠르게 스위칭할 수 있음.
- Chat UI를 넘어 대화 맥락을 빠르게 선택할 수 있는 인간 중심적 인터페이스를 제공하여 문제에 접근함.
사용량 기반 과금 정책 채택
- LLM Provider들의 높은 구독료는 사용자의 컨텍스트에 대한 통합 비용일 수 있음. 대부분의 사용자는 컨텍스트를 고려하지 않고 llm을 사용함.
- 컨텍스트를 적절히 제어하며 gpt-mini를 사용하는 경우, 월 5달러 이내로 충분히 사용 가능함.
- 7일간 사용했지만 사고 확장을 잘 제어하며 사용하니 구독료 포함 1.5달러가 청구됨.