Hacker News 의견

• AI 코딩에서 매우 큰 컨텍스트 윈도우는 실제로 유용하지 않음. 약 25-30k 토큰 이상을 입력하면 모델이 혼란스러워짐

  • gpt-4o, Sonnet, DeepSeek 등에서 이 문제가 발생함
  • 많은 사용자들이 이 문제를 보고하며, 이를 해결하기 위한 전용 도움 페이지를 만듦
  • 큰 컨텍스트는 "저가치" 컨텍스트가 많은 특정 작업에 유용할 수 있으나, 코딩에는 문제를 일으킬 수 있음

• Ollama는 컨텍스트 윈도우 길이를 제어하는 num_ctx 파라미터가 있으며 기본값은 2048임

  • macOS에서 MLX를 사용하여 실행하는 팁이 있음

• 메모리 중심 컴퓨팅의 최신 기술(SOTA)에 대한 논의

  • AI 메모리 비용을 낮추기 위한 새로운 패러다임이 필요할 수 있음
  • DRAM과 광학 인터커넥트를 연결하는 방법이 있을 수 있음
  • 시퀀스에 의존하지 않는 트랜스포머와 같은 기능을 가진 것이 있는지 궁금함

• 128K 이상의 컨텍스트 길이를 가진 첫 번째 로컬 실행 가능한 모델이 1M으로 바로 증가했는지 확인하고 싶음

• Mac에서 긴 프롬프트를 성공적으로 실행한 사람의 의견을 듣고 싶음

• 1M 컨텍스트 윈도우를 가진 API 전용 모델이 11월에 출시됨

• 네이티브 컨텍스트 길이에 대한 소문을 들었으나, 실제로 1M 컨텍스트 길이인지 잘 모름

  • llama3 8b와 같은 모델은 더 큰 컨텍스트를 가진다고 하지만 실제로는 그렇지 않음
  • 16gb vram에서 8k를 넘기기 어려움

• 모두가 컨텍스트 윈도우를 더 크게 만들고 있지만, 출력에 대한 고민도 필요함

  • 수천 줄의 코드를 생성하고 싶음, 이에 대한 팁이 있는지 궁금함