Hacker News 의견

• 샘플러는 모델의 내부 상태에 접근할 수 없음을 언급하지 않음

  • 출력 분포에 수학을 적용하는 것일 뿐, 모델만큼 똑똑하지 않으면 해독할 수 없음
  • 반복 패널티나 DRY 같은 샘플러는 모델이 스스로 반복하지 않도록 하는데, 이는 더 나은 훈련이 필요함
  • 자동 회귀 프로세스를 해킹하는 것은 Min-P 같은 간단한 개선을 가능하게 함
  • 나쁜 모델을 좋은 모델로 바꾸려는 시도는 잘못된 접근임

• Ollama/llama.cpp에 대한 샘플링 가이드를 작성해 보았음

  • 피드백이나 수정 제안에 열려 있음

• LLM이 "아이디어"를 출력하도록 시도할 때, 로짓 벡터 선택이 원래 아이디어를 깨뜨려야 함

  • 아이디어가 완전하다면 로짓에 대한 샘플링이 필요하지 않음

• 모든 것이 간단하게 설명되어 있어 새로운 시도를 할 수 있는 기회를 열어줌

  • 예를 들어, 전체 단어를 토큰으로 사용하는 것은 어떨까?
  • 제한된 "로봇 방언"을 가진 "로봇"을 만들 수 있음
  • 새로운 단어나 희귀 단어의 용량은 없지만, 훈련 데이터와 입력 데이터를 수정하여 기존 어휘로 번역할 수 있음
  • 사용자에게 로봇이 잘 대답할 수 있는 답변의 기대치를 제공함

• LLM 모델이 암묵적으로 토큰화를 수행할 수 있을까?

  • 별도의 토크나이저를 구축하는 대신, 문자 문자열을 사용하고 신경망이 이를 토큰으로 변환하도록 허용
  • 그 네트워크의 가중치는 나머지 LLM과 함께 훈련됨

• 관련하여, 우리의 min_p 논문이 ICLR에서 12000개 제출 중 18위를 차지함

  • 포스터가 인기가 있었음
  • 구두 발표에서 Yoshua Bengio와의 토론이 있었음
  • Top N sigma가 현재 가장 일반적인 샘플러임을 확인할 수 있음
  • 온도는 현재보다 훨씬 높게 조정될 수 있음
  • top_k = 2와 초고온의 특별한 경우는 매우 흥미로움

• 샘플링이 모델의 한계를 정말로 해결하는지, 아니면 더 깊은 문제를 덮는 것인지 궁금함

• "샘플링"이 예상보다 훨씬 많은 것을 다룸

• 매우 유용한 문서이며 설명이 명확하고 많은 내용을 다룸

  • 누가 작성했는지 아는 사람 있는지 궁금함
  • DRY - "반복 패널티" 섹션이 흥미로웠음
  • LLM이 입력의 정확한 복사본을 출력하도록 자주 원함
  • 긴 대화를 요약할 때, 가장 설명적인 정확한 인용문을 요청함
  • DRY 패널티는 이 목표와 상충될 수 있음

• 초기 소프트맥스 온도 선택 이후에 많은 조작이 이루어지고 있음을 깨닫지 못했음