Hacker News 의견

• Answer.AI의 Jeremy는 새로운 모델 출시가 다양한 스타트업과 프로젝트의 기초가 될 수 있을 것이라고 기대함
  • 블로그 게시물에 언급된 내용은 빙산의 일각에 불과하며, 모델을 다양한 방식으로 세밀하게 조정할 수 있는 많은 기회가 있음
• 인코더 전용 모델은 매달 10억 건 이상의 다운로드를 기록하며, 디코더 전용 모델보다 세 배 더 많음
  • 이는 디코더 사용자가 Hugging Face를 사용하지 않고 API 호출을 사용하기 때문이기도 하고, 인코더가 대부분의 진지한 ML 애플리케이션의 숨은 영웅이기 때문임
  • 랭킹, 추천, RAG 등을 수행하려면 인코더가 필요하며, 일반적으로 BERT, RoBERTa, ALBERT 계열의 모델이 사용됨
• 몇 년 전 BERT 모델을 요약 등에 사용했을 때 기적처럼 느껴졌음
  • Ollama가 라이브러리에 추가할 때까지 기다릴 예정이며, 최근 LLM의 속도 향상이 인상적임
  • Apple은 BERT 모델을 개발자 SDK에서 지원해 왔으며, 새로운 기술로 얼마나 빨리 업데이트할지 궁금함
• 논문을 읽고 로컬 주의 레이어 추가에 감명받았음
  • Lucidrains 저장소에서 몇 년간 실험했으며, 더 발전하지 않은 것이 놀라웠음
  • 추론 속도가 훌륭하며, NSP 제거와 마스킹 증가, RoPE 및 긴 컨텍스트 등 많은 개선이 이루어졌음
  • "ModernTinyBERT"를 만들고 싶지만, 레이어가 복잡하게 얽혀 있어 어려움
• BERT 모델이 현재 어디에서 사용되는지 궁금함
  • 특정 작업에서 LLM보다 더 나은 대안으로 이해했으며, 양방향으로 문맥을 더 잘 이해할 수 있음
  • 그러나 LLM도 강력하여 차이가 미미할 수 있음
• 모델을 SentenceTransformers로 세밀하게 조정할 수 있는지 궁금함
  • ColBERT가 벤치마크에 포함되어 있으며, answerai-colbert-small-v2가 곧 출시될 예정인지 궁금함
• ModernBERT에 대한 RAG 평가를 본 사람이 있는지 궁금함
• Answer.ai 팀이 오늘 성과를 내고 있으며, Jeremy와 팀에게 잘했다고 칭찬함
• 모델이 영어만 지원하는지, 다국어 모델이나 다른 언어의 단일 언어 모델을 출판할 계획이 있는지 궁금함
• 모델 이름을 ERNIE로 짓지 않은 것이 아쉬운 기회였음