AI에게 전체 책의 텍스트를 먹이는 아이디어가 마음에 든다. 소설을 읽다가 등장인물을 기억하지 못할 때가 종종 있는데, e리더에서 이름을 강조하면 '뉴로맨서' 85페이지를 읽고 있는 것을 인지하고 스포일러 없이 답을 주었으면 좋겠다. 또는 문제를 풀다 막힐 때 좋은 공부 파트너처럼 도움과 힌트를 줄 수 있는 교과서도 있으면 좋겠다.
구글의 정체성 정치 때문에 책의 사실을 변경하지 않을 거라고 확신할 수 있나? 문제가 되는 책을 넘겼을 때 내용을 조정하나? 이런 이유로 나에게는 완전히 쓸모없다.
이런 주제에 대해 읽고 싶은 정확한 예와 균형, 주의점을 제공하며 자신의 이해관계(예: 'LlamaIndex'에 투자자임)를 밝힌 기사
RAG를 버리지 않고 이와 결합하여 거대한 컨텍스트 창을 사용하는 것이 어떻게 될지 가장 기대된다. 전체 책을 파싱하여 관련 부분을 식별하고 전체 책을 컨텍스트 창에 넣을 수 있다면, 전체 참고 도서관의 관련 부분도 컨텍스트 창에 넣을 수 있다는 의미이며, 이는 매우 유망하다
몇몇 사람들이 이미 며칠간 접근해본 결과, 이것은 단순히 길이가 아닌 활용 면에서 진정한 컨텍스트 창의 발전이다. 다른 모델들보다 훨씬 더 잘 활용한다. 그것이 어떻게 가능한지 공유하지 않은 것이 아쉽다.
그렇게 하면 비용이 엄청나게 들지 않을까? gpt-4에 최대치를 먹이면 이미 한 번의 상호작용에 $1.28이 든다! Gemini는 그보다 훨씬 저렴한가?
NSA에서는 이 기술이 열어줄 가능성에 대해 손을 비비고 있을 것이다. 그들이 수년간 열심히 저장해온 데이터를 조회하는 데 이용할 수 있을 것이다
코드베이스 전체를 읽고 새 기능을 추가할 위치를 제안하며 샘플 코드까지 제시한다. 이것이 드럼 머신의 발명과 같이 드러머를 없애지 않았듯이, 마차를 없앤 자동차의 발명과 같지 않기를 희망한다.
이 모델들은 공개될 때 종종 다르게(더 나쁘게) 작동하며, Gemini가 구글 규모에서 작동할 때 어떻게 될지 모른다. 구글이 ChatGPT의 점점 떨어지는 명성에서 배우고, 모델이 최고 성능을 유지할 수 있는 방법을 찾기를 진심으로 바란다. 접근을 제한하든 가격을 올리든, 또는 둘 다든, 공개될 때 이 모델과 높은 품질의 경험을 하고 싶다.
Hacker News 의견