Gemini Pro 1.5 일주일 사용후기 - 정말 환상적임
(every.to)- 구글의 새로운 비공개 베타 LLM인 Gemini Pro 1.5은 이전 모델들보다 훨씬 개선된 성능을 보여줌
- Gemini 1.5 Pro는
- 전체 소설을 읽고 중간에 숨겨진 장면에 대해 상세히 설명함
- 전체 코드베이스를 읽고 새 기능을 추가할 위치와 예제 코드를 제안함
- Readwise에서의 독서 하이라이트를 모두 읽고 에세이 작성을 위한 하이라이트를 선택함
- 한 번의 프롬프트로 최대 100만 토큰을 처리할 수 있음
- 다른 모델들과 비교했을 때, Gemini Pro 1.5의 컨텍스트 윈도우가 훨씬 큼(GPT-4 Turbo는 128000개여서 약 8배에 달함)
- 큰 컨텍스트 윈도우를 사용해도 대규모 프롬프트를 뛰어나게 처리
- 다른 모델들은 프롬프트 크기가 커질수록 성능이 저하되는 반면, Gemini는 그러한 문제가 없음
- 주의 사항
- Gemini Pro 1.5는 아직 비공개 베타이며, 공개 시 성능이 달라질 수 있음
- Gemini Pro 1.5는 처리 속도가 느림, 특히 대규모 요청에 대해서는 더욱 그러함.
- OpenAI는 추격해야 할 부분이 있으며, 정보 검색 기능은 여전히 중요함
소설을 붙여넣기하고 대화를 해봤는데, 조금만 야한 표현이 나와도 처리를 거부함. 필터수준을 낮추어도 여전히 안되는 소설이 존재함. 확장성보다는 안전성을 택한 듯.
여태 뭐하나 나올때마다 호들갑은 계속 떨었는데 openAI 넘는건 하나도 없었던 거같은데..
개인적으론 모든 백본을 Mamba로 교체한 LLM이 빨리 나왔으면 하네요
Hacker News 의견
- AI에게 전체 책의 텍스트를 먹이는 아이디어가 마음에 든다. 소설을 읽다가 등장인물을 기억하지 못할 때가 종종 있는데, e리더에서 이름을 강조하면 '뉴로맨서' 85페이지를 읽고 있는 것을 인지하고 스포일러 없이 답을 주었으면 좋겠다. 또는 문제를 풀다 막힐 때 좋은 공부 파트너처럼 도움과 힌트를 줄 수 있는 교과서도 있으면 좋겠다.
- 구글의 정체성 정치 때문에 책의 사실을 변경하지 않을 거라고 확신할 수 있나? 문제가 되는 책을 넘겼을 때 내용을 조정하나? 이런 이유로 나에게는 완전히 쓸모없다.
- 이런 주제에 대해 읽고 싶은 정확한 예와 균형, 주의점을 제공하며 자신의 이해관계(예: 'LlamaIndex'에 투자자임)를 밝힌 기사
- RAG를 버리지 않고 이와 결합하여 거대한 컨텍스트 창을 사용하는 것이 어떻게 될지 가장 기대된다. 전체 책을 파싱하여 관련 부분을 식별하고 전체 책을 컨텍스트 창에 넣을 수 있다면, 전체 참고 도서관의 관련 부분도 컨텍스트 창에 넣을 수 있다는 의미이며, 이는 매우 유망하다
- 몇몇 사람들이 이미 며칠간 접근해본 결과, 이것은 단순히 길이가 아닌 활용 면에서 진정한 컨텍스트 창의 발전이다. 다른 모델들보다 훨씬 더 잘 활용한다. 그것이 어떻게 가능한지 공유하지 않은 것이 아쉽다.
- 그렇게 하면 비용이 엄청나게 들지 않을까? gpt-4에 최대치를 먹이면 이미 한 번의 상호작용에 $1.28이 든다! Gemini는 그보다 훨씬 저렴한가?
- NSA에서는 이 기술이 열어줄 가능성에 대해 손을 비비고 있을 것이다. 그들이 수년간 열심히 저장해온 데이터를 조회하는 데 이용할 수 있을 것이다
- 코드베이스 전체를 읽고 새 기능을 추가할 위치를 제안하며 샘플 코드까지 제시한다. 이것이 드럼 머신의 발명과 같이 드러머를 없애지 않았듯이, 마차를 없앤 자동차의 발명과 같지 않기를 희망한다.
- 이 모델들은 공개될 때 종종 다르게(더 나쁘게) 작동하며, Gemini가 구글 규모에서 작동할 때 어떻게 될지 모른다. 구글이 ChatGPT의 점점 떨어지는 명성에서 배우고, 모델이 최고 성능을 유지할 수 있는 방법을 찾기를 진심으로 바란다. 접근을 제한하든 가격을 올리든, 또는 둘 다든, 공개될 때 이 모델과 높은 품질의 경험을 하고 싶다.