자신의 컴퓨터에서 제한없이 한영-영한 AI 번역이 가능합니다.
그럼요. 해결해야죠.
그런데 일단 어떻게 안되는 건지 상태를 좀 알아야 해요.
https://github.com/vEduardovich/dodari/issues
위 도다리 깃험에서 new issues 버튼을 눌러 새로 이슈를 만드신후
어떻게 안되는건지 스샷이나 상황들은 조금만 더 자세히 설명해주실 수 있을까요?
꼭 해결하겠습니다
말씀해 주신 부분이 현재 제가 느끼는 가장 아쉬운 부분입니다.
지금 도다리에서 사용중인 모델은 NHNDQ모델로 facebook-nllb라는 200국어 다번역 모델을 한국어에 특화시켜 파인튜닝한 모델입니다. 그런데 이게 구글 번역보단 좋지만 deepL에 비해서는 많이 떨어집니다.
해결을 위해 여러 모델들을 테스트하다 한국어 0티어라는 yanolja-eeve모델을 돌려봤는데 깜짝 놀랄 정도로 좋았습니다. 제 체감으로는 deepL의 80~90%는 되는 거 같았어요.
그런데 이 모델을 사용하기 위해서는 사용자 컴퓨터의 vram이 23이상이어야 합니다. 또 번역속도가 몇십배 느려지기 때문에 가속을 위해 vllm 기술을 적용해야합니다. 이러면 속도는 상당부분 빨라지지만 리눅스 os가 꼭 필요하지요. '4090과 리눅스 os를 운용하는 개발자'만 야놀자 모델을 돌려볼수 있는거에요.
지금 고민하고 있는 부분이에요. 아쉽습니다.
뭔가 복잡한 사건이 있었나보네요. 읽어도 잘 이해를 못하겠습니다ㅠ
도다리라는 이름은 mixtral-7bx8 모델과의 대화로 만들었습니다.
처음에 ai는 '언어다리'라는 이름을 추천해줬는데 저는 뭔가 그리기 쉬운 확실한 이미지가 필요해서 '도다리'는 어떠냐고 재미삼아 물었습니다. 스스로도 뚱딴지 같다고 생각했으니까요.
근데 ai는 도다리가 '도움을 주는 다리'라는 뜻으로 아주 좋다는 답변을 주었습니다. 생각지도 못했던 해석이라 참신하다고 생각했습니다. 그렇게 나온 이름이 도다리입니다
꽤나 오래된 사건인데, 당시 한국 인터넷 커뮤니티에서는 나름 유명한 사건이었습니다.
대충 정리하면 다음과 같습니다.
도더리가 한정판 일본 음악 CD를 7만원에 공동구매한다는 공지를 올림도더리가 그를 카페에서 추방하면서 일이 커짐도더리가 일본 회사와 주고받은 메일이라며 공개한 메일 내용에서 “必要韓紙”와 같은 어이없는 번역기 사용 오류가 드러나면서 외부인에게도 유명세를 타게 됨도더리는 소위 허언증이 심한 사람으로, 그가 인터넷에 올린 대다수의 자기 행적은 말도 안 되는 허세와 거짓말로 점철되어 있었음그나저나 거대언어모델이 가끔 생각지도 못한 해석을 내놓는데 그게 그럴싸한 경우는 저도 가끔 겪어봤습니다.
사람들과의 대화 속에서 자기 혼자서는 미처 생각하지 못한 부분을 짚게 되는 현상을 이제는 기계와의 대화에서도 경험하는 것 같습니다.
세상에나. 근데 잡혀가진 않았나보네요.
개인적으로 chatGPT는 샌님같아서 재미가 없는데 Mixtral은 검열이 없어서 그런지 대화가 아주 흥미롭습니다
위키 내용에 따르면 고소까지 당했다가 싹싹 빌었는지 선처받아 그냥 넘어갔다네요. 고소당할 당시 그의 신분은 공익근무요원이었다고.
저는 개인 PC 성능상 아직 로컬 LLM을 직접 써본 적은 없네요. GPT-4 정도만 사용하고 있는데, Claude-3는 추가 구독해볼까 싶습니다.