말씀해 주신 부분이 현재 제가 느끼는 가장 아쉬운 부분입니다.
지금 도다리에서 사용중인 모델은 NHNDQ모델로 facebook-nllb라는 200국어 다번역 모델을 한국어에 특화시켜 파인튜닝한 모델입니다. 그런데 이게 구글 번역보단 좋지만 deepL에 비해서는 많이 떨어집니다.
해결을 위해 여러 모델들을 테스트하다 한국어 0티어라는 yanolja-eeve모델을 돌려봤는데 깜짝 놀랄 정도로 좋았습니다. 제 체감으로는 deepL의 80~90%는 되는 거 같았어요.
그런데 이 모델을 사용하기 위해서는 사용자 컴퓨터의 vram이 23이상이어야 합니다. 또 번역속도가 몇십배 느려지기 때문에 가속을 위해 vllm 기술을 적용해야합니다. 이러면 속도는 상당부분 빨라지지만 리눅스 os가 꼭 필요하지요. '4090과 리눅스 os를 운용하는 개발자'만 야놀자 모델을 돌려볼수 있는거에요.
말씀해 주신 부분이 현재 제가 느끼는 가장 아쉬운 부분입니다.
지금 도다리에서 사용중인 모델은 NHNDQ모델로 facebook-nllb라는 200국어 다번역 모델을 한국어에 특화시켜 파인튜닝한 모델입니다. 그런데 이게 구글 번역보단 좋지만 deepL에 비해서는 많이 떨어집니다.
해결을 위해 여러 모델들을 테스트하다 한국어 0티어라는 yanolja-eeve모델을 돌려봤는데 깜짝 놀랄 정도로 좋았습니다. 제 체감으로는 deepL의 80~90%는 되는 거 같았어요.
그런데 이 모델을 사용하기 위해서는 사용자 컴퓨터의 vram이 23이상이어야 합니다. 또 번역속도가 몇십배 느려지기 때문에 가속을 위해 vllm 기술을 적용해야합니다. 이러면 속도는 상당부분 빨라지지만 리눅스 os가 꼭 필요하지요. '4090과 리눅스 os를 운용하는 개발자'만 야놀자 모델을 돌려볼수 있는거에요.
지금 고민하고 있는 부분이에요. 아쉽습니다.