9P by xguru 3달전 | favorite | 댓글 5개
  • CodeLLaMA 7b 보다 60% 작지만, 코드 생성시 비슷한 성능을 내는 3B 파라미터 사이즈의 LLM
  • GPU가 없이도 일반적인 랩탑에서 오프라인 동작 가능(맥북 에어 같은)
  • 4조개의 자연어 데이터로 학습한 Stable LM 3B 모델에 기반하여 소프트웨어 엔지니어링/코드에 관한 데이터로 더 훈련 시킴
    • 2023 StackOverflow 개발자 설문조사를 참고해서 18개 프로그래밍 언어를 선택

금융권이라 내부망에서만 개발합니다. 이런 경우는 어떻게 접근하면 좋을까요?
집에서 Copilot 같은거 써보면 회사에서도 좀 이용했으면 좋겠어서 질문 드려요

  • application 개발을 해서 AI는 잘 모릅니다. 힌트주시면 열심히 찾아볼께요

https://github.com/janhq/jan
오프라인에서 모델을 쓸 수 있게 해주는 GUI 앱입니다. 내부망이시면 이 앱의 설치파일이랑 사용할 모델 파일만 외부에서 미리 받아두고 내부망으로 옮겨서 쓰시면 될 것 같아요.
모델을 수동으로 추가하는 방법은 아래에 나와있습니다.
https://jan.ai/guides/using-models/import-manually/

망분리된 환경에서는 솔직히 말해서 개발자에게 족쇄를 채우는 것과 다름 없지요

요즘 망분리 정책 완화 관련된 얘기도 나오고 좀 개선되려는 노력도 보이고 있으니, 희망을 가져볼수도 있겠지만, 은행, 텔레콤 등등 개인정보 다루는 곳은 앞으로도 아마 좀 어려울거 같습니다. 개발자들에게는 너무나 감옥같은 환경이죠.

비슷하게 작은 Model 사이즈를 가진 애들하고만 성능 비교를 했는데, 좀 더 넓힌 Leaderboard를 보면 이렇네요.
https://huggingface.co/spaces/bigcode/bigcode-models-leaderboard

코드니까 더더욱 좀 느리거나 비싸도 성능 더 좋은게 좋지 않을까? 하는 생각이 들긴하네요.