Stability AI, 코딩용 LLM 모델 Stable Code 3B 공개
(stability.ai)- CodeLLaMA 7b 보다 60% 작지만, 코드 생성시 비슷한 성능을 내는 3B 파라미터 사이즈의 LLM
- GPU가 없이도 일반적인 랩탑에서 오프라인 동작 가능(맥북 에어 같은)
- 4조개의 자연어 데이터로 학습한 Stable LM 3B 모델에 기반하여 소프트웨어 엔지니어링/코드에 관한 데이터로 더 훈련 시킴
- 2023 StackOverflow 개발자 설문조사를 참고해서 18개 프로그래밍 언어를 선택
금융권이라 내부망에서만 개발합니다. 이런 경우는 어떻게 접근하면 좋을까요?
집에서 Copilot 같은거 써보면 회사에서도 좀 이용했으면 좋겠어서 질문 드려요
- application 개발을 해서 AI는 잘 모릅니다. 힌트주시면 열심히 찾아볼께요
https://github.com/janhq/jan
오프라인에서 모델을 쓸 수 있게 해주는 GUI 앱입니다. 내부망이시면 이 앱의 설치파일이랑 사용할 모델 파일만 외부에서 미리 받아두고 내부망으로 옮겨서 쓰시면 될 것 같아요.
모델을 수동으로 추가하는 방법은 아래에 나와있습니다.
https://jan.ai/guides/using-models/import-manually/
요즘 망분리 정책 완화 관련된 얘기도 나오고 좀 개선되려는 노력도 보이고 있으니, 희망을 가져볼수도 있겠지만, 은행, 텔레콤 등등 개인정보 다루는 곳은 앞으로도 아마 좀 어려울거 같습니다. 개발자들에게는 너무나 감옥같은 환경이죠.