[GN#198] StableLM과 RedPajama, 공개 언어 모델의 힘
한 달쯤 전에 "LLM에 Stable Diffusion Moment가 오고 있다"는 제목으로 언어 모델에도 오픈소스에 의한 혁신이 오고 있다는 말씀을 드렸는데요. LLaMA/Alpaca 등은 공개이긴 하지만, 상업적인 이용이 불가능한 반개방형 모델이어서 연구목적 이외의 용도로는 사용하는 게 어렵습니다. 이번 주에는 Stability AI가 StableLM, Together가 RedPajama라는 완전한 공개형 모델을 공개하였습니다. StableLM은 CC-BY-SA 라이센스로 출처 표기 시 상업적 이용도 가능하며, Alpaca/Dolly 등 5개의 대화형 데이터세트를 이용하여 파인튜닝 한 모델도 공개하였습니다. 또한, RedPajama는 LLaMA 논문에 설명된 레시피를 그대로 따라서 1.2조 개의 토큰으로 구성한 완전 개방형 데이터 세트입니다. OpenAI의 ChatGPT API를 활용하기에 부담이 되거나, 자신이 필요한 확장 및 개선을 할 수 있는 곳에서는 좋은 대안이 될 듯한데요. 빠르게 프로토타이핑할 때는 OpenAI API를 쓰고, 실제 프로덕션 런칭 후에 상황을 보고 대체하거나 하는 것도 가능하지 않을까 생각합니다. "프로덕션용 LLM 어플리케이션 구축하기" 글도 같이 참고하세요.
ㅤ
기술 관련한 글쓰기는 참 어렵습니다. 영어를 한국어로 옮겨야 하는 것들이 많아서 특히 어렵고, 읽는 독자의 수준에 따라서 어디까지 설명을 해야 하는지도 고민해야 합니다. 본인도 처음에 이해하기 어려웠는데, 남한테 이해시키기 위해 설명하는 것은 더 깊은 수준의 이해도가 필요하다고 생각합니다. 이게 어려운 것을 잘 아는 회사들은 테크니컬 라이터 라고 하는 전문가들을 사내에 두기도 하지만, 대부분 회사는 그렇지 못하죠. 그래서 테크니컬 라이팅은 하나의 업무 기술로서 누구나 꼭 익혀나가야 할 것 중의 하나입니다. "테크니컬 라이팅 깔끔하게 완성하는 원칙" 글은 기술 문서를 작성하는 모든 분이 한번 읽어두시면 도움이 되실만한 글입니다.
ㅤ
"Clean Code" 책은 개발자들 사이에서는 필독 도서 중의 하나로 얘기되기도 합니다만, "클린" 이라는 말의 모호함 때문에 더 명확히 얘기해야 한다고 주장하는 사람들도 많습니다. "Clean Code 말고, CRISP Code를 작성하세요" 글은 "Correct, Readable, Idiomatic, Simple, Performant" 한 코드를 작성하라고 제안하는 글입니다. 예전에 올라왔던 "Clean Code라는 건 없습니다" 글과 묶어서 한번 봐두시기를 바랍니다.
ㅤ
✓ Show GN - 직접 만드신 오픈소스나, 재직중인 스타트업의 제품/서비스를 소개해주세요
✓ Ask GN - 다양한 질문을 올려주세요.
✓ 사내 커뮤니케이션 도구에 GeekNews Bot을 추가해서 멤버들과 함께 새 글을 받아보세요
ㅤ→ Slack봇, 잔디봇, Teams봇, Discord봇, 구글 챗 봇, Swit 봇
✓ 긱뉴스는 RSS로도 구독 가능합니다
✓ 주위분들께 긱뉴스 위클리 - https://news.hada.io/weekly 뉴스레터를 추천해 주세요.
매주 월요일 아침, 지난 일주일간의 GeekNews 중 엄선한 뉴스들을 이메일로 보내드립니다.
- StableLM 공개 - Stability AI의 공개 언어 모델
- RedPajama - LLaMA 데이터셋을 재작성하는 오픈소스 프로젝트
- 프로덕션용 LLM 어플리케이션 구축하기
- 테크니컬 라이팅 깔끔하게 완성하는 원칙
- Clean Code 말고, CRISP Code를 작성하세요
- Load Balancing - 부하 분산
- 월 수익 $2000 이상인 사이드 프로젝트가 있으신가요?
- AI코딩 도우미 Amazon CodeWhisperer 정식출시, 개인 사용은 무료
- 마이크로컨트롤러 개발 보드와 프레임워크 개발 후기
- AnimatedDrawings - 아이들 그림을 애니메이트 시키기 오픈소스
- Smithsonian Open Access, 450만장의 이미지를 퍼블릭 도메인으로 공개
- 프로그래밍을 위한 LLM 프롬프트 예제
- Auto-GPT - GPT-4를 자동화 하는 실험적 오픈소스
- SQLite-gui - 윈도우용 경량 SQLite 편집기
- Arroyo - Rust로 작성된 분산 스트림 처리 엔진
- MiniGPT-4 : 고급 LLM을 이용한 비젼-언어 이해도 향상
- Web LLM - WebGPU로 브라우저에서 LLM 가속하여 실행하기
- GPT4 & LangChain - PDF를 위한 ChatGPT 챗봇 만들기
- Astral - 차세대 파이썬 개발도구를 만드는 회사
- Gamma - AI를 이용한 프리젠테이션 작성 도우미
- Open Assistant - 모두를 위한 대화형 AI 공개
- DeepSpeed Chat - RLHF를 이용한 ChatGPT-like 모델 훈련용 프레임워크
- 수백가지의 제품/프로젝트들의 단종(End-of-Life; EOL) 정보을 일목요연하게 확인할 수 있는 서비스
- chatGPT열풍, 공공기관의 이슈리포트를 모아보았습니다
- Marginalia - 독립 운영되는 DIY 검색엔진
- 커뮤니티는 AI의 미래입니다
- 2023 AI Readiness 보고서 [24p PDF]
- SQL:2023에 새로 추가되는 것들