[GN#198] StableLM과 RedPajama, 공개 언어 모델의 힘

2023-04-17 ~ 2023-04-23 사이의 주요 뉴스들

한 달쯤 전에 "LLM에 Stable Diffusion Moment가 오고 있다"는 제목으로 언어 모델에도 오픈소스에 의한 혁신이 오고 있다는 말씀을 드렸는데요. LLaMA/Alpaca 등은 공개이긴 하지만, 상업적인 이용이 불가능한 반개방형 모델이어서 연구목적 이외의 용도로는 사용하는 게 어렵습니다. 이번 주에는 Stability AI가 StableLM, Together가 RedPajama라는 완전한 공개형 모델을 공개하였습니다. StableLM은 CC-BY-SA 라이센스로 출처 표기 시 상업적 이용도 가능하며, Alpaca/Dolly 등 5개의 대화형 데이터세트를 이용하여 파인튜닝 한 모델도 공개하였습니다. 또한, RedPajama는 LLaMA 논문에 설명된 레시피를 그대로 따라서 1.2조 개의 토큰으로 구성한 완전 개방형 데이터 세트입니다. OpenAI의 ChatGPT API를 활용하기에 부담이 되거나, 자신이 필요한 확장 및 개선을 할 수 있는 곳에서는 좋은 대안이 될 듯한데요. 빠르게 프로토타이핑할 때는 OpenAI API를 쓰고, 실제 프로덕션 런칭 후에 상황을 보고 대체하거나 하는 것도 가능하지 않을까 생각합니다. "프로덕션용 LLM 어플리케이션 구축하기" 글도 같이 참고하세요.

기술 관련한 글쓰기는 참 어렵습니다. 영어를 한국어로 옮겨야 하는 것들이 많아서 특히 어렵고, 읽는 독자의 수준에 따라서 어디까지 설명을 해야 하는지도 고민해야 합니다. 본인도 처음에 이해하기 어려웠는데, 남한테 이해시키기 위해 설명하는 것은 더 깊은 수준의 이해도가 필요하다고 생각합니다. 이게 어려운 것을 잘 아는 회사들은 테크니컬 라이터 라고 하는 전문가들을 사내에 두기도 하지만, 대부분 회사는 그렇지 못하죠. 그래서 테크니컬 라이팅은 하나의 업무 기술로서 누구나 꼭 익혀나가야 할 것 중의 하나입니다. "테크니컬 라이팅 깔끔하게 완성하는 원칙" 글은 기술 문서를 작성하는 모든 분이 한번 읽어두시면 도움이 되실만한 글입니다.

"Clean Code" 책은 개발자들 사이에서는 필독 도서 중의 하나로 얘기되기도 합니다만, "클린" 이라는 말의 모호함 때문에 더 명확히 얘기해야 한다고 주장하는 사람들도 많습니다. "Clean Code 말고, CRISP Code를 작성하세요" 글은 "Correct, Readable, Idiomatic, Simple, Performant" 한 코드를 작성하라고 제안하는 글입니다. 예전에 올라왔던 "Clean Code라는 건 없습니다" 글과 묶어서 한번 봐두시기를 바랍니다.

Show GN - 직접 만드신 오픈소스나, 재직중인 스타트업의 제품/서비스를 소개해주세요

Ask GN - 다양한 질문을 올려주세요.

✓ 사내 커뮤니케이션 도구에 GeekNews Bot을 추가해서 멤버들과 함께 새 글을 받아보세요
ㅤ→ Slack봇, 잔디봇, Teams봇, Discord봇, 구글 챗 봇, Swit 봇
긱뉴스는 RSS로도 구독 가능합니다
✓ 주위분들께 긱뉴스 위클리 - https://news.hada.io/weekly 뉴스레터를 추천해 주세요.


매주 월요일 아침, 지난 일주일간의 GeekNews 중 엄선한 뉴스들을 이메일로 보내드립니다.