GeekNews Weekly

이번 주는 AI에 있어서 10년 같은 1주였다고 얘기할 정도로 많은 것들이 쏟아져서 어떤 기사를 제목으로 사용할까 엄청나게 고민했는데요. OpenAI의 GPT-4 부터, Meta의 LLaMA를 52K Instruction-Following 데이터로 파인튜닝 한 Alpaca, Google PaLM API, Pytorch 2.0, OpenChatKit, Midjouney v5 등이 발표되었고요. 금요일엔 앞으로 업무환경을 완전히 바꿔줄 Microsoft 365 Copilot 발표까지 이어졌습니다. Django를 만들었던 Simon Willison이 최근 대규모 언어 모델(LLM)의 폭발적인 성장에 대해서 "LLM에 Stable Diffusion Moment가 오고 있다"라는 글을 공개했는데, 이 관점이 IT 업계분들께는 더 큰 영향을 줄 것 같아서 제목으로 뽑아봤습니다.
ㅤ
작년 8월에 오픈소스로 공개된 Stable Diffusion은 생성형 AI에 대한 혁신을 이끌어 내면서, 그 이전에 사람들을 놀라게 했던 MidJouney와 DALL-E를 뛰어넘었습니다. 이게 바로 오픈소스의 힘인데, SD 모먼트가 이제 LLM에도 오고 있습니다. GPT-3 / ChatGPT / GPT-4가 좋기는 하지만 구축과 운영에 엄청나게 큰 비용이 들기도 하고, 모델과 코드가 공개되어 있지 않아서 직접 운영하기도 매우 어렵습니다. 이런 LLM을 유료 API로만 접근해야 한다면 Microsoft같이 기존 수익이 나는 제품들을 가지고 있는 회사들이 아닌 이상 실제 프로덕트에 적용하려면 고민을 해야 합니다. 하지만 페이스북이 공개한 LLaMA는 엄청 작은 사이즈로 누구나 GPT-3.5 수준의 모델을 운영할 수 있게 해주는 데다, 이걸 개인 노트북에서도 실행할 수 있게 만든 llama.cpp가 출시되면서 누구나 쉽게 LLM을 테스트해보고, 그 기반으로 다양한 시도를 해볼 수 있게 되었습니다. 실제로 Simon의 글은 3월 11일 금요일에 공개한 것인데, 3월 14일에는 "Alpaca와 온디바이스 LLM개발의 가속화" 란 글을 통해서 이전 3일간 일어난 일들을 정리했는데요. llama.cpp로 4G 라즈베리 파이에서 실행이 가능해졌고, Dalai 를 통해서 단 2줄 입력만으로 노트북에서 실행되며, 스탠포드가 52k 명령어 셋으로 파인튜닝한 Alpaca를 발표하는 등 실제로 급격한 변화가 발생하기 시작했습니다. 가까운 예로, LLaMA 와 Alpaca는 한국어 데이터셋 학습이 부족해서 실제로 한국어 성능은 낮은데요. 이 LLaMA를 Polyglot-ko 5.8B 한국어 모델로 한 번 더 학습시켜서 한국어 성능을 개선한 KoAlpaca 모델도 공개되었습니다.
ㅤ
이런 언어모델을 개인 장비에서 실행할 수 있게 되면, "프로젝트에 대한 야망/구현 범위가 확장"된다고 생각합니다. 누구나 사이드 프로젝트에도 편하게 언어모델을 붙여서 기능을 고민해 볼 수 있게 되면, 더 다양한 응용 범위가 생길거라 생각됩니다. Microsoft의 365 Copilot은 LLM을 기존 도구에 붙이면 얼마나 생산성이 높아지는지를 극대화해서 보여준 사례일텐데요. 저렇게 큰 것 말고 우리 주위의 작은 것들에도 발전이 있기를 바랍니다.
ㅤ
✓ Show GN - 직접 만드신 오픈소스나, 재직중인 스타트업의 제품/서비스를 소개해주세요

• 클라우드 녹화 일괄 다운로드 스크립트

✓ Ask GN - 다양한 질문을 올려주세요.

• 이번 주말에 뭐 하시나요?
• 이달의 구인 - 멤버를 찾고 계신가요 ? (2023년 3월)
• 이달의 구직 - 같이 일할 팀을 찾습니다 (2023년 3월)

✓ 사내 커뮤니케이션 도구에 GeekNews Bot을 추가해서 멤버들과 함께 새 글을 받아보세요
ㅤ→ Slack봇, 잔디봇, Teams봇, Discord봇, 구글 챗 봇, Swit 봇
✓ 긱뉴스는 RSS로도 구독 가능합니다
✓ 주위분들께 긱뉴스 위클리 - https://news.hada.io/weekly 뉴스레터를 추천해 주세요.