Meta의 생성형 AI 조직은 DeepSeek때문에 충격에 빠져있음
(teamblind.com)- 이미 벤치마크에서 Llama 4를 앞선 DeepSeek V3 때문
- 게다가 "잘 모르는 중국회사가 겨우 5.5M의 훈련 비용"을 썻다고 해서 더욱 충격
- 엔지니어들은 DeepSeek를 해부하고 가능한 모든 것을 모방하기 위해 미친듯이 움직이는 중
- 경영진은 생성형 AI 조직에 드는 막대한 비용을 정당화하기 위해 걱정중
- 생성형 AI 조직의 "리더" 1명이 DeepSeek v3 전체 훈련비용보다 더 많이 돈을 받고 있는데, 그런 리더가 수십명 있음
- DeepSeek r1은 더 무서움. 기밀 정보는 밝힐수 없지만 곧 공개될 것
- 엔지니어링은 작은 조직이었어야 했는데, 많은 사람들이 이 Impact Grab에 참여하고 싶어했고, 조직에서 채용을 인위적으로 부풀린게 결과적으로 모두에게 해가 되었음
댓글들
- 구글직원1 : 딥시크가 하고 있는 일은 정말 대단. 메타뿐만 아니라 OpenAI, Google, Anthropic의 엉덩이에 불을 지피고 있음. 좋은 점은 공개 경쟁이 혁신에 얼마나 효과적인지 실시간으로 확인할 수 있다는 점.
- 애플직원1 : 이게 내가 메타 주식을 보유한 이유. 경쟁자를 분석하고 모방하여 승리하는 것은 여러분의 DNA에 있음. 계속 열심히 노력해!
- 메타직원1 : 많은 경영진이 기반 기술에 대해 말 그대로 전혀 알지 못하며(심지어 많은 엔지니어링 지식도 없음), 다른 경영진에게 "더 많은 GPU = 승리"를 계속 주입중. 참여를 유도하기 위해 인스타그램에에서 AI 콘텐츠를 생성하는 것과 같은 멍청한 아이디어를 내서 상황이 더욱 왜곡됨(현재는 다소 후퇴중).
- 메타직원2 : 그냥 DeepSeek을 사버려
- 삼성직원1 : Sam Altman은 사기꾼이야. DeepSeek의 CEO인 LIANG Wenfeng은 Ilya Sutskever고, DeepSeek 은 예전의 OpenAI 이고, OpenAI는 ClosedAI지.
- 구글직원2 : DeepSeek는 새로운 RL 기반 모델의 모든 구성 요소를 설명하는 논문을 작성했고, 이를 통해 Meta와 같은 회사에서 직접 복사해서 검증할 수 있음
- 메타직원3 : 메타같은 "세계에서 가장 큰 GPU 클러스터"를 가진 조직이 어떻게 벤치마크 10위 안에도 못들까? Grok은 조만간 DeepSeek를 능가할 것
- 메타직원4 : 딥시크는 중국이 통제하고 있으며, 실제 데이터를 공유하지 않고 중국 공산당에 의해 심하게 검열되고 있음. "중국 공산당이 사람들의 자유를 제한하고 있는가"라고 물어보면 답을 알 수 있음. 뭘 물어봐도 "중국이 얼마나 위대하냐" 등의 말만 되풀이함. 정보없이 그냥 진술만 함.
- Chime직원: 그리고 가장 좋은 점은 이 모든 것을 H100 성능에 근접하지 않는 H800 GPU로 수행한다는 것. 정말 대단. 딥시크의 모든 분들께 존경과 찬사를 보냄. 중국에서 나온 Residual Network 논문은 신경망을 완전히 바꾸고 수십억 개의 매개변수를 사용할 수 있다는 것을 가르쳐 준 획기적인 논문이었음. 매우 어려운 문제를 해결한 중국인들을 존경함!
- 블리자드직원: 이를 통해 인공지능 세대에는 해자가 없으며, 클로즈드 소스 모델만큼은 아니더라도 더 좋은 오픈 소스 모델이 출시될 것이라는 희망을 갖게 되었음. 이 분야에서 경쟁이 치열해질수록 우리에게도 좋은 일임.
이념이랑 검열 얘기는 일단 빼고 보면, 이번 DeepSeek 모델들 엔지니어링 수준은 진짜 감탄이 나올 정도네요.
V2.5 구조에서 사용했던 MLA도 천재적인 발상이라 생각했는데 이번에는 MTP 가능성까지 입증하고, R1으로 O1 모델 복제를 완벽히 성공한 데다, 수출 규제로 하드웨어가 제한된 상황에서도 훈련 기술을 뽑아낸거 보면 정말 대단합니다.
ML에 관심 있으신 분들은 DeepSeek Technical Report V2.5, V3, R1 꼭 읽어보세요. 감탄밖에 안 나옵니다. 이걸 다 MIT 라이센스로 공개했다는 게 아직도 이해가 안 가네요
LLaMA 같은 경우는 LLaMA 2 -> 3 에서 아키텍처 혁신이 거의 없고 훈련 스케일링만 늘렸다는 느낌이 강했는데 이게 전조였다고 봅니다.
어차피 블라인드에 올라온 글이라 진위여부는 불확실하지만, DeepSeek가 충격을 주고 있는 것은 맞는듯
DeepSeek-R1 모델 공개
Deepseek - 중국 AI 경쟁을 선도하는 조용한 거인
Deepseek V3는 과적합 여부를 테스트하는 벤치마크에서 좋지 않은 성능을 보였음
DeepSeek v3에 대한 노트 - "정말로 GPT-4o나 3.5 Sonnet보다 좋은가?"
그렇게 중국 견제를 하고 gpu 수출 규제까지 했는데도 저런거보면 대단하면서도 무섭고 긍정적으로는 충분한 메기 역할이라고 봅니다. 결국 OpenAI가 선도하고 있다는것에는 누구도 부정할 수 없는지라