- Generative AI 혁명 2년차에 접어들면서, 연구는 "빠른 사고"에서 "느린 사고"로 진화하고 있음
- "빠른 사고"는 사전 학습된 빠른 응답을 의미하고, "느린 사고"는 Inference 시 Reasoning 하는 것을 의미함
- 이런 진화로 인해 새로운 유형의 에이전트 애플리케이션이 등장하고 있음
- Generative AI 시장의 기반 계층이 안정화되면서 Microsoft/OpenAI, AWS/Anthropic, Meta, Google/DeepMind 등 소수의 대형 업체들이 시장을 주도하고 있음
- 경제적 엔진과 막대한 자본을 가진 대형 업체들만이 경쟁에 남아있음
- 시장 구조 자체는 견고해지고 있으며, 저렴하고 풍부한 next-token 예측이 가능해질 것임
- LLM 시장 구조가 안정화되면서 새로운 프론티어가 등장
- "시스템 2" 사고 방식이 우선시되는 추론 계층의 개발과 확장에 초점이 맞춰지고 있음
- AlphaGo와 같은 모델에서 영감을 받아, 이 계층은 단순한 패턴 매칭을 넘어 신중한 추론, 문제 해결, 인지 작용 등을 AI 시스템에 부여하는 것을 목표로 함
- 새로운 인지 아키텍처와 사용자 인터페이스가 이러한 추론 능력이 사용자에게 전달되고 상호 작용하는 방식을 형성하고 있음
Strawberry Fields Forever
- 2024년 가장 중요한 모델 업데이트는 OpenAI의 o1임 (이전에는 Q*로 알려졌으며 Strawberry라고도 함)
- 이는 단순히 OpenAI가 모델 품질 리더보드 상위권에 올라선 것뿐만 아니라, 현상 유지 아키텍처에 상당한 개선을 가져온 것임
- 구체적으로, 이는 추론-시간 컴퓨팅으로 달성한 진정한 "일반 추론 능력"을 가진 최초의 모델임
- 사전 학습 모델 vs 추론 시간 컴퓨팅
- 사전 학습 모델은 방대한 양의 데이터를 사용해 next token prediction을 수행함
- 규모의 창발 특성(emergent property)은 기본적인 추론이지만, 이 추론은 매우 제한적임
- 추론 시간 컴퓨팅은 모델에게 응답을 제공하기 전에 멈추고 생각하도록 요청하는 것을 의미함
- 이를 위해서는 추론 시 더 많은 컴퓨팅이 필요함
- "멈추고 생각하는" 부분이 바로 추론(reasoning)임
AlphaGo와 LLM의 비교
- AlphaGo는 2016년 3월 서울에서 바둑 전설 이세돌과 대결하며 딥러닝 역사상 가장 중요한 순간 중 하나를 만들어냄
- AlphaGo는 단순히 패턴을 모방하는 것 이상인 "사고(thinking)하는 AI"의 모습을 세상에 보여줌
- AlphaGo와 이전 게임플레이 AI 시스템의 차이점
- AlphaGo는 LLM과 마찬가지로 약 3천만 개의 이전 게임 움직임 데이터베이스와 자가 대국을 통해 인간 전문가를 모방하도록 사전 학습됨
- 그러나 사전 학습 모델에서 나오는 즉각적인 반응을 제공하는 대신, AlphaGo는 시간을 들여 멈추고 사고함
- 추론 시, AlphaGo는 광범위한 잠재적 미래 시나리오에 대해 검색 또는 시뮬레이션을 실행하고, 해당 시나리오를 평가한 다음, 기대값이 가장 높은 시나리오(또는 답변)로 응답함
- AlphaGo에 주어지는 시간이 많을수록 성능이 향상됨
- 추론 시간 컴퓨팅이 전혀 없으면 AlphaGo는 최고의 인간 플레이어를 이길 수 없음
- LLM에서 AlphaGo를 복제하는 것이 어려운 이유
- 응답을 평가하는 가치 함수(value function)를 구성하는 것이 어려움
- 바둑에서는 게임을 끝까지 시뮬레이션하고 누가 이기는지 확인한 다음 다음 수의 기대값을 계산할 수 있음
- 코딩에서는 코드를 테스트하고 작동 여부를 확인할 수 있음
- 그러나 에세이의 초안, 여행 일정, 긴 문서의 핵심 용어 요약 등은 평가하기 어려움
- 이는 현재 방법론으로는 추론이 어려운 이유이며, Strawberry가 논리(예: 코딩, 수학, 과학)에 가까운 영역에서는 상대적으로 강력하지만 개방적이고 비정형적인 영역(예: 글쓰기)에서는 그렇지 않은 이유임
- Strawberry 모델의 추론 능력 개선을 위한 연구
- Strawberry의 실제 구현은 철저히 보호되고 있지만, 핵심 아이디어는 모델이 생성한 사고 체인에 대한 강화 학습과 관련이 있음
- 모델의 사고 체인을 감사하는 것은 인간의 사고와 추론 방식과 유사한 근본적이고 흥미로운 일이 일어나고 있음을 시사함
- 예를 들어, o1은 추론 시간 스케일링의 창발 특성으로 막힐 때 되돌아갈 수 있는 능력을 보여주고 있음
- 또한 인간처럼 문제에 대해 생각할 수 있는 능력(예: 기하학 문제를 풀기 위해 구의 점을 시각화)과 새로운 방식으로 문제에 대해 생각할 수 있는 능력(예: 인간과 다른 방식으로 프로그래밍 대회 문제 해결)을 보여주고 있음
- 연구팀은 모델의 추론 능력을 향상시키기 위해 보상 함수 계산의 새로운 방법, generator/verifier 간극을 좁히는 새로운 방법 등 추론 시간 컴퓨팅을 발전시키기 위한 아이디어가 풍부함
- 즉, 심층 강화 학습이 다시 주목받고 있으며, 이는 전체적으로 새로운 추론 계층을 가능하게 하고 있음
System 1에서 System 2 Thinking으로의 도약
- 사전 학습된 본능적 반응("시스템 1")에서 더 깊고 신중한 추론("시스템 2")으로의 도약이 AI의 차세대 프론티어임
- 모델이 단순히 무언가를 아는 것만으로는 충분하지 않음
- 모델은 실시간으로 결정을 내리기 위해 잠시 멈추고, 평가하고, 추론할 필요가 있음
- 사전 학습은 시스템 1 계층에 해당함
- AlphaGo에서 수백만 번의 바둑 수를 학습하든, LLM에서 인터넷 규모의 텍스트 페타바이트를 학습하든, 사전 학습의 목표는 인간의 게임플레이나 언어와 같은 패턴을 모방하는 것임
- 그러나 모방은 아무리 강력해도 진정한 추론이 아님
- 특히 학습 데이터셋 외의 복잡하고 새로운 상황에서 제대로 사고할 수 없음
- 시스템 2 사고가 최신 AI 연구의 초점임
- 모델이 "멈추고 생각"할 때, 단순히 학습된 패턴을 생성하거나 과거 데이터를 기반으로 예측을 내뱉는 것이 아님
- 가능성의 범위를 생성하고, 잠재적 결과를 고려하며, 추론에 기반한 결정을 내림
- 시스템 1 사고와 시스템 2 사고의 적절한 활용
- 많은 작업에서 시스템 1 사고로 충분함 (예: 부탄의 수도가 무엇인지 더 오래 생각해도 도움이 되지 않음)
- 그러나 수학이나 생물학의 돌파구와 같은 더 복잡한 문제에서는 빠르고 본능적인 반응으로는 불충분함
- 이러한 진보에는 깊은 사고, 창의적 문제 해결, 그리고 무엇보다 시간이 필요함
- AI도 마찬가지임. 가장 어렵고 의미 있는 문제를 해결하기 위해서는 빠른 학습 데이터셋 내 반응을 넘어 인간의 진보를 정의하는 사려 깊은 추론을 내놓기 위해 시간을 들여야 함
새로운 스케일링 법칙: 추론 경쟁의 시작
- OpenAI의 o1 논문에서 가장 중요한 통찰은 새로운 스케일링 법칙이 등장했다는 것임
- LLM 사전 학습의 스케일링 법칙
- LLM 사전 학습은 잘 이해된 스케일링 법칙을 따름
- 모델 사전 학습에 더 많은 컴퓨팅과 데이터를 사용할수록 성능이 향상됨
- 추론 시간 컴퓨팅의 새로운 스케일링 법칙
- o1 논문은 컴퓨팅 확장을 위한 새로운 차원을 열었음
- 모델에 더 많은 추론 시간(또는 "테스트 시간") 컴퓨팅을 제공할수록 추론 능력이 향상됨
- 모델이 몇 시간, 며칠, 몇 십년 동안 사고할 수 있게 되면 어떻게 될까?
- 리만 가설을 해결할 수 있을까?
- 아시모프의 마지막 질문에 대답할 수 있을까?
- 대규모 사전 학습 클러스터에서 추론 클라우드로의 전환
- 이러한 변화는 우리를 대규모 사전 학습 클러스터의 세계에서 추론 클라우드로 이동시킬 것임
- 추론 클라우드는 작업의 복잡성에 따라 컴퓨팅을 동적으로 확장할 수 있는 환경임
하나의 모델이 모든 것을 지배하게 될까?
- OpenAI, Anthropic, Google, Meta 등이 추론 계층을 확장하고 더 강력한 추론 머신을 개발함에 따라 어떤 일이 일어날까?
- 하나의 모델이 모든 것을 지배하게 될까?
- 하나의 가설은 단일 모델 회사가 너무 강력해져서 다른 모든 애플리케이션을 흡수할 것이라는 것이었음
- 이 예측은 지금까지 두 가지 면에서 잘못된 것으로 판명됨
- 첫째, 모델 계층에는 SOTA 능력을 두고 끊임없이 경쟁하는 많은 경쟁 업체들이 있음
- 누군가 광범위한 도메인 자가 학습을 통해 지속적인 자기 개선을 이루고 이륙에 성공할 가능성은 있지만, 아직 그런 증거는 없음
- 오히려 모델 계층은 치열한 경쟁의 장이며, GPT-4의 토큰당 가격이 지난 개발자의 날 이후 98% 하락함
- 둘째, 모델이 애플리케이션 계층으로 진출하는 데 어려움을 겪고 있음
- ChatGPT를 제외하고는 모델이 애플리케이션 계층에서 획기적인 제품으로 자리 잡는 데 대체로 실패했음
- 현실 세계는 복잡하기 때문임
- 훌륭한 연구원들은 모든 가능한 수직 시장의 모든 가능한 기능에 대한 세부적인 엔드 투 엔드 워크플로를 이해하고 싶어하지 않음
- 연구원들이 API에서 멈추고 개발자 생태계에 현실 세계의 복잡성을 맡기는 것이 매력적이고 경제적으로 합리적임
- 이는 애플리케이션 계층에 좋은 소식임
복잡한 현실 세계: 맞춤형 인지 아키텍처의 필요성
- 과학자로서 목표를 달성하기 위해 행동을 계획하고 수행하는 방식은 소프트웨어 엔지니어로서 일하는 방식과 크게 다름
- 또한 서로 다른 회사의 소프트웨어 엔지니어로서 일하는 방식도 다름
- 연구소에서 수평적 범용 추론의 경계를 더 밀어붙이고 있지만, 여전히 유용한 AI 에이전트를 제공하기 위해서는 애플리케이션 또는 도메인 특화 추론이 필요함
- 복잡한 현실 세계는 일반 모델에 효율적으로 인코딩할 수 없는 상당한 도메인 및 애플리케이션별 추론을 필요로 함
- 인지 아키텍처의 등장
- 인지 아키텍처는 시스템의 사고 방식, 즉 사용자 입력을 받아 행동을 수행하거나 응답을 생성하는 코드와 모델 상호 작용의 흐름을 의미함
- 예를 들어 Factory의 경우, "드로이드" 제품 각각은 풀 리퀘스트 검토 또는 백엔드 간 서비스 업데이트를 위한 마이그레이션 계획 작성 및 실행과 같은 특정 작업을 해결하기 위해 인간이 생각하는 방식을 모방하는 맞춤형 인지 아키텍처를 가지고 있음
- Factory 드로이드는 모든 종속성을 분석하고, 관련 코드 변경을 제안하며, 단위 테스트를 추가하고, 검토를 위해 사람을 끌어들임
- 그런 다음 승인 후 개발 환경의 모든 파일에서 변경 사항을 실행하고, 모든 테스트를 통과하면 코드를 병합함
- 이는 일반화되고 블랙박스 같은 하나의 답변이 아니라 일련의 개별 작업으로 이루어지는 인간의 사고 방식과 유사함
App에는 무슨 일이 벌어지고 있나?
- AI 사업을 시작하려면 어떤 계층을 타겟으로 해야 할까?
- 인프라 계층에서 경쟁하려면 NVIDIA와 하이퍼스케일러를 이겨야 함
- 모델 계층에서 경쟁하려면 OpenAI와 Mark Zuckerberg를 이겨야 함
- 애플리케이션 계층에서 경쟁하려면 기업 IT와 글로벌 시스템 통합 업체를 이겨야 함
- 애플리케이션 계층에서의 경쟁이 가장 실현 가능해 보임
- 애플리케이션 계층의 기회
- 기반 모델은 마법 같지만 복잡하기도 함
- 주류 기업은 블랙박스, 환각, 어설픈 워크플로를 다룰 수 없음
- 소비자는 빈 프롬프트를 보고 무엇을 요청해야 할지 모름
- 이는 애플리케이션 계층의 기회임
- 2년 전, 많은 애플리케이션 계층 회사들이 "GPT-3 위의 래퍼에 불과하다"고 비난받았음
- 오늘날 그 래퍼들은 지속 가능한 가치를 구축하는 몇 안 되는 건전한 방법 중 하나로 판명됨
- "래퍼"로 시작한 것이 "인지 아키텍처"로 진화함
- 애플리케이션 계층 AI 회사의 특징
- 단순히 기반 모델 위에 UI를 올리는 것이 아님
- 일반적으로 다음을 포함하는 정교한 인지 아키텍처를 가지고 있음:
- 상단에 일종의 라우팅 메커니즘이 있는 여러 기반 모델
- RAG를 위한 벡터 및/또는 그래프 데이터베이스
- 규정 준수를 보장하기 위한 가드레일
- 워크플로를 통한 추론 방식을 모방하는 애플리케이션 로직
Service-as-a-Software
- 클라우드 전환은 "서비스로서의 소프트웨어(Software-as-a-Service)"였음. 소프트웨어 회사들이 클라우드 서비스 제공업체가 되었고, 이는 3,500억 달러 규모의 기회였음
- 에이전트 추론 덕분에 AI 전환은 "소프트웨어로서의 서비스(Service-as-a-Software)"임. 소프트웨어 회사들이 노동력을 소프트웨어로 전환시키고 있음
- 이는 타깃 시장이 소프트웨어 시장이 아니라 수조 달러 규모의 서비스 시장이라는 것을 의미함
- 일을 판매한다는 것의 의미
- Sierra라는 회사가 좋은 예시임
- B2C 기업들은 고객과 대화하기 위해 자사 웹사이트에 Sierra를 배치함
- 해야 할 일(job-to-be-done)은 고객 문제를 해결하는 것임
- Sierra는 해결건 당 비용을 받음
- "시트(seat)" 같은 건 없음. 당신은 해야 할 일이 있고 Sierra가 그 일을 처리하며 그에 따라 비용을 받음
- 이것이 많은 AI 회사들의 진정한 북극성임
- Sierra의 장점과 다른 회사들의 도전 과제
- Sierra는 우아한 실패 모드(사람 상담원에게 에스컬레이션)의 이점이 있음
- 모든 회사가 그렇게 운이 좋은 것은 아님
- 새로운 패턴은 먼저 조종사(human-in-the-loop)로 배포한 다음 그 경험을 활용해 자동조종장치(human-out-of-the-loop) 배포 기회를 얻는 것임
- GitHub Copilot이 이에 대한 좋은 예시임
새로운 유형의 에이전트 애플리케이션이 등장하기 시작
- Generative AI의 새로운 추론 기능으로 새로운 종류의 에이전트 애플리케이션이 등장하기 시작
- 흥미롭게도 이러한 애플리케이션 계층 회사들은 이전의 클라우드 회사들과는 다른 모습을 보임:
- 클라우드 회사들은 소프트웨어 수익을 타깃으로 했지만, AI 회사들은 서비스 수익을 타깃으로 함
- 클라우드 회사들은 소프트웨어($/시트)를 판매했지만, AI 회사들은 작업($/결과)을 판매함
- 클라우드 회사들은 마찰 없는 유통으로 bottom-up 접근을 선호했지만, AI 회사들은 점점 더 high-touch, high-trust 전달 모델로 top-down 접근을 하고 있음
- 지식 경제의 모든 부문에서 등장하는 에이전트 애플리케이션의 예시
- Harvey: AI 변호사
- Glean: AI 업무 어시스턴트
- Factory: AI 소프트웨어 엔지니어
- Abridge: AI 의료 기록사
- XBOW: AI 침투 테스터
- Sierra: AI 고객 지원 에이전트
- 이러한 서비스를 제공하는 한계 비용을 추론 비용의 급락과 같은 수준으로 낮춤으로써 에이전트 애플리케이션은 새로운 시장을 확장하고 창출하고 있음
- XBOW는 좋은 예시임:
- XBOW는 AI "pentester"를 만들고 있음
- "펜테스트" 또는 침투 테스트는 기업이 자체 보안 시스템을 평가하기 위해 수행하는 컴퓨터 시스템에 대한 시뮬레이션된 사이버 공격임
- Generative AI 이전에는 인간 펜테스팅이 비싸기 때문에(숙련된 인력이 수행하는 수작업) 기업들은 제한된 상황(예: 규정 준수를 위해 필요한 경우)에서만 펜테스터를 고용했음
- 그러나 XBOW는 이제 최신 추론 LLM을 기반으로 자동화된 펜테스트를 시연하고 있으며, 이는 가장 숙련된 인간 펜테스터의 성능에 필적함
- 이는 펜테스팅 시장을 확대하고 모든 규모와 형태의 기업에 지속적인 펜테스팅 가능성을 열어줌
이 것이 SaaS업계에 미치는 영향?
- 올해 초 LP들과 만났을 때, 가장 많이 받은 질문은 "AI 전환이 기존 클라우드 회사들을 파괴할 것인가?"였음
- 우리는 "아니요"라는 강력한 기본 가정으로 시작했음
- 스타트업과 기존 기업 간의 고전적인 싸움은 스타트업이 유통을 구축하고 기존 기업이 제품을 구축하는 경주와 같음
- 고객을 소유한 기존 기업이 멋진 제품을 내놓기 전에 멋진 제품을 가진 젊은 회사들이 고객에게 다가갈 수 있을까?
- AI의 마법이 대부분 기반 모델에서 나오고 있다는 점을 감안할 때, 우리의 기본 가정은 "아니요"였음
- 기존 기업은 스타트업만큼이나 기반 모델에 접근할 수 있고 데이터와 유통의 기존 이점이 있기 때문에 잘 해낼 것임
- 스타트업의 주요 기회는 기존 소프트웨어 회사를 대체하는 것이 아니라 자동화 가능한 작업 풀을 공략하는 것임
- 그러나 우리는 더 이상 그렇게 확신하지 않음
- 인지 아키텍처에 관해 위에서 언급한 내용을 참조할 것
- 모델의 원시 기능을 설득력 있고 신뢰할 수 있는 엔드 투 엔드 비즈니스 솔루션으로 바꾸려면 엄청난 양의 엔지니어링이 필요함
- "AI 네이티브"가 의미하는 바를 극적으로 과소평가하고 있는 것은 아닐까?
- 20년 전 온프레미스 소프트웨어 회사들은 SaaS 아이디어를 비웃었음
- "대수롭지 않아. 우리도 자체 서버를 운영하고 이것을 인터넷으로 제공할 수 있어!"
- 개념적으로는 간단했지만, 뒤이어 사업의 전면적인 재창조가 이루어졌음:
- EPD는 폭포수 모델과 PRD에서 애자일 개발과 AB 테스팅으로 전환했음
- GTM은 하향식 기업 영업과 스테이크 저녁 식사에서 상향식 PLG와 제품 분석으로 전환했음
- 비즈니스 모델은 높은 ASP와 유지보수 스트림에서 높은 NDR과 사용량 기반 가격으로 전환했음
- 온프레미스 회사 중 전환에 성공한 곳은 거의 없었음
- AI가 SaaS와 유사한 전환점이 될 수 있을까? AI의 기회는 일을 팔면서 동시에 소프트웨어를 대체하는 것일 수 있을까?
- Day.ai를 통해 우리는 미래를 엿볼 수 있었음
- Day는 AI 네이티브 CRM임
- 시스템 통합업체들은 Salesforce를 고객의 요구에 맞게 구성하는 데 수십억 달러를 벌고 있음
- Day는 이메일과 캘린더에 대한 액세스, 그리고 한 페이지 분량의 설문지에 대한 답변만으로 자동으로 고객의 비즈니스에 완벽하게 맞춰진 CRM을 생성함
- 아직 모든 기능을 갖추고 있지는 않지만, 사람의 개입 없이도 항상 최신 상태를 유지하는 자동 생성 CRM의 마법은 이미 사람들로 하여금 전환을 결심하게 하고 있음
투자 업계
- 투자자들은 어디에 시간을 할애하고 자금을 투입하고 있을까?
- 인프라
- 이 영역은 하이퍼스케일러들의 영역임
- 경제적 분석보다는 게임 이론적인 행동에 의해 주도되고 있음
- 벤처 투자자들에게는 적합하지 않은 영역임
- 모델
- 하이퍼스케일러와 재무적 투자자(FI)들이 활동하는 영역임
- 하이퍼스케일러는 자산 대차대조표를 활용해 수익을 얻고, 클라우드 비즈니스에서 계산 비용으로 다시 돌아오는 방식으로 투자함
- 재무적 투자자들은 “과학에 감탄하는” 편향에 의해 영향을 받음
- 이 모델들은 매우 흥미롭고 팀들도 뛰어나지만, 경제적 논리는 무시됨
- 개발자 도구 및 인프라 소프트웨어
- 전략적 투자자들에게는 덜 흥미롭지만 벤처 투자자들에게는 더 매력적임
- 클라우드 전환 시기에 10억 달러 이상의 매출을 올린 약 15개의 회사가 이 계층에서 창출됨
- AI 전환에서도 비슷한 현상이 일어날 것으로 예상됨
- 애플리케이션
- 벤처 투자자들에게 가장 흥미로운 계층임
- 클라우드 전환 동안 10억 달러 이상의 매출을 올린 약 20개의 애플리케이션 계층 회사가 창출됨
- 모바일 전환에서도 비슷한 수의 회사가 등장했으며, 이번 AI 전환에서도 비슷한 추세가 있을 것으로 예상됨
마무리 생각
- 생성 AI의 다음 단계에서는 추론 연구개발(R&D) 의 영향이 애플리케이션 계층에 빠르고 깊게 확산될 것으로 예상됨
- 기존의 인지 아키텍처는 주로 “제약 해제(unhobbling)” 기술을 포함했으나, 이제 이러한 능력이 모델 자체에 내재화되고 있어 에이전트 기반 애플리케이션이 더욱 정교하고 견고해질 것으로 예상됨
- 연구실에서는 Reasoning과 Inference-Time의 계산이 계속 중요한 주제로 남을 것이며, 새로운 스케일링 법칙이 등장한 지금, 다음 경쟁이 시작됨
- 그러나 특정 도메인에서는 여전히 실세계 데이터를 수집하고, 도메인 및 애플리케이션에 특화된 인지 아키텍처를 인코딩하는 것이 어려움
- 이러한 문제를 해결하는 데에는 라스트마일 앱 제공업체가 유리할 수 있음
- 앞으로 Factory의 Droid와 같은 다중 에이전트 시스템이 등장하여 추론 및 사회적 학습 프로세스를 모델링하는 방식으로 확산될 가능성 있음
- 다중 에이전트 시스템은 여러 작업을 동시에 처리할 수 있는 팀을 구성하여 더 많은 작업을 달성할 수 있을 것으로 예상됨
- 많은 사람들이 기대하는 순간은 생성 AI의 ‘Move 37’ 로, 이는 AlphaGo가 이세돌과의 대국에서 보여준 것처럼 일반 AI 시스템이 예상치 못한 초인적인 행동을 보이는 순간을 의미함
- 이 순간이 온다고 해서 AI가 “의식을 가지는” 것은 아니지만, AI가 지각, 추론, 행동의 과정을 시뮬레이션하여 독창적이고 유용한 방식으로 탐색할 수 있는 능력을 가질 수 있음
- 이는 AGI(인공지능의 완전한 자율성) 일 가능성이 있으며, 이는 단일한 사건이 아니라 기술의 다음 단계로 이어질 것임