▲

스타트업에게 좋은 소식: 기업들은 AI를 제대로 구현하지 못하고 있다 [유튜브]

 (youtube.com)
20P by neo 2일전 | ★ favorite | 댓글과 토론
  • MIT의 연구 조사결과 기업 AI 프로젝트가 95% 실패율을 보인다고 하지만, 실제로는 대기업이 AI를 자체 구축하지 못하는 구조적 문제를 드러낸 것
  • 대기업들은 내부 IT팀이나 컨설팅 회사를 통해 AI 시스템을 구축하려 하지만, 제품 개발 역량 부족과 정치적 장벽으로 대부분 실패
  • 외부 스타트업 벤더를 선택한 프로젝트의 성공률이 자체 개발보다 훨씬 높았으며, 기업들은 이제 스타트업의 솔루션에 의존할 수밖에 없는 상황
  • 대기업 엔지니어링 팀 내부에 AI 회의론자들이 다수 포진해 있어 실제 작동하는 제품을 만들 수 없으며, 이것이 스타트업에게 전례 없는 기회를 제공
  • AI 네이티브 시스템 구축과 전환 비용으로 인한 높은 진입장벽이 형성되어, 제대로 작동하는 솔루션을 만들 수 있는 스타트업에게 유리한 환경 조성

MIT 연구 보고서의 실제 내용

  • AI 인플루언서들이 퍼뜨린 왜곡된 해석: X와 YouTube에서 "95% AI 프로젝트 실패율"을 "AI는 사기다" 라는 증거로 제시
  • 실제 연구 내용은 기업의 AI 도입 방식과 성공 요인에 대한 분석이며, AI 에이전트의 실제 작동 방식과 효과적인 접근법을 확인
  • 대학생들조차 트윗 버전만 읽고 "YC가 말하는 AI 스타트업들이 작동하지 않는다"고 잘못 결론

기업 AI 도입의 구조적 실패 원인

  • 내부 IT 시스템의 고질적 문제: 대부분의 기업 내부 IT 시스템이 품질이 낮으며, Ernst & Young이나 Deloitte 같은 컨설팅 회사를 고용해도 문제가 두 배로 증가
  • Apple도 소프트웨어 개발에 실패: 무한한 자본과 인재 접근성을 가진 Apple조차 캘린더 앱에서 매일 버그 발생
    • 일반 기업이나 IT 부서가 좋은 소프트웨어를 만들기 어려운 현실을 보여주는 사례
  • 조직 내 정치적 갈등: 대기업에서 정교한 소프트웨어 배포 시 여러 팀이 관여하면서 정치적 싸움과 영역 다툼 발생
    • 컨설턴트들이 데이터 과학팀, 고객지원팀, IT팀 등을 중재하며 요구사항 문서 작성
    • 하지만 컨설턴트들은 실제 소프트웨어 구축 기술 전문성 부족
  • 레거시 시스템의 한계: 기업 내부 시스템이 너무 오래되고 사일로화되어 있어, 외부 컨설팅 전문성과 소프트웨어 구축 역량이 동시에 필요
  • 최종 결과물은 위원회가 디자인한 낙타 같은 형태로, 실용성 없는 타협의 산물

성공적인 스타트업 사례들

  • Tactile (비즈니스 의사결정 엔진)

    • 은행의 KYC/AML 실시간 처리: 대출 신청자의 신용 확인과 비즈니스 규칙 검증을 일일 수백만 건 규모로 처리
    • Citibank와 JP Morgan이 자체 개발 시도했으나 3~5년과 수천만 달러 소요
    • Tactile은 REST API로 실시간 의사결정 제공, 최신 AI 모델 플러그인 가능, 예산의 일부와 훨씬 짧은 시간에 구축

  • Greenlight (은행용 AI 시스템)

    • 한 은행이 기존 벤더 Ernst & Young에게 AI 시스템 구축 요청
    • Ernst & Young이 1년간 개발했으나 완전히 실패
    • 은행이 다시 Greenlight에 접촉해 현재 완전히 배포되어 작동 중

  • 연구 결과: 외부 벤더 vs 내부 개발

    • 조사된 프로젝트 중 2/3가 자체 개발 또는 컨설팅 회사 협력
    • 1/3만이 Greenlight나 Tactile 같은 외부 벤더 제품 구매
    • 외부 벤더 선택 시 성공률이 자체 개발보다 훨씬 높음

스타트업이 성공하는 이유

  • 폴리매스(polymath) 부족 문제: 제품과 엔지니어링 모두에 능숙한 인재가 극히 드묾
    • 뛰어난 엔지니어들이 코딩에만 집중하며 은행 직원 같은 도메인 사용자와 소통 불가
    • 도메인 전문가들은 코딩이나 기술, 디자인, 제품 출시 역량 부족
  • Windsurf 사례: 엔지니어링 학위 없는 영업 리더가 Windsurf로 자체 도구 제작
    • IQ 150급 조직에서는 이미 발생 중이지만, 대부분의 조직에서는 아직 불가능
  • 스타트업 형태의 공백: 모든 비즈니스 프로세스와 시스템에 스타트업이 채워야 할 공백 존재
  • 희귀한 역량 조합 필요: 최신 AI 이해도, 제품 감각, 인간적 프로세스 이해를 모두 갖춘 인재

  • Castle AI 사례 (모기지 서버)

    • 레거시 벤더들의 AI 추가 시도: 수십 년 된 시스템 위에 AI를 덧붙이며 경쟁 대응
    • 은행들이 신뢰하는 기존 벤더와 베이크오프(bake-off) 경쟁 필수
    • 많은 경우 벤더 솔루션이 "AI를 그냥 얹은" 수준으로 매우 열악
    • Castle AI는 처음부터 네이티브로 구축된 제품 감각으로 대형 은행 계약 체결
    • 배치 후 1년 만에 성과 달성

  • Reducto 사례 (문서 처리)

    • YC 런치를 통해 FAANG 기업이 직접 발견: 배치 후 154일 만에 FAANG 기업 계약 체결
    • 해당 기업은 수년간 자체 솔루션 구축 시도
      • 오픈소스, AWS Tesseract 등 다양한 OCR 솔루션 시도했으나 실패
    • 제품 우수성(product excellence) 으로 계약 획득
    • 내부팀과 경쟁하며 조직 정치를 섬세하게 탐색해야 했음
      • MIT 보고서에서도 언급된 과제
    • 현재 1~2년 이상 프로덕션 환경에서 운영 중

성공 전략

  • 챔피언 키우기: 똑똑한 젊은이들에게 기회를 주고 싶은 내부 인물 확보
  • 이상적인 기업 내부 챔피언 유형
    • 스타트업 꿈을 가졌지만 위험회피적인 직원: 실제로는 창업하지 않을 사람들
    • 흥미로운 스타트업을 통해 대리만족을 경험하려는 성향
    • 자신이 스타트업 여정에 함께한다고 느끼며 창업자의 성공을 원함
    • 내면의 스타트업 꿈을 키우고 싶어하는 사람들 찾기
  • 창업자가 취할 자세
    • 정장을 입거나 Microsoft 홈페이지를 모방하는 등 형식주의 따르지 말 것
    • 진정성 있게 스타트업답게 행동하는 것이 중요
    • 똑똑하고 현명하게 보이는 것은 중요하지만, 과도한 형식은 불필요

기업의 AI 도입 의지와 스타트업 기회

  • MIT 보고서의 긍정적 핵심 메시지: 기업들의 압도적인 AI 도입 수요
  • 과거 TripleByte 운영 시절보다 FAANG 기업에 AI 에이전트 판매가 훨씬 용이
  • 기업들은 기존 소프트웨어 회사나 후기 단계 스타트업에서 솔루션 구매 선호
    • 더 많은 자금과 덜 위험해 보이는 업체 선호
  • 근본적으로 제품을 만들 수 없는 구조적 문제:
    • 대기업 엔지니어링 팀이 AI를 믿지 않는 사람들로 구성
    • 코드 생성 도구 사용하지 않음
    • MIT 연구가 과대평가라고 말하면 리트윗하며 좋아함
    • 믿고 싶은 내러티브에 집착
  • 엔지니어들이 믿지 않으면 작동하는 제품 구축 불가능
  • 스타트업에게 전례 없는 기회: 작동하는 제품을 만들면 기업들이 대화할 수밖에 없음
    • 내부 구축 불가능, 기존 회사에도 갈 수 없는 상황

AI 회의론자들에게 보내는 메시지

  • 직접 시도해보라

    • 엔지니어라면 실제 프로젝트에 투자해 사용해볼 것
    • 한 번 시도해 변수 이름 오류 났다고 포기하지 말 것
    • 메인 업무가 아닌 재미있는 사이드 프로젝트로도 가능
    • "Vibe Coding Dad's Night" 사례: 기술적이지 않은 집주인이 세입자 임대료 확인 시스템 제작
    • 10배 엔지니어를 100배로, 1배 엔지니어를 10배로 만드는 도구
    • 내면의 감정을 극복해야 하는 과제

  • Andrej Karpathy 인터뷰 왜곡 사례

    • 트윗: "Karpathy가 에이전트가 과대평가되었다고 말함"
    • 실제 발언: 에이전트에게 프롬프트만 주고 완벽한 결과를 기대할 수 없으며, 올바른 데이터, 컨텍스트, 평가, 도구 작업 필요
    • 실제 의미: 스타트업과 소프트웨어 개발자들에게 엄청난 기회
      • 구축해야 할 훌륭한 도구가 아직 산더미
    • AI는 도구이며 더 잘 작동하도록 도와야 함, 마법처럼 작동하길 기대하면 안 됨

AI 네이티브 시스템 재구축은 기회

  • 모든 시스템을 AI 네이티브로 완전히 재작성 필요
  • 소프트웨어가 AI와 함께 작동하도록 완전히 새로 작성되어야 함
  • 창업자들에게 무한한 기회 제공
  • "일단 시스템 훈련에 시간을 투자하면, 전환 비용이 감당할 수 없을 정도로 높아질 것"
  • 이것이 바로 해자(moat): ChatGPT 래퍼가 해자가 없다고 걱정하는 사람들에게 명확한 답

결론: 스타트업의 기회

  • AI 비관론자들의 잘못된 해석: 95% 실패율을 AI 불가능의 증거로 왜곡
  • 실제 메시지: AI 구현이 매우 어려우며 5%만 성공
  • 하지만 YC 합격률은 1% 미만: 그 1%의 창업자들이 성공하는 상위 1% 구현 사례 창출
  • 성공 요인: 뛰어난 기술력 + 폴리매스적 역량 + 타인에 대한 이해
    • 50억 달러 핀테크 CIO가 진정으로 원하는 것을 이해
  • 5%에 포함될 수 있다는 자신감: 실제로 뛰어나다면 절대 가능하며, YC에 수많은 사례가 존재함