- RAND 연구소의 새 보고서는 AI에 대한 Hype에도 불구하고 대부분의 프로젝트가 실패한다는 것을 보여줌
- RAND: 미국의 대표적인 싱크탱크중 하나. 이름은 R&D를 뜻함. 더글러스항공이 1948년에 설립
- 이 보고서는 65명의 숙련된 데이터 과학자 및 엔지니어와의 인터뷰에 기반하여 이러한 실패의 근본 원인을 밝히고 성공을 위한 로드맵을 제시함
리더십 실패: 장님이 장님을 인도함
- AI 프로젝트 실패의 가장 큰 원인은 기술이 아닌 최상위 경영진임
- 경영진은 AI로 어떤 문제를 해결해야 하는지 잘못 이해하거나 소통하는 경우가 많음
- 경영진은 AI에 대해 과대 기대를 가지고 있으며, 성공적인 AI 구현에 필요한 시간과 자원을 과소평가함
- 경영진과 기술팀 간의 명확한 의사소통과 프로젝트 목표에 대한 이해 부족으로 AI 이니셔티브는 시작부터 실패할 운명임
- 많은 조직에서 성공적인 AI 구현에 필요한 인내심이 부족함. 프로젝트는 중도에 포기되거나 실제 가치를 입증할 기회도 없이 새로운 우선순위로 전환되는 경우가 많음
데이터 딜레마: 쓰레기를 넣으면 쓰레기가 나옴
- 데이터 품질은 두 번째로 중요한 장애물로 나타남 "AI의 80%는 데이터 엔지니어링의 지저분한 작업임"
- 많은 조직에서 효과적인 AI 모델을 훈련시킬 만큼 충분한 고품질 데이터가 부족함
- 레거시 데이터셋은 AI 훈련에 적합하지 않을 수 있음
- 데이터 엔지니어 부족은 지식 손실과 프로젝트 비용 증가로 이어짐
- AI 팀 내 도메인 전문성 부족으로 데이터를 잘못 해석하고 모델 설계에 결함이 생길 수 있음
반짝이는 물건 쫓기: 엔지니어가 집중력을 잃었을 때
- 엔지니어 자신이 프로젝트 실패에 기여하기도 함
- 많은 데이터 과학자와 엔지니어는 더 단순한 솔루션으로 충분함에도 불구하고 최신 기술 발전을 사용하는 데 매력을 느낌
- 이 "반짝이는 물건"을 추구하는 경향은 유지 관리와 이해관계자에게 설명하기 어려운 불필요하게 복잡한 솔루션으로 이어질 수 있음
- 조직은 혁신과 실용성 사이의 균형을 맞춰야 함. 기술 발전을 따라가는 것도 중요하지만 실제 비즈니스 문제를 효과적으로 해결하는 데 주력해야 함
인프라: 성공을 위한 매력 없는 기반
- 인프라 투자 부족은 AI 프로젝트 실패의 또 다른 주요 요인으로 나타남
- 많은 기업이 필요한 기반을 먼저 마련하지 않고 AI 프로젝트를 시작하려고 함
- 조직은 AI 구현에 대해 더 포괄적인 관점을 가질 필요가 있음. 견고한 데이터 파이프라인, 자동화된 테스트 및 배포 시스템, 프로덕션에서 모델 성능을 모니터링하는 도구에 투자하는 것을 의미함
- 많은 조직에서 성공적인 AI 프로토타입에서 프로덕션 준비 시스템으로의 전환에 어려움을 겪음. 이 "라스트 마일" 문제는 종종 유망한 프로젝트를 탈선시킴
권고 사항: AI 열망에 대한 현실 점검
- RAND 보고서는 조직이 AI 프로젝트 성공률을 높이기 위해 다음과 같은 권고 사항을 제시함:
- 기술 직원이 프로젝트 목적과 비즈니스 맥락을 이해하도록 보장. "프로젝트의 의도와 목적에 대한 오해와 잘못된 소통이 AI 프로젝트 실패의 가장 흔한 이유"라고 보고서는 지적함. 이를 위해서는 비즈니스 팀과 기술 팀 간의 지속적인 대화, 공유된 이해와 용어 구축을 위한 노력이 필요함.
- 지속 가능한 문제를 선택. "AI 프로젝트를 시작하기 전에 리더는 각 제품 팀이 최소 1년 동안 특정 문제를 해결하는 데 전념할 준비가 되어 있어야 함." 이 권고안은 빠른 성과를 좇거나 우선순위를 계속 바꾸려는 경향에 반박함. 장기적이고 높은 영향력을 가진 문제에 초점을 맞춤으로써 조직은 AI 이니셔티브에 성공에 필요한 시간과 자원을 제공할 수 있음.
- 기술이 아닌 문제에 집중. "그 자체를 위해 최신 AI 기술을 좇는 것은 실패로 가는 가장 빈번한 경로 중 하나임." 보고서는 가장 최첨단 솔루션이 아니더라도 해당 작업에 적합한 도구를 선택하는 것이 중요하다고 강조함. 이는 조직이 기술 팀을 평가하고 보상하는 방식의 변화를 요구할 수 있음.
- 인프라에 투자. "데이터 거버넌스와 모델 배포를 지원하기 위한 사전 인프라 투자는 AI 프로젝트 완료에 필요한 시간을 상당히 단축시킬 수 있음." 이러한 투자는 AI 연구만큼 화려하지 않을 수 있지만 장기적인 성공을 위해 중요함. 여기에는 견고한 데이터 파이프라인 구축, 모델 및 데이터에 대한 버전 제어 구현, 배포된 AI 솔루션을 모니터링하고 유지 관리하기 위한 시스템 개발이 포함됨.
- AI의 한계를 이해. "AI는 어려운 문제를 해결할 수 있는 마법의 지팡이가 아님. 어떤 경우에는 가장 진보된 AI 모델조차도 어려운 작업을 자동화할 수 없음." 보고서는 AI가 할 수 있는 것과 할 수 없는 것에 대한 보다 현실적인 평가를 요구하며, 조직에 기대치를 낮추고 AI가 진정한 가치를 창출할 수 있는 영역에 집중할 것을 촉구함.
학계의 관점: 논문으로 발표하거나 사라지거나
- 이 연구는 학계의 AI 연구도 조사했는데, 논문 발표에 대한 압박과 명성 추구가 실제 응용을 압도하는 경우가 많다는 것을 발견함
- "AI 프로젝트가 논문 발표로 이어지지 않으면 성공으로 인식되지 않았다"고 보고서는 지적하며, 학문적 인센티브와 실제 세계 영향 간의 불일치를 강조함
- 이런 논문 발표 중심의 접근은 연구자들이 실제 세계에 상당한 영향을 미칠 수 있는 점진적 개선보다 참신하지만 비현실적인 접근 방식에 우선 순위를 두도록 할 수 있음
- 보고서는 학문적 기관들이 AI 연구에서 성공의 기준을 넓혀, 실질적인 응용이나 산업 협력과 관련된 지표를 포함하는 방안을 고려해야 한다고 제안
- 또한 이 연구는 많은 학계 연구자들이 고품질의 실제 데이터셋에 대한 접근에 어려움을 겪고 있다는 것을 발견함. 이는 학문적 연구와 실제 응용 간의 괴리로 이어질 수 있음
- 보고서는 연구자들에게 필요한 개인 정보 보호 및 보안 조치를 유지하면서 더 관련성 있는 데이터에 대한 접근을 제공하기 위해 학계, 산업계, 정부 기관 간의 협력 증진을 권장함
AI 산업에 대한 경종
- 이 RAND 보고서는 AI 산업에 꼭 필요한 현실 점검 역할을 함
- AI의 잠재력은 여전히 막대하지만 성공적인 구현의 길은 도전으로 가득 차 있음
- 조직은 과대 광고와 현실 사이의 격차를 메우고 데이터 품질, 인프라, 기술 및 비즈니스 팀 간의 명확한 의사소통과 같은 견고한 기본에 집중해야 함
- 한 인터뷰 대상자가 현명하게 지적했듯이 "이해관계자는 프로세스에 참여하고 싶어함. '예상보다 오래 걸리고 있으니 2주 후에 다시 연락드리겠습니다'라고 말할 때 그들은 좋아하지 않음. 그들은 호기심이 있음." 이는 AI 프로젝트 전반에 걸쳐 지속적이고 투명한 의사소통이 필요하며, 모든 이해관계자에게 정보를 제공하고 참여시켜야 함을 강조함
- 보고서는 또한 AI 개발에서 인내심과 끈기의 중요성을 강조함. 빠른 성과는 드물며, 조직은 AI 이니셔티브에서 실질적인 이점을 얻기 위해서는 장기적인 노력을 할 준비가 되어 있어야 함. 이는 단기적 사고에서 벗어나 보다 전략적이고 장기적인 AI 구현 관점으로 이동하는 조직 문화와 기대치의 변화를 필요로 할 수 있음
- 이러한 교훈을 받아들이고 보다 현실적이고 인내심 있는 AI 개발 접근 방식을 채택함으로써 조직은 이 혁신적인 분야에서 성공 가능성을 높일 수 있음
"AI의 미래는 밝지만, 그 길에 놓여 있는 매우 인간적인 도전들을 헤쳐나갈 수 있는 사람들에게만 해당됨. 산업이 성숙해짐에 따라 혁신과 실용성의 균형을 맞추고 기술적 탁월성과 비즈니스 감각을 겸비한 사람들이 AI의 진정한 잠재력을 활용할 수 있는 최적의 위치에 있을 것임."