▲

GN⁺: AI 대재앙: 프로젝트의 80%가 실패하고 수십억 달러가 낭비됨

 (salesforcedevops.net)
37P by neo 3달전 | favorite | 댓글 6개
  • RAND 연구소의 새 보고서는 AI에 대한 Hype에도 불구하고 대부분의 프로젝트가 실패한다는 것을 보여줌
    • RAND: 미국의 대표적인 싱크탱크중 하나. 이름은 R&D를 뜻함. 더글러스항공이 1948년에 설립
  • 이 보고서는 65명의 숙련된 데이터 과학자 및 엔지니어와의 인터뷰에 기반하여 이러한 실패의 근본 원인을 밝히고 성공을 위한 로드맵을 제시함

리더십 실패: 장님이 장님을 인도함

  • AI 프로젝트 실패의 가장 큰 원인은 기술이 아닌 최상위 경영진임
  • 경영진은 AI로 어떤 문제를 해결해야 하는지 잘못 이해하거나 소통하는 경우가 많음
  • 경영진은 AI에 대해 과대 기대를 가지고 있으며, 성공적인 AI 구현에 필요한 시간과 자원을 과소평가함
  • 경영진과 기술팀 간의 명확한 의사소통과 프로젝트 목표에 대한 이해 부족으로 AI 이니셔티브는 시작부터 실패할 운명임
  • 많은 조직에서 성공적인 AI 구현에 필요한 인내심이 부족함. 프로젝트는 중도에 포기되거나 실제 가치를 입증할 기회도 없이 새로운 우선순위로 전환되는 경우가 많음

데이터 딜레마: 쓰레기를 넣으면 쓰레기가 나옴

  • 데이터 품질은 두 번째로 중요한 장애물로 나타남 "AI의 80%는 데이터 엔지니어링의 지저분한 작업임"
  • 많은 조직에서 효과적인 AI 모델을 훈련시킬 만큼 충분한 고품질 데이터가 부족함
  • 레거시 데이터셋은 AI 훈련에 적합하지 않을 수 있음
  • 데이터 엔지니어 부족은 지식 손실과 프로젝트 비용 증가로 이어짐
  • AI 팀 내 도메인 전문성 부족으로 데이터를 잘못 해석하고 모델 설계에 결함이 생길 수 있음

반짝이는 물건 쫓기: 엔지니어가 집중력을 잃었을 때

  • 엔지니어 자신이 프로젝트 실패에 기여하기도 함
  • 많은 데이터 과학자와 엔지니어는 더 단순한 솔루션으로 충분함에도 불구하고 최신 기술 발전을 사용하는 데 매력을 느낌
  • 이 "반짝이는 물건"을 추구하는 경향은 유지 관리와 이해관계자에게 설명하기 어려운 불필요하게 복잡한 솔루션으로 이어질 수 있음
  • 조직은 혁신과 실용성 사이의 균형을 맞춰야 함. 기술 발전을 따라가는 것도 중요하지만 실제 비즈니스 문제를 효과적으로 해결하는 데 주력해야 함

인프라: 성공을 위한 매력 없는 기반

  • 인프라 투자 부족은 AI 프로젝트 실패의 또 다른 주요 요인으로 나타남
  • 많은 기업이 필요한 기반을 먼저 마련하지 않고 AI 프로젝트를 시작하려고 함
  • 조직은 AI 구현에 대해 더 포괄적인 관점을 가질 필요가 있음. 견고한 데이터 파이프라인, 자동화된 테스트 및 배포 시스템, 프로덕션에서 모델 성능을 모니터링하는 도구에 투자하는 것을 의미함
  • 많은 조직에서 성공적인 AI 프로토타입에서 프로덕션 준비 시스템으로의 전환에 어려움을 겪음. 이 "라스트 마일" 문제는 종종 유망한 프로젝트를 탈선시킴

권고 사항: AI 열망에 대한 현실 점검

  • RAND 보고서는 조직이 AI 프로젝트 성공률을 높이기 위해 다음과 같은 권고 사항을 제시함:
  • 기술 직원이 프로젝트 목적과 비즈니스 맥락을 이해하도록 보장. "프로젝트의 의도와 목적에 대한 오해와 잘못된 소통이 AI 프로젝트 실패의 가장 흔한 이유"라고 보고서는 지적함. 이를 위해서는 비즈니스 팀과 기술 팀 간의 지속적인 대화, 공유된 이해와 용어 구축을 위한 노력이 필요함.
  • 지속 가능한 문제를 선택. "AI 프로젝트를 시작하기 전에 리더는 각 제품 팀이 최소 1년 동안 특정 문제를 해결하는 데 전념할 준비가 되어 있어야 함." 이 권고안은 빠른 성과를 좇거나 우선순위를 계속 바꾸려는 경향에 반박함. 장기적이고 높은 영향력을 가진 문제에 초점을 맞춤으로써 조직은 AI 이니셔티브에 성공에 필요한 시간과 자원을 제공할 수 있음.
  • 기술이 아닌 문제에 집중. "그 자체를 위해 최신 AI 기술을 좇는 것은 실패로 가는 가장 빈번한 경로 중 하나임." 보고서는 가장 최첨단 솔루션이 아니더라도 해당 작업에 적합한 도구를 선택하는 것이 중요하다고 강조함. 이는 조직이 기술 팀을 평가하고 보상하는 방식의 변화를 요구할 수 있음.
  • 인프라에 투자. "데이터 거버넌스와 모델 배포를 지원하기 위한 사전 인프라 투자는 AI 프로젝트 완료에 필요한 시간을 상당히 단축시킬 수 있음." 이러한 투자는 AI 연구만큼 화려하지 않을 수 있지만 장기적인 성공을 위해 중요함. 여기에는 견고한 데이터 파이프라인 구축, 모델 및 데이터에 대한 버전 제어 구현, 배포된 AI 솔루션을 모니터링하고 유지 관리하기 위한 시스템 개발이 포함됨.
  • AI의 한계를 이해. "AI는 어려운 문제를 해결할 수 있는 마법의 지팡이가 아님. 어떤 경우에는 가장 진보된 AI 모델조차도 어려운 작업을 자동화할 수 없음." 보고서는 AI가 할 수 있는 것과 할 수 없는 것에 대한 보다 현실적인 평가를 요구하며, 조직에 기대치를 낮추고 AI가 진정한 가치를 창출할 수 있는 영역에 집중할 것을 촉구함.

학계의 관점: 논문으로 발표하거나 사라지거나

  • 이 연구는 학계의 AI 연구도 조사했는데, 논문 발표에 대한 압박과 명성 추구가 실제 응용을 압도하는 경우가 많다는 것을 발견함
  • "AI 프로젝트가 논문 발표로 이어지지 않으면 성공으로 인식되지 않았다"고 보고서는 지적하며, 학문적 인센티브와 실제 세계 영향 간의 불일치를 강조함
  • 이런 논문 발표 중심의 접근은 연구자들이 실제 세계에 상당한 영향을 미칠 수 있는 점진적 개선보다 참신하지만 비현실적인 접근 방식에 우선 순위를 두도록 할 수 있음
  • 보고서는 학문적 기관들이 AI 연구에서 성공의 기준을 넓혀, 실질적인 응용이나 산업 협력과 관련된 지표를 포함하는 방안을 고려해야 한다고 제안
  • 또한 이 연구는 많은 학계 연구자들이 고품질의 실제 데이터셋에 대한 접근에 어려움을 겪고 있다는 것을 발견함. 이는 학문적 연구와 실제 응용 간의 괴리로 이어질 수 있음
  • 보고서는 연구자들에게 필요한 개인 정보 보호 및 보안 조치를 유지하면서 더 관련성 있는 데이터에 대한 접근을 제공하기 위해 학계, 산업계, 정부 기관 간의 협력 증진을 권장함

AI 산업에 대한 경종

  • 이 RAND 보고서는 AI 산업에 꼭 필요한 현실 점검 역할을 함
  • AI의 잠재력은 여전히 막대하지만 성공적인 구현의 길은 도전으로 가득 차 있음
  • 조직은 과대 광고와 현실 사이의 격차를 메우고 데이터 품질, 인프라, 기술 및 비즈니스 팀 간의 명확한 의사소통과 같은 견고한 기본에 집중해야 함
  • 한 인터뷰 대상자가 현명하게 지적했듯이 "이해관계자는 프로세스에 참여하고 싶어함. '예상보다 오래 걸리고 있으니 2주 후에 다시 연락드리겠습니다'라고 말할 때 그들은 좋아하지 않음. 그들은 호기심이 있음." 이는 AI 프로젝트 전반에 걸쳐 지속적이고 투명한 의사소통이 필요하며, 모든 이해관계자에게 정보를 제공하고 참여시켜야 함을 강조함
  • 보고서는 또한 AI 개발에서 인내심과 끈기의 중요성을 강조함. 빠른 성과는 드물며, 조직은 AI 이니셔티브에서 실질적인 이점을 얻기 위해서는 장기적인 노력을 할 준비가 되어 있어야 함. 이는 단기적 사고에서 벗어나 보다 전략적이고 장기적인 AI 구현 관점으로 이동하는 조직 문화와 기대치의 변화를 필요로 할 수 있음
  • 이러한 교훈을 받아들이고 보다 현실적이고 인내심 있는 AI 개발 접근 방식을 채택함으로써 조직은 이 혁신적인 분야에서 성공 가능성을 높일 수 있음

"AI의 미래는 밝지만, 그 길에 놓여 있는 매우 인간적인 도전들을 헤쳐나갈 수 있는 사람들에게만 해당됨. 산업이 성숙해짐에 따라 혁신과 실용성의 균형을 맞추고 기술적 탁월성과 비즈니스 감각을 겸비한 사람들이 AI의 진정한 잠재력을 활용할 수 있는 최적의 위치에 있을 것임."

▲
aer0700 3달전  [-]

똑똑한 분이 오래전에 핵심적인 질문을 남기셨죠...
돈이 될까?

답변달기
▲
koreaisbest 3달전  [-]

기업은 빠르게 수익을 내려고 하고 있고 이름만 붙인 ai어쩌구 저쩌구만 팔고 있고 사용자 눈높이는 거진 최소10년이상은 투자한 결과물일 텐데..힘들죠..

답변달기
▲
piljae 3달전  [-]

기업이 실패를 견딜 수만 있다면...
결국 버틸 수 있는 자가 승리.

답변달기
▲
mobizen 3달전  [-]

엄청 공감이 가는 포스팅이네 ^^ 작은 딴지 아닌 딴지를 걸어보자면...'Publish'는 이 문맥에서 '출판'이 아니라 '논문 발표'가 더 자연스러운 듯.

답변달기
▲
savvykang 3달전  [-]

LLM으로 만든 엉터리 재무제표 숫자를 투자자들에게 잘못 전달하는 상상을 해보면 이성적인 경영자는 LLM에 이렇게 열광하지 않을텐데요. 아무리 설명해도 고집 부리는 일부 사람들에게는 쪽팔리는 경험이 약이 될거라 생각합니다

답변달기
▲
neo 3달전  [-]
Hacker News 의견

  • RAND 보고서: "산업 이해관계자들이 AI로 해결해야 할 문제를 오해하거나 잘못 전달함"이라는 내용이 있음

    • 데이터 과학자로서, 도메인 파트너들이 데이터 모델의 기여를 과대평가하는 경향이 있음
    • 데이터 과학자와 ML 엔지니어는 초기 계획 단계에서 모델의 실제 영향을 결정해야 함
    • AI/ML 도구를 단순한 플러그 앤 플레이 솔루션으로 취급하면 실패할 가능성이 큼

  • 투자 실패 문제: 80%의 실패가 문제가 아니라, 남은 20% 중 몇 개의 블랙 스완이 전체 투자 세트를 수익성 있게 만들 수 있음

    • 만약 생존한 것들이 가치가 없다면, 그 투자금은 낭비된 것임
    • 한 플레이어에 모든 것을 투자하고 그 플레이어가 실패하면 전체 베팅이 실패함

  • Rand Report 링크: Rand Report

  • AI 남용 문제: 회사들이 "어디든 AI를 삽입하라"는 지시를 내리는 경우가 많음

    • AI를 무분별하게 사용하는 것은 문제의 신호임
    • AI가 주가를 올리기 위해 모든 곳에 억지로 삽입되는 것은 비합리적임

  • 스타트업 성공률: 90%의 스타트업이 3년 내에 실패하는 것보다 80/20 법칙이 더 나음

  • 역사 반복: DART가 1991년에 도입되어 1995년까지 DARPA의 AI 연구 자금을 상쇄한 사례가 있음

  • AI 기능 문제: AI 기능이 유지되는 이유는 경영진이 AI에 과도하게 집착하기 때문임

    • 엔지니어들은 시간, 노력, 돈 낭비라고 경고하지만 경영진은 AI에 대한 집착을 멈추지 않음
    • 대부분의 경영진이 트렌드를 맹목적으로 쫓는다는 것을 깨달음

  • R&D 성공률: 최첨단 기술에서 20%의 프로젝트가 성공하는 것은 꽤 좋은 성과일 수 있음

  • AI로 코딩 대체: AI가 코딩을 대체할 것이라는 주장에 대한 회의적 시각이 있음

    • Nvidia 주식을 단기 매도할 계획

  • 웹사이트 다운: HN 트래픽을 감당하지 못해 Wordpress 사이트가 다운됨

    • "데이터베이스 연결 오류" 발생
답변달기