- 지난 18개월간 관찰하거나 참여를 요청받은 AI 프로젝트의 성공률은 0% 였으며, 기술의 불확실성과 기존 소프트웨어 프로젝트의 부실한 운영이 겹쳐 투자가 성과로 이어지지 않았음
- 직원 500명 이상인 조직에서는 AI의 효용을 의심하는 것만으로 승진과 고용이 위태로워지고, 직원들은 AI 세탁과 토큰 사용량 조작으로 조직의 요구에 순응하고 있음
- 자연어 데이터 질의처럼 화려한 AI 데모는 정확도와 운영상 한계를 경고해도 구매 열기를 촉발하며, 판매자에게 평판·법적 위험까지 초래할 수 있음
- 고객과 이사회가 서로의 과장된 생산성 주장을 부정하지 못하는 조정 문제 때문에 회의적인 임원도 AI 투자를 공개적으로 지지하고, 비AI 사업에도 AI 요소를 억지로 붙이게 됨
- 조직을 바로잡으려면 일대일 대화·익명 설문·현장 검증이 필요하며, 내부 정치를 피하기 어려운 직원은 AI 생성 코드로 소진되기 전에 이직이나 계약직 전환을 준비해야 함
18개월간 관찰된 AI 프로젝트의 실패
- 지난 1년간 회사의 영업과 대부분의 기술 업무를 맡아 전 세계 전문가와 약 300회 대화한 경험에서, 민간·공공 조직의 책임자들은 계획 없이 AI에 몰입하거나 침묵하고 있었음
- AI 프로젝트의 실제 성과를 확인하기 어려운 이유는 이사회·경영진·직원·판매사·컨설턴트 모두 실패를 공개할 유인이 없기 때문임
- 경영진은 실패를 인정하면 자리를 잃을 수 있음
- 직원은 해고나 구조조정 대상이 될 수 있음
- 일부 상장사는 Copilot 라이선스를 구매한 뒤 이를 AI 생산성 향상으로 발표함
- 관찰하거나 참여를 요청받은 프로젝트는 18개월 동안 모두 실패했으며, 팀은 AI 구현 업무를 전부 거절하고 OpenAI의 존속 여부에 직접 좌우되지 않는 계약만 유지했음
- AI 도구가 특정 작업을 빠르게 하더라도 현재의 투자 방식과 규모는 타당하지 않았음
- 일반 소프트웨어 프로젝트의 모든 실패 요인이 그대로 존재함
- 새로운 기술이라는 추가 위험 때문에 구현을 제대로 해도 실패할 수 있음
- 이 위험을 감당할 만큼 소프트웨어 제공 역량이 뛰어난 기업은 드묾
내부·고객용 챗봇이 성과를 내지 못하는 이유
- 내부 챗봇은 기업 문서의 품질이 낮아 충분한 답을 만들지 못하며, 실제 직원 사용률도 유의미하지 않았음
- 고객용 챗봇도 만족스러운 사례가 드물었고, 의료 진료 중 실시간 전사 정도가 예외였음
- 프로젝트 책임자들은 도구가 실제로 사용되는지 보여주는 기본 지표를 피하고, 쉽게 조작할 수 있는 지표를 선택함
- Mitsubishi의 자동차 고장 지원 음성 봇은 자연스러운 음성과 빠른 응답, 실제 운영 환경이라는 점에서 완성도가 높았지만 약속한 회신은 6개월 동안 오지 않았음
- 요청이 사라졌는지, 사람의 개입 없이 해결된 것으로 집계됐는지 알 수 없었음
- 시스템상 오류가 보이지 않아도 고객은 Mitsubishi 차량을 다시 구매하지 않기로 결정했음
- 진행 중인 AI 프로젝트의 목표·사용자·성과를 묻는 것만으로도 책임 체계에 대한 공격으로 받아들여질 수 있어, 위기가 닥치기 전에는 개입하기 어려움
- 컨설팅은 상대가 요청할 때 사람에게 영향을 주는 일이라는 Gerry Weinberg의 원칙에 따라, 일반 데이터 전략에 관한 조언을 명시적으로 요청받지 않으면 프로젝트에 개입하지 않음
의심을 허용하지 않는 조직 문화
- 직원 500명 이상인 모든 관찰 대상 기업에서는 승진과 고용을 유지하려면 AI의 변혁적 힘을 반복해서 선언해야 했음
- 기술적 활용안을 제안하는 수준이 아니라 종교적 신앙 고백에 가까웠으며, 주로 비기술 인력이 주도하고 일부 기술자도 호응함
- “AI가 모든 것을 바꾼다”고 말하면서도 실제 조직 내 LLM 활용 사례나 달라진 점을 하나도 제시하지 못하는 경우가 있었음
- 연 매출 20억 달러 이상인 조직의 AI 중심 기술 전략을 만든 임원이 ChatGPT를 포함한 AI 도구를 한 번도 사용하지 않은 사례도 있었음
- 단순한 홍보성 거짓말보다 기술 배경이 없는 책임자가 자신의 말을 실제로 믿는 경우가 더 위험했음
- 거짓말하는 사람과는 사익을 매개로 협상할 수 있지만, 진정한 신봉자는 자신의 이해관계에도 흔들리지 않음
- 한 조직은 LLM 없이 높은 성과를 냈다는 이유로 최고 성과자들을 해고함
- “My AI Skeptic Friends Are All Nuts”와 비판적 입장이 다르더라도, 경영진의 LLM 사용 의무화는 나쁜 전략이며 전문 직원에게 비정상적인 작업 제약을 준다는 점에서는 일치함
AI 세탁과 조작 가능한 평가 지표
- 관리자가 결과보다 AI 사용 여부를 중시하자 엔지니어들은 기존 방식으로 일한 뒤 Claude가 수행했다고 보고하는 AI 세탁을 시작함
- 일부 조직은 토큰 소비량이 많을수록 높은 평가를 주는 순위표를 운영함
- 시스템 최적화 역량으로 채용된 직원들은 LLM이 스스로 프롬프트를 반복하도록 설정함
- 출력물이 배포에 부적합해도 토큰 사용량만 채운 뒤 다른 일을 함
- 한 소프트웨어 엔지니어는 Go 저장소의 사본을 AI에 주고 전체를 Zig로 재작성하게 한 뒤 결과를 버리는 방식으로 사용량 할당량을 채움
- 실제 해고 대상은 AI 전략에 눈에 띄는 의문을 제기한 사람들이었고, 직원들은 경영진의 AI 비전을 칭찬하는 것이 안전하다고 학습함
- 병원이나 토목 기업의 비전문 경영자가 현장 전문가의 동의 없이 구체적인 절차를 강제하지 않듯, 비기술 경영진이 소프트웨어 전문가에게 특정 도구를 의무화하는 것도 부적절함
Snowflake Cortex 데모가 촉발한 구매 열풍
- Snowflake는 사용량 기반으로 과금되며 일반적인 기업 데이터는 하루 1분가량 처리할 수 있어 분석용 데이터베이스로 활용됐지만, AI 챗봇 계층인 Cortex는 사용하지 않았음
- Cortex는 데이터 열의 의미 같은 메타데이터를 바탕으로 “지난주 매출은 얼마인가?” 같은 자연어 질문을 데이터베이스 질의로 변환함
- Snowflake 직원의 발표에서 최적 설정의 정확도는 약 92% 였으며, 대기업 데이터에서는 숫자 10개 중 약 1개가 틀릴 수 있고 배포 관리에도 심각한 문제가 있었음
- 운영 환경에 적합하지 않다는 경고와 함께 데모를 보여줬지만, 미온적이던 모든 잠재 고객이 즉시 구매를 원했음
- 비AI 방식으로 수백만 달러의 가치를 만들 수 있다는 제안도 관심에서 밀려남
- 합리적 판단의 공백을 이용하는 것이 무책임하다고 보고 판매를 중단하고 Cortex를 데모 목록에서 제거함
- 팀이 두 시간 만에 만든 낮은 품질의 데모조차 잠재 고객이 이전에 본 결과물보다 나았음
- 이미 AI 활용을 홍보하던 ASX 상장사조차 기존 투자에서 보여줄 결과물이 없었음
- AI에 일시적 호기심 이상을 보인 잠재 고객은 판매 과정에서 비합리적인 행동과 숭배에 가까운 관리 환경을 드러냈고, 계약이 평판·법적 위험을 만들 수 있어 모두 거래를 포기함
임원들이 과장을 멈추지 못하는 조정 문제
- 연간 반복 매출 10억 달러 이상 기업의 일부 AI 책임자는 자신의 직책이 실질적으로 허위라고 생각하면서도, 조직 내 유일한 승진 경로여서 맡았다고 밝힘
- 한 Fortune 500 기업의 기술 역량 있는 임원도 회사의 “생산성 100배” 같은 공개 발언을 개인적으로 방어하지 못했음
- 과장의 핵심 동력은 판매 문구보다 고객 임원의 체면과 계약 관계였음
- 판매사 임원이 고객의 생산성 100배 주장을 부정하면 고객 임원의 신뢰를 훼손하는 공격으로 받아들여질 수 있음
- 그 결과 대형 기업 계약이 취소되면 해당 판매사 임원도 해고될 수 있음
- 기업이 서로 고객이자 공급자인 관계에서는 어느 임원도 먼저 사실을 말하기 어려움
- 모두 과장에 협조하면 자리를 유지할 수 있음
- 한 명이 이탈하면 동료를 거짓말쟁이·겁쟁이·무능력자로 만든 셈이 되어 해고될 수 있음
- 모두가 동시에 인정하면 상황을 바꿀 수 있지만 이를 조정할 방법이 없음
- S&P 500 기업 이사회 구성원들도 AI 투자의 위험을 의심하면서, 자신의 자리를 지키려면 투자를 요구해야 한다고 느꼈음
- 한 이사는 “이렇게 일찍 투자하는 것은 상승 여력 없이 위험만 떠안는 것 같다”고 평가함
- 약 2년 뒤 해당 수십억 달러 규모 조직은 스스로를 AI-native라고 홍보하게 됨
모든 사업을 AI로 포장하는 순도 검사
- 조직 내 정치가 개입되는 모든 제안은 실제 가치가 불명확해도 AI 정렬을 포함해야 승인받을 수 있음
- 상당수 AI 프로젝트는 기존 비AI 프로젝트에 사후적으로 AI 요소를 붙여 순도 검사를 통과한 형태였음
- Oracle에서 Snowflake로 데이터베이스를 이전한 사례에서는 판매사가 Oracle SQL을 Snowflake SQL로 바꾸는 작업을 LLM으로 자동화하는 단계를 추가함
- 권한 부족으로 자동화가 실패하자 사람이 직접 변환함
- 일부 SQL이 AI로 번역됐다는 이유만으로 전체 프로젝트를 AI 기반 성공으로 보고함
- 실제 구매 대상은 라이선스 갱신 전 기존 시스템을 폐기하기 위한 일반적인 데이터베이스 마이그레이션이었음
- LLM이 유일한 핵심 메커니즘이고 구체적인 수치로 성공 여부를 판단할 수 있는 진정한 AI 프로젝트는 드물었음
- 주로 스타트업에서 나타났지만, 판매 과정 말미에 이미 완성됐다고 홍보한 제품을 대신 만들어 달라는 요구가 반복돼 거래를 중단함
- AI를 붙이기 어려운 사업은 자금 요청이 거절되거나, “충분히 AI다운” 제안이 될 때까지 커뮤니케이션이 지연됨
- 추가 인력을 요청할 때 먼저 AI를 사용해봤음을 입증하도록 요구하는 기업도 있음
- AI를 사용했는데도 인력이 필요하다고 말하면 “AI를 잘못 쓰는 사람”으로 분류돼 해고될 수 있음
- AI가 최우선 과제와 실제로 일치하는 극소수 기업을 제외하면, 대형 조직은 적절한 소프트웨어 구매·인재 채용·정직한 프로젝트 보고·합리적인 신규 사업 추진에 집중하기 어려워짐
특정 프로젝트를 바로잡아야 할 때
- AI 프로젝트의 문제는 집단 회의보다 일대일 대화에서 다루는 편이 효과적임
- 공개된 자리에서는 각 참석자가 동료에게 회의론자로 보일 것을 두려워함
- 의견을 다른 곳에 전달할 때 신원을 숨기겠다고 약속해야 함
- 직접 인용처럼 출처를 추정할 수 있는 방식은 피해야 함
- 6명 중 1명 정도만 문제를 말한다면 개선 가능성이 더 높은 조직으로 옮기는 편이 나을 수 있음
- 진행 중인 프로젝트에는 Secrets of Consulting에서 얻은 익명 설문 방식을 활용할 수 있음
- 성공 가능성을 1~10점으로 평가하게 하면 일부는 3점, 일부는 8점인 양극 분포가 나타날 수 있음
- 이미 3년 늦은 프로젝트에서도 이런 격차가 나타났으며, CEO에게 중요한 정보가 숨겨지고 있음을 보여줄 수 있음
- 프로젝트의 실제 성공 여부는 매일 도구를 사용하는 현장 직원에게 확인해야 함
- 이들이 존중받는 환경에서 의견을 말하도록 해야 함
- 한 고객사에서는 직원들이 자신에게 AI 도구 라이선스가 지급됐다는 사실조차 몰라 생산성 향상 주장의 기반이 흔들렸음
- 특정 문제를 해결하려는 상황이라면 “AI가 모든 것을 바꾼다” 같은 포괄적 명제는 반박하지 않는 편이 나음
- 조직의 현실관 자체에 도전하려면 최고 책임자의 신뢰를 먼저 얻어야 함
- 공개석상에서 망신을 주기보다 사적인 식사 자리에서 불안을 낮춰야 함
- 회의 참석자가 과거에 어떤 공개 발언을 했는지 알 수 없으므로, “LLM이 사람의 검토 없이 코드를 배포해서는 안 된다” 같은 상식도 초기 신뢰 형성을 무너뜨릴 수 있음
- 다른 공익적 목표를 달성해야 하고 정직한 접근이 불가능하다면, 프로젝트에 1만 달러짜리 AI 챗봇을 붙여 그 부분만 강조하는 방식까지 현실적인 선택지로 봄
조직을 바꾸기보다 살아남아야 할 때
- AI에 대한 집단적 집착은 기술 자체보다 역기능적 기업 문화의 문제여서 개인이 의미 있게 저항하기 어려움
- 정규직 대신 계약직으로 전환하면 더 많은 보수를 받고 내부 정치에서 벗어날 수 있으며, 견디기 어려운 환경에도 명확한 종료일이 생김
- AI 뉴스는 필요한 만큼만 소비하고 Hacker News·Reddit처럼 지속적으로 관련 소식을 공급하는 채널을 피하는 편이 정신적 부담을 줄임
- 친구에게 불만을 말할 때도 왜 이 대화가 필요한지 밝히고 적정 수준에서 멈춰야 함
- 주변 사람이 위험하지 않은 용도로 부적절하게 AI를 사용한다면 논쟁하지 않고 넘어가며, 프로그래머로서 의견을 요청받으면 “과장된 면이 있다”고 짧게 답한 뒤 주제를 바꾸는 방식을 권함
- 2,000줄짜리 AI 생성 PR을 계속 검토해야 한다면 소진과 해고를 전제로, 에너지가 남아 있을 때 구직을 시작해야 함
- 생성자를 설득해 대량의 저품질 코드를 멈추게 하기는 어려움
- 업무 속도 저하와 관리자의 불만은 지금 구직 때문에 생기거나 나중에 소진 때문에 생길 뿐 피하기 어려움
- 관리자가 명백한 AI 생성 문장으로 답한다면 AI로 응답해 에너지를 아끼면서 새 직장을 찾아야 함
- 토큰 사용량을 최대치로 채우라는 요구를 받는 경우에도 현실 감각을 잃기 전에 이직을 준비해야 함
- 이런 회사는 채용 플랫폼에 잘 나타나지 않는 소규모 조직에 존재할 수 있음
- 찾는 데 수개월이 걸릴 수 있으므로 일찍 시작해야 함