AI 광풍이 전 세계의 의사결정을 무너뜨리고 있음

• Hermit Tech가 1년 반 동안 참여하거나 간접 관찰한 AI 프로젝트의 성공률은 0% 였으며, 기업들은 실질적 성과보다 AI 도입 자체를 전략적 목표로 삼고 있음
• 내부 챗봇은 부실한 문서 탓에 활용되지 않고 고객용 챗봇은 문제 해결 여부조차 제대로 측정되지 않지만, 경영진·직원·공급업체 모두 실패를 공개할 유인이 없어 생산성 향상 발표가 이어짐
• 500명 이상 조직에서는 AI의 효용을 의심하면 승진과 고용이 위태로워지고, 직원들은 AI를 쓰지 않은 작업도 AI 성과로 포장하거나 토큰 사용량을 인위적으로 늘려 평가 지표를 맞추고 있음
• 경영진도 고객·이사회·동료의 주장을 반박하면 계약이나 자리를 잃을 수 있어 침묵하며, 이러한 조정 문제가 과장된 성과와 불필요한 투자를 상호 강화함
• 모든 사업·채용·예산 요청에 AI 요소를 요구하면 정상적인 구매와 소통이 막히므로, 실무자는 비공개 면담과 익명 조사로 사실을 확인하고 상황이 고착됐다면 이직이나 계약직 전환을 준비해야 함

---

관찰된 AI 투자의 실패

• Hermit Tech는 지난 1년 동안 회사 영업을 맡고 세계 각지의 전문가 약 300명과 대화하며 민간·공공 조직의 AI 도입 상황을 접함
• 팀이 1년 반 동안 참여했거나 다른 업무 중 간접적으로 본 모든 AI 프로젝트가 실패했으며, 성공 사례가 있더라도 일반적인 결과가 아닌 예외에 가깝다고 판단함
  • 팀은 AI 구현 업무를 모두 거절했으며, OpenAI가 사라져도 현재 계약에 직접적인 영향이 없도록 노출을 최소화함
• AI 도구가 특정 작업을 빠르게 할 수 있더라도 현재의 투자 방식과 규모는 타당하지 않다고 봄
  • 기업의 일반적인 소프트웨어 프로젝트 수행 역량이 낮아 기존 실패 요인을 그대로 안고 있음
  • AI 프로젝트에는 기술의 신규성에서 오는 추가 실패 가능성도 존재함
  • 소프트웨어를 안정적으로 출시하면서 이러한 위험까지 감당할 수 있는 기업은 드묾

실패를 감추는 이해관계

• 이사회·경영진·직원·공급업체·컨설턴트 모두 AI 프로젝트의 성공 여부를 모호하게 만들 유인이 있음
  • 실패를 인정한 경영진은 자리에서 밀려날 수 있음
  • 솔직하게 문제를 말한 직원은 해고되거나 감원 대상이 될 수 있음
  • 일부 상장사는 Copilot 라이선스를 구매한 것 외에는 별다른 작업이 없는데도 AI 생산성 향상을 발표함
• 프로젝트 목표·사용자·성과를 묻는 기본적인 질문조차 지휘 체계를 공격하는 행위로 받아들여질 수 있음
  • 프로젝트가 진행 중일 때는 실패가 아직 드러나지 않아 잘되고 있다는 답이 나오기도 함
  • Hermit Tech는 위기가 현실화되기 전에는 개입하기 어렵다고 보고, 고객이 일반 데이터 전략에 관한 조언을 명시적으로 요청하지 않으면 진행 중인 AI 프로젝트를 먼저 문제 삼지 않음
• 이러한 접근은 Gerry Weinberg의 원칙인 “컨설팅은 요청받았을 때 사람에게 영향을 미치는 일”에 기반함

내부·고객용 챗봇의 한계

• 기업에서 가장 흔한 AI 프로젝트는 내부 직원용 또는 고객용 LLM 챗봇임
• 내부 챗봇은 실질적인 사용 확산이 거의 없었음
  • 기업 문서의 품질이 낮으면 LLM이 답변에 필요한 정보를 얻을 수 없음
  • 기록되거나 접근 가능하게 만든 정보만 활용할 수 있으므로 문서화 문제를 AI가 대신 해결하지 못함
• 고객용 챗봇도 만족스러운 경험이 드물었으며, 의료 진료 중 실시간 전사 정도가 예외였음
• 프로젝트 책임자는 도구의 실제 사용 여부 같은 기초 지표를 피하거나 쉽게 조작할 수 있는 지표를 고르는 경향이 있음

• Mitsubishi 고객지원 사례

  • 차량 고장 후 Mitsubishi에 연락하자 자연스러운 음성과 빠른 응답을 제공하는 자동 상담 시스템이 문제를 접수하고 곧 회신하겠다고 안내함
  • 6개월이 지나도 회신은 오지 않았음
  • 요청이 오류로 기록됐는지, 사람의 개입 없이 해결된 것으로 집계됐는지는 확인할 수 없었음
  • 시스템 지표에는 성공처럼 잡힐 수 있지만, 실제 결과는 고객이 Mitsubishi 차량을 다시 구매하지 않기로 한 것이었음

AI 신앙 고백이 된 조직 전략

• 관찰한 500명 이상 규모 조직에서는 승진과 고용을 유지하려면 해당 사업에서 AI가 모든 것을 바꿀 것이라는 믿음을 반복적으로 표명해야 하는 상황이 늘어남
• 구체적인 활용 아이디어가 아닌 신앙 고백에 가까운 발언이 요구됨
  • 비기술 직군이 주로 이런 발언을 하지만 기술자도 호의를 얻기 위해 동조함
  • “AI가 모든 것을 바꾸고 있다”고 말한 뒤 조직 내 LLM 활용 사례나 달라진 업무를 하나도 제시하지 못한 경우가 있었음
  • 연 매출 20억 달러 이상 조직의 기술 전략을 AI 중심으로 작성한 임원이 ChatGPT를 포함한 AI 도구를 한 번도 사용하지 않았다고 인정한 사례도 있었음
• 일부는 사상가처럼 보이려는 의도적 과장이지만, 기술 배경이 없는 사람이 자신의 말을 실제로 믿는 경우가 더 위험하다고 봄
• 한 조직은 최고 성과자들이 LLM 없이 성과를 냈다는 이유로 해고했으며, 외부 홍보가 아닌 자기 자금과 내부 전략에서도 같은 결정을 유지함

기술 전문가에게 강제되는 AI 사용

• AI에 회의적인 쪽과 찬성하는 쪽 모두 경영진의 LLM 사용 강제는 나쁜 전략이라는 데 동의함
  • “Contra Ptacek’s Terrible Article On AI”는 Thomas Ptacek의 “My AI Skeptic Friends Are All Nuts”와 LLM의 효용을 다르게 평가함
  • 그러나 전문 직원에게 특정 작업 방식을 강제하는 것은 부적절하다는 결론은 같음
• 비기술 경영진이 전문가의 동의 없이 구체적인 절차와 도구를 의무화하는 것은 병원이나 토목 회사의 CEO가 전문 인력에게 의료·건설 기법을 직접 지시하는 것과 같은 문제를 가짐

• AI 세탁과 토큰 순위표

  • 관리자는 결과가 만족스러워도 AI를 사용하지 않았다는 이유로 불만을 보이므로, 직원들은 기존 방식으로 일한 뒤 Claude가 수행했다고 허위 보고함
  • 일부 조직은 AI 비용이나 토큰 소비량이 많을수록 높은 평가를 주는 순위표를 운영함
  • 시스템 최적화를 담당하는 엔지니어들은 LLM이 스스로 프롬프트를 반복하도록 만들어 소비량을 높임
  • 출력물이 배포에 부적합하다고 판단해도 이를 버리고 다른 일을 하며 사용량만 채움
  • 한 엔지니어는 Go 저장소 복사본 전체를 Zig로 다시 작성하도록 AI에 지시한 뒤 결과를 무시한다고 밝힘
  • 이런 방식으로 지표를 조작한 사람은 적발되지 않았고, 전략을 눈에 띄게 의심한 사람들만 해고된 사례가 있었음
  • 직원들은 결국 경영진의 AI 전략을 칭찬해야 안전하다는 사실을 학습함

AI 데모가 구매 판단을 압도하는 방식

• Hermit Tech가 고객에게 배포하는 주요 인프라 가운데 하나는 사용량 기반 분석 데이터베이스 Snowflake임
• Snowflake의 Cortex는 데이터 열의 의미 같은 메타데이터를 활용해 자연어 질문으로 회사 데이터베이스를 조회하는 AI 계층임
  • “지난주 매출은 얼마인가?” 같은 질문에 답할 수 있음
  • Snowflake 직원의 발표에서 이상적으로 구성해도 대규모 기업 데이터의 복잡성 때문에 정확도가 약 92% 였던 것으로 기억함
  • CFO가 보는 숫자 약 10개 중 1개가 틀릴 수 있고 배포 관리에도 심각한 문제가 있어 프로덕션에는 적합하지 않다고 봄
• 그럼에도 Cortex는 인상적인 데모를 만들기 쉬웠음

• 경고를 무시하게 만든 시연

  • 본래 제안에는 미온적이던 고객도 자연어 데이터 조회 데모를 본 뒤 즉시 구매하려 함
  • 원하는 성과를 내지 못할 것이라고 명확히 경고했지만, 비AI 방식으로 얻을 수 있는 수백만 달러 규모의 효과까지 제쳐두고 챗봇에 예산을 집중하려 했음
  • Hermit Tech는 고객의 판단력 공백을 이용하는 것이 무책임하고 평판·법적 위험도 크다고 보고 판매를 중단했으며, 이후 Cortex를 데모 목록에서 제거함
  • 데모는 약 2시간 만에 데이터 설명을 브라우저에 입력해 만든 수준이었지만, 이미 AI 활용을 홍보하던 ASX 상장사를 포함한 잠재 고객들이 기존 투자로 확보한 어떤 결과물보다도 잘 작동했음
  • 이후 AI에 일시적인 호기심을 넘어 강한 집착을 보인 잠재 고객과는 모두 거래를 중단함
  • 도덕적 거부뿐 아니라 계약 과정에서 평판·법적 위험을 피하기 어려웠기 때문임
  • 이들이 만드는 관리 환경도 종교적이고 비효율적으로 변했음

경영진을 묶는 조정 문제

• 대규모 AI 사업을 맡거나 공개적으로 과장된 발언을 하는 경영진 중 일부는 자신의 말을 믿지 않음
  • 연간 반복 매출 10억 달러 이상 기업의 일부 AI 책임자는 해당 직책이 허구라고 생각하지만, 조직 내 유일한 승진 경로여서 맡았다고 밝힘
  • 여러 CISO는 AI 사업에 조용히 회의적이지만 공개적으로 반대하기를 두려워함
• Fortune 500 기업의 한 임원은 고객사 임원들이 100배 생산성 향상을 주장하는 상황에서 공급업체가 이를 부정하면 고객 경영진의 신뢰를 훼손하고 기업 계약이 취소될 수 있다고 말함
• 공급업체 역시 다른 공급업체의 고객이므로, 각 회사 경영진은 상대방의 과장을 반박했다가 자신이 먼저 불이익을 받을 가능성을 두려워함
• 이는 AI 성과에 관해 정직하게 말하기 어려운 조정 문제를 만듦
  • 모두 기존 입장을 유지하면 자리를 지킬 수 있음
  • 한 명이 사실과 다른 성과를 부정하면 동료를 거짓말쟁이·겁쟁이·무능력자로 만든 것으로 받아들여져 해고될 수 있음
  • 해고된 자리는 다시 기존 입장에 따를 사람으로 채워짐
  • 모두가 동시에 인정하면 상황이 바뀔 수 있지만 이를 조율할 수단이 없음
• S&P 500 이사회 구성원들도 AI 투자를 요구해야 자리를 유지할 수 있다는 불안을 드러냄
  • 한 구성원은 “이렇게 일찍 투자하는 것은 상승 여력은 적고 위험만 있는 것 같다”고 말함
  • 약 2년 후 해당 수십억 달러 규모 기업은 스스로를 AI-native라고 브랜드화함

모든 사업을 통과시키는 AI 순도 검사

• AI에 대한 믿음을 공개적으로 의심할 수 없는 구조 때문에 조직의 정상적인 의사결정이 멈추고 있음
• 직원은 쉽게 조작할 수 있는 AI 지출액 같은 지표로 평가받으며, 불필요한 구매를 거절하면 AI 전략에 대한 충성심을 의심받음
• 내부 정치의 영향을 받는 모든 제안은 가치가 불분명해도 AI 요소를 포함해야 함
• 다수의 AI 프로젝트는 본질적으로 기존 프로젝트에 AI 단계를 덧붙여 조직의 순도 검사를 통과한 형태임

• Oracle에서 Snowflake로 이전한 사례

  • 한 조직은 Oracle 데이터베이스를 Snowflake로 이전하면서 LLM으로 Oracle SQL을 Snowflake SQL로 자동 변환하는 예비 단계를 추가함
  • 필요한 권한을 확보하지 못해 자동화가 실패하자 공급업체는 수동으로 SQL을 변환함
  • 실패 원인은 LLM의 변환 능력이 아닌 자동화 권한 부족이었음
  • AI가 변환한 중요하지 않은 일부 SQL을 붙여 넣었다는 이유로 전체 사업은 AI 기반 성공으로 청구됨
  • 실제 구매 대상은 라이선스 갱신 전에 기존 시스템을 폐기하기 위한 표준 데이터베이스 이전이었음
  • 상부에는 “예산의 상당 부분을 AI에 배정해 목표를 달성했다”고 전달됨

AI라는 이름조차 붙이기 어려운 사업의 운명

• LLM이 유일한 핵심 메커니즘이며 구체적인 수치 목표 달성 여부로 성공과 실패를 명확히 판단할 수 있는 진정한 AI 프로젝트는 드묾
• 이런 유형은 주로 스타트업에서 발견됐지만, 일부는 완성됐다고 마케팅한 제품을 영업 대화 마지막에 Hermit Tech에 대신 만들어 달라고 요청함
• AI 요소를 붙일 수 없거나 제안자가 거짓 포장을 거부하면 예산 요청이 사라지거나 모든 문서를 “충분히 AI답게” 다시 작성해야 함
• 추가 인력을 요청하기 전에 AI로 해결을 시도했음을 입증하도록 요구하는 기업도 늘어남
  • AI를 사용했지만 인력이 여전히 필요하다고 말하면 “AI를 잘 못 쓰는 사람”으로 분류돼 감원될 수 있음
• AI가 실제 최우선 과제를 해결하는 소수 기업을 제외하면 대규모 조직은 합리적인 소프트웨어 구매, 인재 채용, 프로젝트 상태 보고와 중요 사업 수행에 집중하기 어려워짐

특정 프로젝트를 바로잡아야 할 때

• 조직 전체의 AI 믿음을 바꾸기보다 특정 프로젝트나 다른 목표를 달성하려면 공개 충돌을 피해야 함

• 일대일 대화와 익명성

  • AI 프로젝트의 문제를 그룹 회의에서 제기하지 않는 편이 나음
  • 참석자마다 동료 앞에서 회의론자로 드러나는 것을 두려워하기 때문임
  • 일대일 면담을 마련하고, AI 환경이 과열됐을 수 있다는 견해를 받아들이며 발언자의 신원을 보호한다고 알려야 함
  • 직접 인용처럼 동료가 발언자를 알아볼 단서를 제거해야 함
  • 6명 중 1명 정도만 문제를 말할 수 있다면 개선 가능성이 더 높은 다른 조직이나 프로젝트로 이동하는 편이 나을 수 있음

• 익명 평가로 숨겨진 분열 찾기

  • 진행 중인 사업의 성공 가능성을 1~10점으로 평가하는 익명 설문이 효과적일 수 있음
  • 관찰된 전형적인 결과는 절반이 3점, 나머지가 8점 정도를 주는 양봉형 분포였음
  • 이미 3년 지연된 프로젝트에서도 이런 분열이 나타남
  • 이 결과를 CEO에게 보여주면 프로젝트 상태에 관한 정보가 숨겨지고 있음을 확인할 수 있음

• 실제 사용자를 조사해야 하는 이유

  • 일상 업무에서 도구를 사용하는 현장 인력이 투자 성과를 판단할 수 있는 유일한 데이터 원천임
  • 이들이 존중받는 환경에서 말하도록 해야 하며, 대규모 조직에는 부하 직원을 동등한 사람으로 보지 않는 구성원이 있을 수 있음
  • 한 고객사에서는 직원들이 AI 도구 라이선스를 받았다는 사실조차 몰랐음이 드러나 기존 생산성 주장의 근거가 흔들림

• 광범위한 믿음과 직접 충돌하지 않기

  • 특정 문제 해결이 목적이라면 “AI가 모든 것을 바꾼다” 같은 포괄적 발언은 그대로 넘기는 편이 나음
  • 가장 높은 직급자의 신뢰를 얻은 뒤에야 조직의 현실 인식에 도전할 수 있음
  • 신뢰는 공개 석상에서 상대를 곤란하게 만들기보다 비공개 식사 자리에서 불안을 낮추며 형성됨
  • 회의에 들어가기 전 누가 어떤 공개 약속을 했는지 알기 어려움
  • “지난해보다 생산성이 100배 높아졌다”고 이미 발언한 사람은 이를 철회하고 싶어도 체면 때문에 그러지 못할 수 있음
  • “LLM이 사람의 검토 없이 코드를 배포하면 안 된다”는 상식적인 말조차 초기 관계를 끊을 수 있음
  • 공익적 목표가 중요하다면 핵심 사업에 1만 달러짜리 AI 챗봇을 붙이고 회의에서는 그 부분만 강조하는 방식도 현실적인 생존책임

조직에서 버텨야 할 때

• 이런 상황에 실질적으로 저항하기 어렵다는 사실을 받아들여야 하며, 문제는 AI 자체보다 역기능적 기업 문화에 있음
• 정규직 대신 계약직으로 전환하면 보수가 높아지고 내부 정치에서 멀어질 수 있으며, 견디기 힘든 상황에도 계약 종료일이 정해져 있음
• AI 뉴스 소비는 정신적 소모를 줄일 만큼 제한해야 함
  • Hacker News와 Reddit처럼 관련 소식이 계속 공급되는 곳을 피함
  • 현실 감각을 유지하는 데 필요한 만큼만 읽고 중단함
  • 친구와 불평을 나눌 때도 그 목적을 미리 밝히는 편이 나음
• 누군가 부적절한 용도로 AI를 사용해도 즉각적인 신체 위험이 없다면 맞장구만 치고 넘어가는 편이 나음
• 프로그래머로서 AI에 관한 의견을 요청받으면, 중요한 의사결정에 영향을 미칠 수 있는 상대가 아닌 한 “과장된 면이 있다”고 짧게 답하고 주제를 바꾸는 방식을 권함

• 대량의 AI 코드가 업무를 잠식할 때

  • 2,000줄짜리 저품질 AI 생성 PR을 계속 검토해야 한다면 조직이 결국 검토자를 소진시킨 뒤 해고할 가능성을 전제로 즉시 구직을 시작해야 함
  • 생성자에게 작업 방식을 바꾸도록 설득하기 어렵고, 에너지가 남아 있을 때 이직을 준비하는 편이 나음
  • 구직 때문에 처리 속도가 떨어져도, 그렇지 않으면 소진과 우울 때문에 나중에 같은 문제가 발생함

• 관리자가 AI 생성 문장으로 대화할 때

  • 관리자가 명백한 AI 생성 텍스트로 답한다면 같은 방식으로 응답해 정신적 부담을 줄이고 새 직장을 찾아야 함
  • 이런 관리자는 직원이 AI로 답했다는 사실을 무례하게 받아들이기보다 AI 사용 자체를 긍정적으로 평가할 수 있음
  • 토큰 사용량을 최대로 채우라는 요구까지 받는다면 현재 조직을 벗어날 준비가 필요함
  • 이런 문제가 덜한 회사는 존재하지만 구직 플랫폼에 잘 나타나지 않는 소규모 기업인 경우가 많아, 찾는 데 수개월이 걸릴 수 있으므로 일찍 시작해야 함

장기적으로 남을 문제

• 현재의 AI 거품이 언젠가 끝나더라도 지도층에 자리 잡은 비합리적 특성은 이후 다른 유행을 계기로 다시 활성화될 수 있음
• 일부 조직은 블록체인 열풍에서 벗어나지 못한 사례처럼 완전히 붕괴할 때까지 이념적으로 포획된 상태를 유지할 수 있음
• 당장은 정상적인 판단을 회복할 수 있는 범위에서 비공개 데이터와 현장 의견을 확보하고, 바꿀 수 없는 조직에서는 개인의 현실 감각과 생존 가능성을 우선해야 함