▲

데이터 분석 개발자를 대체하려는 시도가 1974년부터 매 10년마다 반복된 이유

 (blog.rittmananalytics.com)
3P by neo 3시간전 | ★ favorite | 댓글과 토론
  • 데이터 분석 개발자 대체의 꿈은 SQL부터 AI까지 50년간 반복되어 왔으며, 도구는 바뀌었지만 전문가 필요성은 사라지지 않음
  • 각 시대의 도구는 실제 생산성을 높였으나, 비즈니스 이해와 모델링 판단이라는 핵심 작업은 자동화되지 않음
  • 셀프서비스·시맨틱 레이어·분석 엔지니어링은 접근성을 넓혔지만 새로운 형태의 전문 역할을 만들어냄
  • AI 기반 도구는 코드 생성 속도를 크게 높였으나, 무엇을 만들지 결정하는 사고 과정은 인간의 몫으로 남음
  • 데이터 작업의 병목은 타이핑이나 도구가 아니라 사고와 판단에 있으며, 이는 50년간 변하지 않은 사실임
  • 이 글은 "10년마다 되풀이되는 개발자 대체의 꿈" 에서 영감 받아서 데이터쪽으로 정리한 글

반복되는 패턴: 왜 항상 같은 꿈이 등장하는가

  • 매 10년마다 새로운 도구가 등장하며 데이터 플랫폼 구축을 단순화해 전문가 의존을 줄이겠다고 약속함
  • 비즈니스는 느린 데이터 제공 속도에 불만을 느끼고, 데이터 팀은 끝없는 요청에 압도되는 구조 지속
  • 50년간 이 순환이 반복된 이유는 데이터 분석 작업의 본질적 성격에 있음

1974년: SQL과 ‘영어로 말하는 데이터베이스’의 탄생

  • SQL은 비개발자도 데이터를 질의할 수 있도록 설계되었으나, 실제로는 복잡한 조인과 집계 이해가 필요했음
  • 비즈니스 사용자가 직접 질의하는 이상은 실현되지 않았고, 새로운 전문 역할이 등장함
  • 데이터 접근은 쉬워졌지만 전문성은 여전히 필요했음

1980년대: OLAP과 4세대 언어의 약속

  • 데이터 구조를 비즈니스 사고 방식에 맞추면 사용자가 직접 분석할 수 있다는 접근 확산
  • MOLAP 서버는 재무·계획 부서에 실제 생산성을 제공했음
  • 차원 설계, 성능 최적화, 통합 작업에는 여전히 전문 지식이 필요했음
  • 도구는 바뀌었지만 전문가 역할은 형태만 달라졌음

1990년대: 데이터 웨어하우스와 차원 모델링

  • 차원 모델링은 복잡성을 ETL 계층에 숨기고 사용자 분석을 단순화하려는 시도였음
  • 대규모 투자에도 불구하고 많은 프로젝트가 지연되거나 실패함
  • 비즈니스 규칙과 예외를 정확히 모델링하는 작업은 자동화 불가 영역으로 남음

2000년대: 시맨틱 레이어와 셀프서비스 BI

  • 시맨틱 레이어는 기술 용어를 비즈니스 언어로 추상화함
  • 셀프서비스 BI는 시각화 접근성을 크게 높였음
  • 정의 불일치와 데이터 혼란이 새로운 문제로 등장함
  • 중앙 관리와 거버넌스가 다시 중요해짐

2010년대: 분석 엔지니어링과 ELT

  • 클라우드 데이터 웨어하우스 확산으로 SQL 기반 변환이 가능해짐
  • 분석가가 데이터 파이프라인 일부를 직접 구축할 수 있게 됨
  • dbt는 테스트·문서화·버전 관리 등 개발 관행을 데이터 영역에 도입함
  • 프로젝트 규모가 커질수록 아키텍처와 판단의 중요성은 유지됨

AI 시대: 무엇이 달라졌고 무엇이 그대로인가

  • AI는 의도를 코드로 옮기는 기계적 작업을 매우 빠르게 수행함
  • 차원 설계 유형 선택, 지표 정의, 비즈니스 합의는 여전히 인간 판단 필요
  • 개발 속도는 빨라졌지만 전체 프로젝트 기간은 사고와 조율에 사용됨
  • 피드백 루프가 짧아져 반복 개선이 가능해진 점이 가장 큰 변화임

변하지 않는 제약: 사고의 복잡성

  • 데이터 웨어하우스는 비즈니스의 모델이며, 정확한 이해가 필수임
  • 단순한 질문처럼 보이는 요구사항 뒤에 수많은 정의와 예외가 존재함
  • 이 복잡성은 도구로 제거할 수 없는 영역임

데이터 리더에게 주는 의미

  • 도구가 전문가를 대체하는지보다 전문가의 생산성을 얼마나 높이는지가 핵심
  • 반복 작업을 줄이고 고부가 판단에 집중할 수 있는지 평가 필요
  • 새로운 도구는 새로운 기술 역량을 요구함

왜 이 꿈은 계속되는가

  • 전문가 제거의 꿈은 도구 혁신을 촉진하는 동력으로 작용해 왔음
  • 꿈은 완전히 실현되지 않았지만, 그 과정에서 실질적 가치를 창출함
  • AI 역시 전문가를 대체하지는 않지만 전문가를 더 효율적으로 만듦

앞으로의 방향

  • 새로운 도구를 거부할 이유는 없으나 기대치는 현실적으로 설정해야 함
  • 핵심 투자 대상은 도구가 아니라 비즈니스 복잡성을 이해하는 사람임
  • 데이터 분석은 결국 비즈니스 이해를 질의 가능한 형태로 만드는 작업임
  • 50년간 변하지 않은 사실은 판단과 사고가 가장 큰 병목이라는 점임