- ELT(Extract, Load, Transform)는 조직 내 데이터 분석과 소프트웨어 개발의 "사일로(Silo)" 를 연결하기 위해 사용되지만, 이러한 사일로 구조 자체가 문제의 근원
-
ELT는 사일로간의 브릿지일 뿐. 사일로가 없는 세상은 "그래프(Graph)"임
ELT 사고방식의 한계
- 한 사일로에는 소프트웨어가 있고 다른 사일로에는 데이터 분석이 있는 사일로의 세계에서 ELT는 매우 의미가 있음
- ELT는 사일로 구조를 전제로 동작
- 소프트웨어 개발팀과 데이터 분석팀이 분리된 상황에서 "추출(Extract)" 작업이 발생
- 소프트웨어 팀은 데이터 팀의 작업에 관심이 없으며, 데이터 팀은 데이터베이스 권한을 사용해 무작정 데이터를 추출
- 추출 이후에야 데이터 품질과 모델링과 같은 엔지니어링 원칙이 적용되지만, 이는 이미 너무 늦음
- Conway의 법칙이 작동함
- "조직이 만드는 시스템의 설계는 조직의 의사소통 구조를 닮는다"
- 사일로 사고방식으로 인해 ETL/ELT/Reverse ETL은 현대 데이터 아키텍처의 복잡성을 다루기에 부적합
- 데이터는 이제 운영 시스템, 분석 시스템에만 있는게 아니라, SaaS로 대표되는 세 번째 데이터 영역으로 확장됨
- 데이터는 지역과 클라우드, 백엔드와 SaaS 간에 흐름
- 지금은 예전보다 100배나 더 많은 애플리케이션이 존재하며, 조직은 소프트웨어화 되고 있고 소프트웨어 시스템 간의 관계망은 점점 더 복잡해짐
그래프 사고방식의 필요성
- 소프트웨어 팀과 데이터 팀이 조화롭게 협력한다면 ELT처럼 데이터를 추출 및 저장하는 모델 대신 그래프 모델 로 전환 가능
- 데이터를 "소비(Consume)" 하는 노드로 구성된 그래프를 상상
- 각 노드는 데이터를 생산하거나 소비하며, 자연스럽게 네트워크 또는 그래프 형성
- 그래프 사고방식의 이점:
- 데이터 추출이 줄어들고, 소비가 늘어남
- 고품질 데이터 세트를 중심으로 데이터 모델링 증가
- 데이터 청소, 원시 데이터 저장, 파이프라인 오류 수정 감소
- 배치 프로세스를 대체하는 점진적 처리 및 스트리밍 소스 활용
- 분석이 전략적 의사결정 도구에 국한되지 않고 운영적 용도로 확장
- 팀 간 협력 및 정렬 증가, 사일로 감소
결론
- ELT 사고방식은 소프트웨어와 데이터 팀 간의 단절을 반영하는 Conway의 법칙의 결과
- 기존 ETL/ELT 도구를 모두 폐기할 필요는 없지만, 데이터 소비와 신뢰할 수 있는 파생 데이터 세트 구축에 초점을 맞춰야 함
- 현실적으로 Shift Left는 아직 열망하는(aspirational) 단계이며, 기존의 레거시 인프라와 통합 문제는 여전히 존재
- Shift Left : 소프트웨어 개발 수명 주기(SDLC) 초기에 중요한 개발 관행을 통합하는 전략
- 그래프 사고방식을 수용하는 조직은 데이터 활용, AI ROI, 비즈니스 성과에서 가장 큰 이점을 얻을 것
"추출(Extract)은 없다. 소비(Consume)만 있다." – 데이터 요다