- 2024년 데이터 엔지니어링의 주요 변화 : 생성형 AI의 급성장, 데이터 거버넌스의 성숙화, 효율성과 실시간 처리에 대한 집중
- 2025년에는 이러한 흐름 위에서 데이터 세계를 변화시킬 다섯 가지 주요 트렌드가 예상됨
1. AI 컴퓨팅의 발전
- NVIDIA가 시가총액 기준으로 세계 최대 기업으로 부상하며 세대에 한 번 있을법한 성장세를 보이고 있음
- Google이 양자 컴퓨팅 분야에서 Willow를 통한 혁신적인 돌파구를 마련했다는 발표를 진행함
- Amazon, Google, Microsoft 등이 AI 칩 시장에서 치열한 경쟁을 벌이고 있으며, Amazon의 Trainium2 칩이 대표적인 사례임
- Neural Processing Units (NPUs)가 탑재된 PC와 디바이스들이 오프라인 AI 연산을 가능하게 하고 데이터 프라이버시를 향상시키고 있음
- Google의 Edge TPU와 같은 혁신이 에너지 효율적인 엣지 컴퓨팅으로의 전환을 가속화하여 중앙 집중식 클라우드 인프라 의존도를 감소시키고 있음
- 하이브리드 및 에너지 효율적인 컴퓨팅 아키텍처로의 전환이 AI 애플리케이션의 성능, 비용, 프라이버시 간의 격차를 해소하고 있음
- 뇌의 구조를 모방한 Neuromorphic 칩이 비교할 수 없는 에너지 효율성과 디바이스에서의 비정형 데이터 처리 능력을 제공할 것으로 기대됨
- 신경형태 및 양자 컴퓨팅 분야에서 상당한 발전이 이루어지며 AI 능력의 새로운 지평을 열고 있음
- 이러한 AI 하드웨어의 발전이 2025년 이후 자연어 처리, 컴퓨터 비전, 로보틱스, 헬스케어 분야의 혁신을 주도할 것으로 전망됨
2. 도메인별 특화 언어 모델의 진화
- Domain-specific language models (LLMs)
- 특정 산업 분야의 데이터셋으로 학습된 도메인별 언어 모델이 각 산업에서 AI의 적용을 한 단계 발전시키고 있음
- 의료, 금융, 법률, 제조 등의 산업에서 이러한 모델을 도입하여 복잡하고 맥락이 풍부한 과제들을 정확하게 해결하고 있음
- 개별 산업의 세밀한 요구사항에 맞춰진 AI 기능을 통해 기업 전반의 업무 프로세스와 의사결정 과정에 혁신을 가져오고 있음
- Small Language Models (SLMs)
- 작은 규모의 언어 모델(Small Language Models, SLMs)이 비용 효율성과 적응성 측면에서 주목받고 있음
- 특정 작업에 최적화된 SLM이 제한된 영역에서는 대규모 모델보다 더 우수한 성능을 보여주고 있음
- 컴퓨팅 요구 사항이 줄어들고 배포 편의성이 개선된 SLM은 모든 규모의 조직이 리소스 집약적인 시스템을 관리해야 하는 부담 없이 정교한 언어 기능을 구현할 수 있도록 AI에 대한 액세스를 대중화할 것
3. AI 오케스트레이터와 다단계 추론
- AI 오케스트레이터
- 기업들이 다양한 특화 AI 에이전트를 도입함에 따라 AI 오케스트레이터가 AI 기반 데이터 스택의 중추적 역할을 담당하게 될 것으로 전망됨
- 이러한 오케스트레이터는 지능형 제어 평면으로서 작업을 가장 적합한 에이전트에 동적으로 라우팅하고, 결과를 종합하여 실행 가능한 인사이트를 제공함
- 깊이 있는 콘텐츠 이해력, 다국어 처리 능력, 다양한 데이터 타입 지원을 통해 여러 AI 에이전트를 일관된 워크플로우로 통합함
- 다단계 추론의 발전
- AI 모델이 단순한 질의응답을 넘어 복잡한 문제를 다단계 추론을 통해 해결하는 방향으로 진화하고 있음
- 복잡한 작업을 작은 순차적 단계로 나누어 처리함으로써 더욱 정확하고 통찰력 있는 분석이 가능해짐
- 이 기능을 통해 AI 에이전트는 코딩, 의료, 법률 및 기타 산업에서 롱테일 자동화 작업이 가능해 질 것
- AI 오케스트레이터와 다단계 추론의 결합이 AI의 새로운 시대를 열어, 다양한 분야에서 문제 해결과 의사결정에 AI의 영향력이 크게 확대될 것
4. 차세대 데이터 통합 개발 환경 (Data IDE)
- 조직들의 데이터 인사이트 수요 증가로 인해 데이터 엔지니어링 접근 방식이 근본적으로 변화하고 있음
- 2025년에는 데이터 접근과 조작을 효과적으로 대중화하도록 설계된 새로운 유형의 통합 개발 환경(IDE)이 부상할 것으로 전망됨
- lakebyte.ai와 같은 도구들이 이러한 혁신의 시작을 보여주고 있음
- 핵심 특징
- 심리스한 통합
- 데이터 수집 및 변환부터 분석, 시각화, 배포까지 전체 데이터 라이프사이클을 하나의 통합된 환경으로 원활하게 통합
- AI 기반 지능형 지원
- 지능형 코드 완성, 자동화된 데이터 정리, 파이프라인 최적화를 위한 스마트한 제안을 제공하는 AI 기능이 탑재될 것
- 코드 작성에 도움을 줄 뿐만 아니라 데이터의 의미를 이해하고 데이터를 변환하는 최적의 방법을 제안
- Low-Code/No-Code 인터페이스
- 시각적인 드래그 앤 드롭 인터페이스를 통해 코딩 경험이 부족한 사용자도 데이터 파이프라인을 구축하고 관리할 수 있음
- 고급 사용자도 필요할 때 사용자 지정 코드를 작성할 수 있는 유연성을 제공
- 협업 기능
- 데이터 엔지니어, 데이터 과학자, 분석가, 비즈니스 사용자 간의 원활한 협업을 촉진
- 공유 환경 내에서 데이터 프로젝트를 함께 작업할 수 있게 해줌
- 내장된 데이터 거버넌스
- 데이터 품질 검사, CI/CD 파이프라인, 프로덕션에 푸시하기 전에 통합 테스트를 실행, 액세스 제어 및 계보 추적이 개발 워크플로에 직접 통합
- 데이터 거버넌스가 나중에 고려되지 않도록 보장
- 다양한 데이터 소스와 포맷 지원
- 데이터베이스, 데이터 레이크, 스트리밍 플랫폼, 클라우드 스토리지 등 광범위한 데이터 소스에 대한 기본 커넥터를 제공
- 정형, 반정형, 비정형 데이터를 포함한 다양한 데이터 형식을 지원
- 클라우드 네이티브 및 확장성
- 클라우드 인프라의 확장성과 탄력성을 활용하여 클라우드에서 실행되도록 설계
- 강력하고 직관적인 IDE를 통한 데이터 대중화로 'Citizen Data Engineers'가 등장할 것으로 예상됨
- 도메인 전문가들이 전통적인 프로그래머가 아니더라도 데이터 워크플로우를 구축하고 관리할 수 있게 될 것
- 기술팀과 비기술팀 간의 장벽이 허물어지면서 데이터 기반 혁신이 가속화될 것으로 기대됨
- 2025년에는 Prompt Wrangling이 데이터 엔지니어에게 가장 중요한 기술이 될 것으로 예상됨
5. LakeDB의 부상: 레이크하우스 형식을 DB로 전환하기
- 데이터 레이크, 데이터 웨어하우스, 데이터베이스 간의 경계가 점차 모호해지고 있음
- 2025년에는 LakeDB라는 새로운 패러다임이 등장할 것으로 전망됨
- LakeHouse 개념의 진화된 형태로, 데이터 레이크에 보다 강력한 데이터베이스 기능을 직접 통합하는 방식으로 발전하고 있음
- 객체 스토리지의 확장성과 유연성을 유지하면서도 전통적인 데이터베이스의 성능과 사용 편의성을 제공함
- 단순한 객체 스토리지 쿼리와 테이블 형식을 넘어서는 고급 기능을 제공함
- 버퍼링, 캐싱, 인덱스, 쓰기 작업을 네이티브하게 관리하여 LakeHouse 수준의 성능과 효율성을 실현함
- 현재의 LakeHouse는 데이터 수집, 변환, 쓰기 작업을 위해 Spark나 Flink 같은 외부 처리 프레임워크에 의존하고 있음
- 이러한 의존성으로 인해 복잡성이 증가하고 지연 시간이 발생함
- 구현 방식에 따라 성능이 일관되지 않고 상호운용성 문제가 발생할 수 있음
- LakeDB는 이런 기능을 포함할 것:
- 네이티브 쓰기 기능
- 기반의 객체 스토리지에 직접 최적화된 쓰기 경로를 제공하여 일반적인 작업에서 외부 처리 엔진의 필요성을 제거함
- 최근 S3 조건부 쓰기 기능이 추가되어 클라우드 객체 스토리지가 LakeDB의 쓰기 경로를 지원할 것으로 예상됨
- 지능형 버퍼링과 캐싱
- 데이터 버퍼링과 캐싱을 지능적으로 관리하여 읽기와 쓰기 성능을 모두 최적화함
- 트랜잭션 관리
- S3 조건부 쓰기와 고급 메타데이터 관리 기술을 활용하여 강력한 트랜잭션 관리 기능을 제공함
- 데이터 일관성과 무결성을 보장하는 내장된 메커니즘을 제공함
- 지능형 쿼리 성능
- DuckDB와 같은 인프로세스 OLAP 엔진을 통합하여 소규모 데이터 처리의 효율성을 향상시킴
- 고급 인덱싱과 쿼리 최적화를 통해 쿼리 효율성을 개선함
- 사용자가 데이터 규모에 따른 쿼리 전략을 별도로 수립할 필요 없이 자동으로 최적의 전략을 선택함
- 자동화된 데이터 관리
- 데이터 계층화, 압축, 기타 최적화 기능이 자동화되어 운영을 단순화하고 비용을 절감함
- 벡터 검색 및 확장 기능
- 벡터 데이터베이스와 유사도 검색을 위한 내장 지원 기능을 제공함
- 각 컬럼별로 최적의 인덱싱 기법을 선택적으로 적용하여 읽기와 쓰기 성능을 최적화할 수 있음
- Hudi의 보조 인덱스 지원과 Delta의 가변 데이터 타입과 같은 기능이 이미 LakeHouse 형식에서 시작되고 있음
- LakeDB 개념은 아직 초기 단계이지만, 2025년에는 이 분야에서 상당한 혁신이 이루어질 것으로 예상
- 기존의 LakeHouse 형식은 더 많은 LakeDB와 유사한 기능을 통합하도록 발전할 수 있으며, 처음부터 이 비전을 가지고 구축된 새로운 솔루션이 등장할 수도 있음
6. Data Mesh & Contract 기반 제로 ETL과 연합 아키텍처
- 데이터 계약과 메시에 대한 회의적인 시각이 있음에도 불구하고, 더 많은 기업들이 데이터 메시 아키텍처를 도입할 것으로 예상됨
- 특히 기업 내 데이터 교환이 필요한 경우에 데이터 메시의 활용이 증가할 것으로 전망됨
- 제로 ETL과 연합 쿼리 아키텍처가 이러한 변화를 주도하고 있음
- 제로 ETL
- 데이터 이동과 중복을 최소화하는 방향으로 기술이 발전하고 있음
- 데이터 가상화, 연합 쿼리 엔진, 데이터 공유 프로토콜 등의 기술이 복잡한 ETL 프로세스 없이도 데이터 접근과 분석을 가능하게 함
- 기존의 복잡하고 시간이 많이 소요되는 ETL 프로세스가 단순화될 것으로 예상됨
- 데이터 공유가 핵심적인 고려사항으로 부상하고 있음
- 안전하고 효율적인 데이터 공유 프로토콜과 플랫폼을 통해 파트너, 고객, 경쟁사와의 협력이 가능해짐
- Delta Sharing과 같은 표준의 채택이 증가하고 지속적인 발전이 예상됨
- 미래 전망
- 도메인 팀들이 자체 데이터 파이프라인을 소유하고 데이터 제품을 생성하며 조직 경계를 넘어 데이터를 원활하게 공유할 수 있게 될 것으로 예상됨
- 기업들이 자사 데이터로 LLM을 학습시키는 비중이 증가함에 따라 데이터 공유의 중요성이 더욱 커질 것으로 전망됨
- 데이터 공유 모델을 통해 민첩성 향상, 인사이트 도출 시간 단축, 보다 분산화되고 확장 가능한 데이터 관리 접근 방식이 실현될 것으로 기대됨
결론
- AI의 부상과 새로운 IDE를 통한 데이터의 대중화가 가속화되고 있음
- 데이터 엔지니어 역할의 진화와 LakeDB의 등장이 데이터 관리 방식을 근본적으로 변화시키고 있음
- 제로 ETL과 연합 아키텍처가 뒷받침하는 데이터 메시 원칙이 주류로 자리잡고 있음
- 동적인 환경에 따라서, 데이터 엔지니어의 역할이 그 어느 때보다 중요해지고 있음
- 인사이트의 설계자, 데이터 품질의 수호자, 혁신의 동력으로서 핵심적인 위치를 차지하게 될 것으로 전망됨
- 데이터 기반 세계의 진화하는 요구사항에 적응하며 새로운 가치를 창출할 것으로 기대됨