최신 데이터 인프라 이해하기 #4 - 데이터 모델링과 워크플로우 매니저(dbt,Airflow,Dagster,Prefect)
2020-11-25
"최신 데이터 인프라"를 조금 쉽게 이해할 수 있도록 설명하는 시리즈 동영상
4화에서는 Ingestion & Transformation 중 데이터 분석가를 위한 개발환경이라 불리우는 재미난 툴 dbt 와 워크플로우 매니저 Airflow, 데이터 앱을 만드는 Dagster, Airflow의 개선판 Prefect를 다룹니다.
4편 : 데이터 모델링 도구와 워크플로우 매니저들
- 0:27 dbt (data build tool) - https://www.getdbt.com/
- 3:47 fivetran + dbt
- 4:05 LookML - https://looker.com/
- 5:13 Airflow - https://airflow.apache.org/
- 6:23 Workflow 의존성 관리
- 7:28 Airflow Architecture
- 8:03 DAG ( Directed Acyclic Graph , 방향성 비사이클 그래프 )
- 10:39 Dagster - https://dagster.io/
- 12:31 Argo Workflows - https://argoproj.github.io/argo/
- 13:06 Prefect - https://www.prefect.io/
다음 편에서는 Ingestion & Transform 의 가장 기초도구인 Spark 와 Python 라이브러리를 설명할 예정입니다.
좋아요와 구독 부탁드려요! 궁금하신점은 유튜브 댓글에 남겨주세요.