Hacker News 의견

• Nike의 데이터 엔지니어링이 실제로 어떤지 궁금함. LinkedIn 프로필 때문에 저임금 계약직 제안이 자주 옴. 이 역할들이 미국 내 경험 있는 사람들을 대상으로 하지만, 보수가 낮음. 이 역할들이 사기일 가능성도 있음.
• 이 도구는 경험이 적은 개발자들이 많은 환경에서 유용할 수 있음. 2-3명의 개발자가 도구를 만들고, 더 큰 팀이 단순한 ETL 작업을 수행함. 도구 팀이 새로운 요구사항을 해결해야 하는 부담이 있음.
• 강한 타입이 데이터 엔지니어링 문제를 방해함. 동적 언어가 코드 복잡성과 유지보수를 줄이는 데 도움이 됨. 타입 프레임워크를 고집하는 것은 산업 경험보다는 학문적 경험에 기반한 것임.
• ETL, Spark, Storm 등을 다뤘지만, 이 라이브러리의 가치 제안이 이해되지 않음. 데이터 엔지니어링 전문가가 아니지만, 이 도구의 유용성을 기대했음.
• 이 도구가 무엇인지, 왜 사용해야 하는지에 대한 더 나은 설명이 필요함. 링크 참고.
• 몇 주 전에 Apache Beam을 사용해 데이터 파이프라인을 작성했음. Koheesio가 일부 기능을 공유하지만, Apache Beam이 더 뛰어남.
• Luigi와 비슷함. 좋음!
• CloudQuery를 확인해보길 권장함. Arrow 기반 ELT 프레임워크임. (작성자 본인)
• Koheesio는 다른 라이브러리와 경쟁하지 않는다고 하지만, 실제로는 경쟁함. 워크플로우 오케스트레이션은 성숙한 카테고리임. Python을 사용하는 것이 큰 장점이 아님.
• dlt 라이브러리를 봤는지 궁금함. Python에서 사용하기 쉬운 EL을 제공함. Koheesio와 dlt의 차이점과 상호 보완 가능성에 대해 궁금함.