flink와 같은 분산 시스템은 rack을 2~3개 유지함으로써 HA를 유지해야하는데 kubernetes를 연동함으로써 HA를 보장한 것 같네요. 근데 결국 kube slave node에 대한 리소스도 고민해야할텐데 flink만 띄우는 node를 구성한건지 생각이 되네요 (flink 부하시에 slave node 다운 이슈가 있을 듯)
그런 관점에서 kubernetes를 쓰는 장점이 있을까요?
또한 flink에서 윈도우 함수를 쓰게 되면 그 사이 데이터는 메모리에 유지됨으로써 sql join문이 동작하는 건데 trade - off 관점에서 보았을때 flink는 좋은 선택지일까 생각이 듭니다. 시간이 지날수록 거대해지는 sql + job이 죽게되면 발생하는 엄청난 일..
저도 최상단 data source에서 join이 필요한 상황일때 flink를 안쓰고 어떤 방식으로 application level로 내려서 처리 할 수 있을지 고민이 되네요.
flink와 같은 분산 시스템은 rack을 2~3개 유지함으로써 HA를 유지해야하는데 kubernetes를 연동함으로써 HA를 보장한 것 같네요. 근데 결국 kube slave node에 대한 리소스도 고민해야할텐데 flink만 띄우는 node를 구성한건지 생각이 되네요 (flink 부하시에 slave node 다운 이슈가 있을 듯)
그런 관점에서 kubernetes를 쓰는 장점이 있을까요?
또한 flink에서 윈도우 함수를 쓰게 되면 그 사이 데이터는 메모리에 유지됨으로써 sql join문이 동작하는 건데 trade - off 관점에서 보았을때 flink는 좋은 선택지일까 생각이 듭니다. 시간이 지날수록 거대해지는 sql + job이 죽게되면 발생하는 엄청난 일..
저도 최상단 data source에서 join이 필요한 상황일때 flink를 안쓰고 어떤 방식으로 application level로 내려서 처리 할 수 있을지 고민이 되네요.