Airbridge Data Pipeline에서 Serverless 활용 사례

• Intro
• Data Pipeline에서 Serverless 기술 도입 배경: Hourly보다 더 짧은 주기로 코드를 실행하기 좋은 환경을 찾던 중 Serverless 기술을 활용하기로 함
• 불편했던 Lambda 배포 환경: Terraform으로 IaC 했을 때 작성해야할 코드가 많아서 불편할 뿐만 아니라 lambda packaging 등도 불편했음
• Serverless framework 도입: 적은 양의 코드로도 잘 구성하여 운영할 수 있고, Build나 Test가 용이함
  • 아쉬운 점: Plan을 볼 수 없고, CloudFormation의 불편한 점들이 그대로 있음
  • 결론: Serverless framework는 아쉬운 점보다 장점이 훨씬 많은 framework이기 때문에 앞으로도 계속 활용할 예정. 사실 Serverless framework보다 Lambda 환경의 문제가 더 많음.
• 활용 사례
  • 사례1: Kafka Connect Manager
  • 사례2: Batch Job 실행
• 마치며