페이팔: 실시간 그래프 데이터베이스 분석을 통해 사기를 방지하는 방법
(yozm.wishket.com)- 이커머스 산업은 코로나19로 급격히 성장함
- 디지털 결제가 늘어난 만큼 결제 사기 역시 증가
- 페이팔은 실시간 그래프 분석으로 사기를 방지함
- 실시간 계산은 아파치 오픈소스 그래프 DSL 프레임워크 '그렘린' 덕분
- 그래프 기술은 이커머스 산업에서 사기 탐지와 예방에 매우 효과적
오랜만에 보는 키워드들이 있어서 흥미롭게 읽었습니다.
에어로스파이크는 오픈소스(APL) Key-value storage 입니다. In-memory, SSD에서의 최적화된 동작에 특화되어서 매우 성능이 우수합니다. 하지만 클러스터의 크기나 키, 값의 크기 등에 제약이 있어서 도입시 고려가 필요하다고 알고 있습니다.
Key-Value storage위에 쿼리 레이어, 여기서는 그렘린을 올렸는데 합리적인 아키텍쳐라고 생각합니다. 그래프 쿼리 레이어를 처음부터 만드는건 쉽지 않죠.
다만 물리적 구성에 대한 설명이 부족한 것이 아쉽네요. 그래프 데이터베이스는 쿼리가 매우 복잡하기 때문에 데이터 노드와 쿼리 노드가 분리되거나 scale-out 할 때 성능이 급감합니다. 복잡한 쿼리로 인해 중간노드에 계산을 위한 임시 데이터가 크게 쌓여서 메모리 부족이 쉽게 일어나고 qps가 떨어집니다.
이 문제를 Scale-up 해서 해결했는지 Scale-Out 해서 해결했는지 궁금한데 Scale-out 했다면 그 과정을 좀 더 자세히 기술해줬다면 하는 아쉬움이 남습니다.
그렘린, Titan 같은 것을 본 지도 8년은 지난 것 같은데 그래프 데이터베이스 분야는 생각보다 발전의 속도가 빠르지 않은 것 같습니다.