AI에 고립 문제가 있는가?
요약
Wiz 연구팀은 여러 AI 서비스 제공업체의 테넌트 고립 문제를 연구하였음. AI 인프라가 많은 비즈니스 환경에서 필수 요소가 되면서 이러한 공격의 영향이 점점 더 커지고 있음. 연구 결과는 Black Hat 컨퍼런스에서 발표될 예정임.
SAP AI Core 연구
SAP AI Core는 HANA 및 기타 클라우드 서비스와 통합되어 고객의 내부 데이터에 접근할 수 있음. 연구팀은 악의적인 행위자가 이러한 고객 비밀에 접근할 수 있는지 확인하고자 하였음. 연구 결과, 악의적인 AI 모델과 훈련 절차를 실행하여 고객의 비밀 파일과 클라우드 환경에 접근할 수 있었음.
주요 취약점
- SAP의 내부 컨테이너 레지스트리에서 Docker 이미지를 읽고 수정할 수 있었음
- Google Container Registry에서 SAP의 Docker 이미지를 읽고 수정할 수 있었음
- SAP의 내부 Artifactory 서버에서 아티팩트를 읽고 수정할 수 있었음
- SAP AI Core의 Kubernetes 클러스터에서 클러스터 관리자 권한을 획득할 수 있었음
- 고객의 클라우드 자격 증명 및 비공개 AI 아티팩트에 접근할 수 있었음
취약점 세부 사항
네트워크 제한 우회
Pod에 shareProcessNamespace와 runAsUser 설정을 통해 Istio 프록시의 구성에 접근할 수 있었음. 이를 통해 내부 네트워크의 트래픽 제한을 우회할 수 있었음.
Loki 서버의 AWS 토큰 노출
Grafana Loki 서버의 /config 엔드포인트를 통해 AWS 비밀에 접근할 수 있었음. 이를 통해 AI Core 서비스와 고객 Pod의 로그에 접근할 수 있었음.
인증되지 않은 EFS 공유
AWS Elastic File System(EFS) 인스턴스가 기본적으로 공개 설정되어 있어 자격 증명 없이 파일을 볼 수 있었음. 이를 통해 대량의 AI 데이터에 접근할 수 있었음.
인증되지 않은 Helm 서버
Helm 서버의 gRPC 인터페이스를 통해 SAP의 Docker Registry와 Artifactory 서버의 비밀에 접근할 수 있었음. 이를 통해 내부 이미지와 빌드를 읽고 수정할 수 있었음.
K8s 클러스터 노출
Helm 서버의 install 명령을 통해 클러스터 관리자 권한을 획득할 수 있었음. 이를 통해 다른 고객의 Pod에 접근하고 민감한 데이터를 훔칠 수 있었음.
결론
SAP AI Core 연구는 심층 방어의 중요성을 보여줌. 내부 네트워크를 신뢰할 수 있는 것으로 간주하는 것은 위험할 수 있음. AI R&D 과정에서 발생하는 고유한 도전 과제를 해결하기 위해 적절한 보호 장치가 필요함.
GN⁺의 정리
- AI 인프라의 테넌트 고립 문제는 중요한 보안 이슈임.
- SAP AI Core의 취약점은 악의적인 행위자가 고객의 비밀 데이터에 접근할 수 있게 함.
- 연구 결과는 AI 모델 실행 시 격리 및 샌드박싱 표준을 개선할 필요성을 강조함.
- 유사한 기능을 가진 다른 프로젝트로는 Google AI Platform과 Microsoft Azure Machine Learning이 있음.
Hacker News 의견
- AI 제품의 문제라기보다는 k8s 설정의 취약점에 대한 문제임
- SAP가 Wiz의 연구가 클러스터 관리자 권한을 얻기 전에 왜 방해되지 않았는지에 대한 철저한 검토가 필요함
- SAP가 이 활동에 대한 경고를 받았는지, 제대로 조사했는지 궁금함
- SAP가 의심스러운 네트워크 활동에 대한 적절한 경고를 제공해야 하는 규정을 따르고 있는지, 이 연구가 그 규정을 충족하지 못함을 보여줄 수 있는지 궁금함
- 2020년부터 사용 중단된 Tiller 인스턴스가 실행 중인 것에 충격을 받음
- 단일 K8s 클러스터에서 강력한 멀티 테넌시 보장을 기대하는 것은 매우 나쁜 상황임
- 주요 클라우드 서비스들은 고객 간에 VM 경계와 별도의 K8s 클러스터를 사용함
- Microsoft도 몇 년 전 K8s를 주요 보안 경계로 기대했던 기능 제품에서 비슷한 문제를 겪음
- Wiz를 사용해 본 사람이 있는지 궁금함
- 기업 소프트웨어 회사로서 가장 빠르게 성장한 사례일 수 있음
- 1.5년 만에 $100M 달성
- 3년 말에 $350M 달성
- 네트워크를 무단으로 침투하여 취약점을 찾아 블로그 콘텐츠를 만드는 회사들은 기소되어야 한다고 생각함
- 이 글은 취약점 공개로 위장한 공격적인 글처럼 들림
- "협조에 감사드립니다"라는 문구는 약간의 강요처럼 들림
- 회사에서 제품의 연간 펜테스트를 프로덕션 환경에서 실행하도록 설득한 것이 기쁨
- 특정 제품이나 시스템에 초점을 맞추지만 모든 것이 범위에 포함됨
- 첫 번째 테스트가 실행 중이며 아직 아무도 불만을 제기하지 않음
- 고객의 계정 데이터가 동일한 고객에게 노출되는 것으로 읽히는지 궁금함
- 예외는 일부 로그임
- 보안 연구원으로서 텍스트를 픽셀화하여 편집하는 것이 좋지 않은 선택이라는 것을 알았을 것임