- 클라우드 최초로 네이티브 벡터를 지원하는 대규모 오브젝트 스토리지
- 벡터 데이터 저장, 업로드, 쿼리 비용을 최대 90%까지 절감할 수 있으며, 서브초(subsecond) 쿼리 성능 제공
-
벡터 버킷 및 벡터 인덱스 개념을 도입, AI 임베딩·RAG 등 생성형 AI 워크로드의 대규모 벡터 데이터 저장·검색 최적화
-
Amazon Bedrock, SageMaker, OpenSearch 등 AWS 서비스와 통합, 비용과 성능 균형 잡힌 벡터 관리 및 실시간 검색 가능
- 인프라 구축 없이 콘솔, CLI, SDK, API로 손쉽게 벡터 데이터 저장, 관리, 쿼리, 내보내기, 통합 등 다양한 활용 시나리오 지원
Amazon S3 Vectors란?
-
Amazon S3 Vectors는 대용량 벡터 데이터셋을 저장하고, 빠른 벡터 검색(semantic/similarity search)을 제공하는 새로운 S3 전용 스토리지
-
생성형 AI에서 자주 사용되는 벡터(임베딩) 데이터를 효율적으로 관리할 수 있도록 설계
-
벡터 버킷이라는 새로운 타입의 S3 버킷 제공, 각 벡터 버킷에는 최대 10,000개의 벡터 인덱스 생성 가능하며, 인덱스마다 수천만 개 벡터 저장 가능
- 벡터별로 메타데이터(key-value) 부여 지원, 조건별 필터링 쿼리 가능
비용·성능 최적화 및 자동화 기능
- 벡터 데이터의 업로드, 저장, 쿼리 비용을 최대 90% 절감 가능
- 데이터가 커져도 S3 Vectors가 자동으로 최적화하여, 비용과 성능을 지속적으로 유지
-
Cosine/Euclidean 거리 메트릭 제공, AI 임베딩 모델과 호환되는 유연한 검색 환경 제공
AWS 서비스 및 AI 인프라 통합
-
Amazon Bedrock Knowledge Bases와 네이티브 통합, SageMaker Unified Studio에서 직접 사용 가능
-
OpenSearch Service와 연동해, 장기/저빈도 데이터는 S3에 저장, 고빈도/실시간 검색은 OpenSearch로 이관 가능(서버리스 벡터 컬렉션)
- 추천 시스템, RAG, 문서 분석, 개인화 추천 등 다양한 AI 응용에 적합
주요 활용 방법
벡터 버킷 및 인덱스 생성
- 콘솔에서 Vector buckets 메뉴에서 벡터 버킷 생성
- 버킷 생성 시 암호화 옵션 지정 가능(SSE-S3, SSE-KMS)
- 각 버킷에 벡터 인덱스 추가, 인덱스별로 차원 수·거리 메트릭 지정
벡터 데이터 삽입·쿼리
-
AWS CLI, SDK, REST API를 사용해 벡터 삽입·관리
- Amazon Bedrock에서 텍스트 임베딩 생성 → S3 Vectors로 벡터 삽입
- 예시:
boto3로 embedding 생성 후 s3vectors.put_vectors API로 인덱스에 데이터 업로드
- 메타데이터를 활용해 장르·카테고리 등 조건별 쿼리 가능
OpenSearch 연동 및 내보내기
- 콘솔의 Export to OpenSearch로 S3 Vector 인덱스를 OpenSearch로 마이그레이션
- 서버리스 컬렉션 자동 생성, 실시간 벡터 검색 및 분석 워크로드로 확장
주요 특징 및 지원 환경
- S3 Vector 버킷은 암호화 기본 적용(SSE-S3), KMS 옵션 추가 지원
-
CLI/SDK/REST API를 통한 자동화/프로그램틱 활용
- 현재 프리뷰 지원 리전: 미국 동부/서부, 유럽(프랑크푸르트), 아시아(시드니)
통합 및 사용 시나리오
-
RAG, 에이전트 메모리, 유사도/시맨틱 검색, 지능형 문서 분석, 개인화 추천, 콘텐츠 자동 분석 등 다양한 산업별 벡터 활용 사례 지원
- OpenSearch, SageMaker, Bedrock 등 AWS 생태계와 통합하여 비용 효율적이고 대규모로 확장 가능한 벡터 기반 AI 솔루션 구축 가능
참고 및 추가 자료