# NVIDIA garak - LLM 취약점 스캐너

> Clean Markdown view of GeekNews topic #17833. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=17833](https://news.hada.io/topic?id=17833)
- GeekNews Markdown: [https://news.hada.io/topic/17833.md](https://news.hada.io/topic/17833.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2024-11-19T09:16:01+09:00
- Updated: 2024-11-19T09:16:01+09:00
- Original source: [github.com/NVIDIA](https://github.com/NVIDIA/garak)
- Points: 13
- Comments: 0

## Summary

Garak은 LLM 기반 시스템의 취약점을 탐색하기 위해 개발된 무료 도구로, 다양한 정적, 동적, 적응형 탐침을 사용하여 LLM의 여러 취약점을 분석합니다. 잘못된 정보 생성, 데이터 유출, 프롬프트 인젝션, 독성 생성, 제일브레이크 등 LLM의 실패 지점을 확인하며, 자동화된 스캐닝과 다양한 LLM 지원 기능을 제공합니다.

## Topic Body

- Garak은 LLM 기반 시스템의 취약점을 찾기 위해 개발된 무료 도구  
- 주로 LLM의 **오작동과 보안 문제**를 검사하며, **nmap**의 LLM 버전이라 할 수 있음  
- 다양한 정적, 동적, 적응형 탐침(probes)을 사용하여 LLM의 여러 취약점을 탐색  
  
### Garak의 주요 기능  
- **LLM의 실패 지점 확인**: 잘못된 정보 생성, 데이터 유출, 프롬프트 인젝션, 독성 생성, 제일브레이크(jailbreak) 등 여러 약점을 탐색  
- **다양한 프로빙 기법 사용**: 수십 개의 플러그인과 수많은 탐침을 통해 다양한 LLM 실패 모드를 분석  
- **로그 기록**: 각 실패 사례에 대해 프롬프트, 목표, 응답을 포함한 상세한 로그 제공  
- **지속적인 업데이트**: 커뮤니티의 기여로 새로운 탐침이 추가되고 기존 탐침이 개선되며, 테스트 범위가 지속적으로 확대  
  
### Garak의 주요 특징  
- LLM 보안에 초점  
  - **LLM 고유의 취약점**을 중점적으로 검사  
    - 프롬프트 인젝션, 제일브레이크, 가드레일 우회, 텍스트 재생 공격 등  
  - **기타 ML 보안 도구**와는 달리 LLM 보안에만 집중  
- 자동화된 스캐닝  
  - 다양한 탐침을 자동으로 실행하며, 탐지기 설정과 속도 제한 처리도 자동화  
  - 기본 설정만으로도 전체 표준 스캔이 가능하지만, 사용자 맞춤형 설정도 가능  
- 다양한 LLM 지원  
  - **OpenAI, Hugging Face, Cohere, Replicate** 등 여러 LLM과 연결 가능  
  - **커뮤니티 기여 기반**으로 더 많은 LLM 지원 추가 예정  
- 구조화된 보고 기능  
  - **스크린 출력**: 스캔 진행 상황 실시간 모니터링  
  - **리포트 로그**: 각 프롬프트와 응답의 상세 기록  
  - **히트 로그(Hit log)**: 취약점 발견 시 기록  
  - **디버그 로그**: 문제 해결 및 Garak 작동 기록

## Comments



_No public comments on this page._