Show GN: 대한민국 대통령 대선 공약 정보 제공 플랫폼
(github.com/MinsuChae)21대 대통령 후보 정보를 한눈에
- 제목은 거창하게 지었지만, 간략하게 말하면 제 21대 대통령선거에 앞서 대통령 후보의 약력이나 선거의 공약 혹은 후보의 논란 등을 제공하는 것을 목표로 하는 프로젝트입니다.
- 🔗 https://대선은지금.com
만든 목적
제가 아는 20대 지인분들이 대통령이나 대통령 선거에 대한 관심을 보였고, 최근 여러 사건으로 인해 청년들의 선거 관심도가 커졌고 대통령 선거 참여 독려가 되어야 한다고 생각하였습니다.
그러나 실제 선거 투표를 하다보면 한 사람씩 자세히 보기도 힘들고 타 후보와 비교하면 누가 더 나은지 판단하기가 쉽지 않은 것이 현실이었습니다.
“그렇다면 LLM으로 질문‑답변을 바로 해 주는 사이트를 만들어보자.” 라는 아주 단순한 아이디어로 만들게 되었고 기획은 2~5일, 코딩과 배포는 이틀정도 걸렸습니다.
기능 제공
- 후보별 약력·공약·논란 요약 제공
(선거공보가 나오지 않아 현재는 뉴스 기반의 초안입니다.) - “○○ 후보의 대표 공약 알려줘” 같이 묻는 실시간 Q&A
(Gemma‑3‑1b‑it모델이 답변을 생성합니다. CPU만으로 연산해서요 😅 )
향후 계획
- 선거공보 자료 기반의 정보 제공
- 개발자 수준이 아닌 대한민국 국민 수준에서 큰 관심도를 받거나 기관 등에서의 후원 시 Gemma‑3‑27b로 LLM 모델 개선
아쉬운 점
-
모델 크기
원래는 27 b 파라미터 버전을 돌리고 싶었지만 VRAM 48 GB가 필요했습니다.
결국 1 b 모델로 타협했습니다. (A6000 한 대만 빌려도 월 60만정도 필요합니다.) -
낮은 수준의 데이터 품질
뉴스기사 등을 통해 스크리닝하긴 했지만 공식 자료가 없다보니 아직 구체적인 공약 등을 파악하기 어려운 문제점이 있습니다. 선거공보가 공개되면 가장 먼저 업데이트할 예정입니다. -
LLM 모델 응답속도
간단한 인사 등을 하게 되면 수 초 내에 응답을 하지만 공약 등의 핵심 질문을 하게 되면 1분 이상 걸리는 문제점이 있습니다. 실시간 이라고 하기엔 무리가 있죠. CPU 연산이여서 그렇습니다. 😅
요청사항
- 잘못된 정보나 불편함을 발견하시면 댓글로 알려주세요.
- GPU 후원/클라우드 제휴는 언제든 환영입니다.
- 과도한 부하 테스트만 피해주시면 감사하겠습니다!
최근 청년들의 선거 참여가 중요해지는 만큼 정치 정보를 쉽고 빠르게 하기 위해서 만들어보았습니다.
한 번 들러서 궁금한 후보를 검색해 보시고, 부족한 점을 지적해 주세요. 🙏
제 전공이 컴퓨터쪽 이지만 개발자 포지셔닝보다는 AI 연구자 포지션이 강하다보니 테스트 코드라던가 데이터 타입 검사 등의 찐 개발자분들이 보기에 불편할 수 있습니다.
몇군데 사이트 안올렸는데 제 내부 테스트인지 누군가인지 몰라도 과도한 부하로 인해 좀비가 되었네요. 로컬 AI이고, 가벼운 모델이라 이정도로 심하게 부하 걸릴줄은 몰랐는데 가상화한경에서 수행시켰는데 좀시 상태로 빠졌네요...;; 확인 후 복구시키겠습니다.
로컬 AI 서비스 제공하시는 분들은 GPU 연산하는거면 덜하겠지만 CPU는...포기하는 것이 좋을 듯 싶네요. 누군가가 그렇게 많이 쓴 것도 아닌 것 같은데...;;
물리적인 서버에서 큰 작업이 이루어지지 않던 서버인데 docker container로 띄워 서비스했는데 아무리 사양이 낮다 하더라도 ssh 접속까지 힘들정도로 과도하게 CPU 부하가 걸렸습니다...; cpu 제한 안걸었는데 그것 때매 호스트 서버까지 문제가 생기네요...
실 사용자가 많이 쓴 것 같지도 않은데...
알려주셔서 감사합니다. 우선 정적 사이트가 아니므로 굳이 프론트엔드단에서 처리보단 백엔드에서 수행하고 API 키를 최대한 숨기려고 합니다.
이전엔 그럴 생각이 적긴 했지만, OpenAI나 다른 API를 선거날 7일전이나 14일전에 할 예정입니다.
그 전까지는 아무리 소형모델로 비용을 줄일수 있다하지만 얼만큼 사용될지 추정이 안되어서 사용에 조심스럽습니다.
WebLLM 은 덕분에 알아봤습니다. 저는 딥러닝 연구하는 입장에서 모델을 CDN 등에 서빙하고 실행할 걸 고민했는데 저렇게 서빙해주는 걸 알게되었네요. 그러나 여전히 고민스러운 부분은 있습니다. 프론트엔드에서 수행되면 물론 부하는 줄지만 초기 모델 서빙 부분이 조금 오래걸리는게 문제이지 않을까 싶습니다. 이 부분은 고민이 돼네요. 그래도 덕분에 저런 좋은 프로젝트를 알게되었습니다. 제대로 보진 않아서 ReadMe에 있는 모델만 되는지 호환되는 모델들도 서빙되는건지 아니면 다른 CDN에 올려야하는지 온전히 이해하진 못했네요. 제 생각에는 따로 모델 자체를 서빙해야할 것 같습니다. 그러면 이 부분이 고민될 것 같네요. 해외는 모르겠지만 국내에선 모델을 서빙할 CDN이 있을까 해서요. 제가 찾아본 국내 CDN은 대게 이미지만 허용하는 것으로 알고 있어서요.
LLM 1B 모델이지만 아무래도 연산이 많은 것 같습니다. 어제는 정신도 없고 갑자기 container가 좀비 상태가 되어서 정신이 없었는데 docker 에서 cpu 사용률 제한을 계속 변경하면서 테스트를 했는데 그러다보니깐 동시에 3~5개의 요청도 겨우겨우 하는 수준인 것 같습니다.
어떻게 보면 간략한 프로젝트하면서 수 년내에 로컬 AI가 올 것이고, 만약에 GPU 리소스 부족한 상황에서 LLM 서비스를 하면 얼마나 부하가 걸리는지 알려고도 한 부분도 있었습니다.
서버 수행하는 CPU는 AMD 7700 입니다. 결국 로컬 AI에서 하려면 여러 가지를 고려해야하는 걸 알게되었습니다. 생각보다 POST 보내고 응답이 오기전까지 타입아웃이 걸리는 문제가 있고 결국 이걸 안정적인 서비스를 하려면 GPU나 인퍼런스용 기기(예를 들어 google TPU 등)가 많이 있어야 응답속도가 유리하고, 큐 형태로 제공할 수 있게 해야겠다라는 생각이 들었습니다.
사실 국내엔 LLM을 제대로 운영하는 회사는 드물고(이미 알려진 네이버, 카카오, 업스테이지 등), 챗봇도 주어진 기능을 하는 경우가 많고 LLM 모델 API 연결하는 경우가 있다보니 얼마나 부하가 되어야할 것이고, 만약 웹에서 이러한 서비스를 서버에 부담을 줄여야 한다면 어떻게 해야하는 생각이 드는 계기가 됐습니다.
참고로 이 댓글을 보는 일부는 모델을 그냥 전달해서 뿌리면 되는거 아니야 라는생각을 할 수 있겠지만 gemma3 1b의 용량은 1GB를 초과하고 서버 호스팅을 쓰고 있지만 이 트래픽을 감당할 순 없다고 생각했습니다.
앱 형태로 어떻게든 선탑재하면 되겠지만 웹에선 어떻게 서비스를 서버의 부담을 줄이면서 할 수 있을까 에 대한 고민을 잘 한 기업들이 낮은 유지비용을 갖고 갈 수 있지 않을까 싶네요.