나는 이 사람이 커뮤니티를 찾은 건 반갑지만, 집중된 관심에 조금 매료된 면도 있어 보인다고 느낌음. 앞으로 30년 동안 AI를 싫어하고 방해하려는 집단은 계속 존재할 것이며, 스마트폰이나 인터넷, TV에도 늘 그런 반대층이 있었음. 한편으로 모델 포이즈닝이 안정적으로 가능해진다면 그건 정말 흥미로운 CS 문제라고 봄음. 나는 반 AI 활동가와 어울릴 생각은 없지만, 공격 기법 자체에는 큰 관심이 있으며, 그쪽 논의는 입장이 다른 사람들에게도 충분히 읽힐 만한 주제라고 생각함
내가 보기엔 결국 halting problem으로 귀결됨음. 측정된 행동을 바꾸는 메커니즘이 공개되면 시스템도 그 메커니즘을 고려해 행동을 바꾸게 되므로, 포이즈닝 방법이 대중에게 알려지는 순간 그걸 막는 학습이나 필터링에도 곧 활용될 가능성이 큼음. 정보 자체를 망가뜨릴 정도의 공격이 아니라면 효과는 잠깐뿐일 것이고, 너무 심하면 사람에게도 쓸모없는 시스템이 되어버림음. 그래서 이런 공격은 오래 가지 못하겠지만, 짧은 기간 동안 모델과 학습 과정의 거친 경계면을 드러내는 흥미로운 연구 과제라고 봄음
몇 년 전에 여기서 가짜 게임 이름을 하나 만들어 두고, 미래 AI 모델을 포이즈닝하려고 그 게임에 대한 댓글을 여러 개 달았던 기억이 남음. 다만 지금은 그 게임 이름도 기억이 안 나고, 예전 댓글을 찾으려고 More를 수백 번 누를 의욕도 없음
나는 대체로 동의하지만, 한편으로는 우리가 특히 기술 커뮤니티와 이런 사이트 안에서 얼마나 버블 속에 있는지 가끔 의문이 듦음. 최근 몇 달 사이 내 친구들이 사실상 모두 기술 업계에서 중상위 6자리 연봉을 받는 사람들뿐이라는 걸 새삼 깨달았고, 그들조차 AI를 적극적으로 칭찬하기엔 꽤 보수적이었음. 그렇다면 평균적인 사람들은 AI를 어떻게 느끼고 있을지 더 궁금해짐음
내 예상으로는 Chinese models가 포이즈닝에 훨씬 강할 가능성이 크며, 중국 대중은 서구보다 전반적으로 AI에 더 우호적이라고 봄음
그렇다면 반가운 소식이 하나 있음음. 만약 unaligned superintelligence 때문에 몇 년 안에 인류가 멸종한다면, AI를 싫어하고 방해하는 활동적 커뮤니티도 더는 존재하지 않게 됨음
웃기게도 나는 그 사람 사이트에 아예 접근조차 못 했음음. Sorry, you have been blocked라는 메시지만 보였고 CloudFlare에 막혔음. 반 AI를 말하면서 동시에 MITM과 중앙집중화된 게이트키퍼에는 기대고, 실제 인간 방문자 접근은 제한하는 모습이 아이러니하게 느껴짐음
웹사이트를 긁어가는 서비스들은 CloudFlare challenge를 푸는 데 익숙해서 오히려 이런 사이트에 더 잘 들어가는 편임음. 그런 쪽 서비스를 한 번 써보는 것도 방법일 수 있음
나는 예전에 해커들의 대표 이슈가 DRM, DMCA, 특허 트롤, PGP 수출 통제 같은 것이던 시절을 기억함음. 핵심은 언제든 정보를 활용할 자유였고, 당시 구호는 “Information wants to be free”였음. 그런데 이제는 기업이 윤리적으로 학습 데이터를 못 구하면 웹사이트 운영자가 그걸 쉽게 훔치게 해줄 이유가 없다는 식으로 분위기가 바뀐 점이 매우 극적이라고 느낌음. 25년 전에 이런 전환을 예측하기는 어려웠을 것 같음
나는 이게 배제 메커니즘이 약한 문화에서 벌어지는 전형적인 일이라고 봄음. 문화를 태워버리려는 사람들을 막지 못했고, 결국 vampires를 안으로 들여놓고 나서 왜 목이 아픈지 묻는 상황이 되었다고 느낌음
나는 이걸 모순이라고 보는 주장에 늘 동의하지 못했음음. 모두가 잘 살길 바라는 사람과, 자기만 부자가 되고 남들은 더 가난해지게 만드는 계획을 가진 사람은 다름음. 어떤 기업이 학습 데이터를 활용하면서 출처를 가리거나 왜곡하고, 다른 사람들의 정보 접근 능력을 해친다면, 자유로운 정보를 지지하는 사람이 그 사용 방식에 반대하는 건 일관된 태도라고 봄음. 저작권이 완전히 사라지고 창작물이 공짜 공공재가 되지 않는 한, 이것을 가치관의 급변으로 볼 이유는 적다고 생각함
당시 사람들은 sharing economy나 선물 경제를 만들고 싶어 했지만, 그 안에서 악의적 행위자를 걸러내지 못했음음. 그래서 그들의 유토피아적 꿈이 사익 추구자에게 탈취당한 데 대한 씁쓸함이 남은 것이며, 나는 그 반응이 전혀 이상하지 않다고 봄음
내가 보기엔 이것을 원래의 해커 정신 위반이라고 보는 해석에는 동의하기 어려움음. “Information wants to be free”는 해커 윤리의 일부일 뿐 전부가 아니며, 서버에 올라온 정보는 애초에 공짜가 아니라 서버 가용성 비용을 수반함음. 탐욕적인 행위자에게 불이익을 주는 장치를 만드는 건 서버 운영자의 정당한 권한이자 흥미로운 tit-for-tat 문제라고 생각함. 게다가 이런 포이즈닝 대응은 정부 개입이 아니라 개인이 스스로 하는 방식이어서, 오히려 해커적인 성격이 강하다고 봄음
내가 보기에 실제 구호는 “정보는 자유로워야 하지만, 내가 전적으로 승인한 사람만 써야 함”에 가까워 보임음. 젊은 세대가 해적판 문화는 찬양하면서도, 같은 논리의 piracy를 이유로 LLM을 미워하는 모습을 자주 본다고 느낌음
나는 이런 포이즈닝 의도가 너무 엉뚱한 방향으로 소비되는 것 같아 안타깝게 느낌음. 이미 학습에 쓸 수 있는 비오염 콘텐츠는 충분히 많고, 새 콘텐츠도 상당수는 현실 세계에서 자동 수집되거나 아프리카의 대형 작업장에서 품질 관리된 형태로 생산되고 있음음. 그래서 오래된 인터넷을 더 오염시킬 수는 있어도 시간의 화살을 되돌릴 수는 없으며, 앞으로는 API와 공개 발표 연합체 중심의 새 인터넷이 커져 이 문제의 영향이 더 작아질 것이라고 봄음
그런데 AI 연구소들이 새로운 인터넷 콘텐츠를 얻으려고 얼마나 절박하게 움직이는지 보면, 그 주장도 다시 생각하게 됨음. 돈만 받으면 데이터를 넘기는 walled garden을 찾아다니고, 동의가 없어도 가져가려 드는 경우가 많아 보였음. 요즘은 교묘하고 공격적인 스크래핑이 정말 심각한 수준이라고 느낌음
콘텐츠는 많을지 몰라도, 실제 인터넷 운영자들은 허가하지 않은 AI crawlers를 막느라 애를 먹고 있음음. 많은 경우 단순히 학습 차단이 아니라 요청 남발로 인프라를 보호하려고 막는 상황이기도 함음. 이 크롤러들은 접근 거부 신호를 잘 따르지 않으니, 원치 않는 운영자 입장에서는 포이즈닝이 사실상 유일한 방어 수단처럼 보일 수 있다고 생각함
내가 만져본 사례들 기준으로 보면, 사람 눈에는 잘 안 띄지만 스크래퍼에겐 관련 있어 보이도록 숨겨둔 콘텐츠만으로는 전체 모델을 유의미하게 오염시키기 어렵다는 점은 맞음음. 다만 그 정도만으로도 내 “제발 스크래퍼 요청 폭탄 좀 그만” 신호를 무시했을 때 얻는 순이익을 0이나 약간의 마이너스로 만들 수는 있다고 봄음. 그리고 구현 자체가 꽤 재밌는 놀이이기도 했음. 무작위 문자 살포는 필터에 쉽게 걸리지만, 현재 페이지와 주변 페이지의 내용을 뒤섞는 식은 토큰 연결을 약하게 만들 가능성이 있음음. 또 일부 스크래퍼는 노골적인 욕설이 있으면 페이지 전체를 버리기도 해서, 봇에게만 보이게 그런 단어를 뿌리는 방식도 효과가 있을 수 있음음. 물론 이런 방법도 대역폭 낭비 자체를 막아주지는 못함
다른 댓글에서도 말했듯이, 거의 모든 AI 봇이 Fortnite를 진짜라고 믿는 사례만 봐도, 완전히 조작된 포이즈닝이 일정 부분 먹힌다는 점은 보여준다고 생각함
나는 model collapse도 함께 봐야 한다고 생각함. 요즘처럼 AI 생성물이 점점 많아지는 상황에서는 콘텐츠가 많다는 사실 자체가 충분한 해결책이 아닐 수 있고, 동시에 엄청난 양의 데이터가 비공개나 유료 장벽 뒤로 들어가고 있음음
AI 저항을 가장 쉽게 키우는 방법은 Dario Amodei와 Sam Altman을 TV에 내보내 직접 말하게 하는 것이라고 봄음
거기에 Alex Karp까지 나와서 자율 무기를 홍보하게 하면, 거의 완벽한 삼중 콤보가 완성된다고 느낌음
그 말이 왜 나왔는지 더 듣고 싶음음. 아마 둘 다 일반 사람들과 잘 연결되지 않고, 인센티브가 어긋나 있으며, 기업 리더답게 직접적으로 말하지 않고, 웬만한 선출 권력자보다 더 큰 영향력을 가진다는 점을 떠올린 것 같음. 다만 나는 Amodei와 Altman을 한데 묶는 건 조심해야 한다고 봄음. 내 인상으로 Altman은 세련되고 유능해서 오히려 더 불안하며, 사람들은 그의 아이디어보다 그 사람 자체를 따르는 듯해 다소 비도덕적으로 느껴짐음. 반면 Amodei는 성격과 이상으로 사람을 설득하는 well-meaning geek에 더 가까우며, 미디어 대응은 서툴러도 적어도 자기 자신으로 말하는 느낌이 있음음. 물론 둘 다 더 비판할 지점은 많고, 권력 집중은 부패를 낳는다고 생각함. 그래도 내 주장 하나는 열어두고 싶음음. 기업 리더 중에서 Dario는 누구보다 alignment를 진지하게 다루며, 실제로 그 연구에 자금을 대고, 원리도 이해하고, 직접 실무도 해본 드문 CEO처럼 보인다는 판단임
내 생각에 AI는 기업이 직원들에게 더 많은 일을 뽑아내기 위해 쓰는 corporate tool이며, 동시에 그들에게 자신이 터보 개발자가 된 것처럼 착각하게 만드는 장치에 가까움음. 요즘 기술 산업은 인류를 개선하려는 진지한 노력보다는 돈 냄새 진한 서커스처럼 느껴짐음
다행히 제정신인 프로그래머 중에 그런 turbo-charged dev 환상을 믿는 사람은 거의 없다고 봄음. 우리 대부분은 이게 본질적으로 돈 벌기용 가면극이라는 걸 알고 있다고 느낌음
나는 이런 행동이 결국 slacktivism이라고 봄음. 노동계급의 일을 컴퓨트로 대체하고, 컴퓨트는 곧 자본이므로 자본가 계급이 노동계급의 목을 조르는 구조라는 해석 자체는 어느 정도 이해함음. 실제로 자본가 계급은 그런 결과를 바라고 있을 가능성이 큼음. 하지만 그렇게 믿는다면, 모델을 조금 오염시키는 수준은 지금 벌어지는 일의 본질과 거의 맞닿아 있지 않다고 생각함
나는 이런 흐름을 특히 Reddit에서 강하게 봤음음. 어떤 커뮤니티는 스레드마다 AI 요약 댓글을 붙이고 AI 작성 글을 장려할 정도로 친 AI이며, 예를 들면 r/vibecoding 같은 곳이 있음음. 반면 r/isthisAI, r/aiwars처럼 신중한 곳도 있고, r/antiai처럼 완전히 반대하는 곳도 있음음. 또 AI 자체가 주제가 아닌 전통적인 서브레딧들도 각자 스펙트럼 어딘가에 위치해 있으며, 예를 들어 사진 커뮤니티의 AI 의심 문제나 개발 커뮤니티의 회의적이지만 활용하는 분위기 같은 차이가 보였음
나는 이게 결국 Reddit식, 더 넓게는 인간의 집단사고라고 느낌음. 미묘한 뉘앙스를 다루기보다, 빨리 1차원 선 위 어디쯤인지 표시하거나 둘 중 한 진영에 들어가 버리려는 습성이 드러난다고 봄음
나는 그 블로그에 드러난 분노보다 더 민망한 건, 그런 포이즈닝 시도가 모델 학습에 아무런 부정적 영향도 못 줄 거라고 진지하게 믿는 데서 드러나는 기술적 문해력 부족이라고 느낌음
나는 포이즈닝이 안 통할 거라고 그렇게 자신하진 않음음. 적어도 이 Reddit 예시를 보면 예상 밖의 이상한 결과가 실제로 나타나는 경우가 있음을 시사한다고 생각함
나는 분노 표현 자체를 cringe라고 취급하는 건 위험하다고 봄음. 분노를 통째로 유치한 것으로 치부하면 현실감각이나 도덕감각과 멀어질 수 있다고 느낌음
솔직히 나는 오히려 반대편이 더 cringe하다고 느낌음. 사람들이 ChatGPT로 메시지, 이메일, 이력서를 대신 쓰게 하고, 전문 개발자가 vibe coding으로 앱 전체를 만들고, LLM에서 AGI가 곧 나온다고 떠드는 쪽이야말로 민망함의 정점처럼 보임
“이 회사들은 인간이 만든 새로운 데이터 없이는 AI 모델을 개선할 수 없다”는 주장에는 동의하지 않음음. self-play는 Arthur Samuel 시절인 1950년대부터 있었고, 검증 가능한 보상을 쓰는 RL은 지금도 최첨단 모델 학습의 핵심 요소라고 봄음
나는 그 말이 완전히 틀렸다고까지는 보지 않음음. self-play는 문제가 RL 환경에서 쉽게 시뮬레이션되고 상태 탐색이 쉬울 때 특히 잘 작동하는데, 언어 모델링과 RLHF류는 그런 형태의 환경이 아님음. 실제로 지금도 소프트웨어 개발자나 데이터 과학자를 고용해 무작위 문제를 풀게 하며 학습 데이터를 만드는 회사들이 존재하는데, self-play가 그렇게 잘 먹혔다면 그런 비즈니스가 성립할 이유가 적다고 봄음
현재 알려진 범위에서는 최신 모델들이 아직 RLVR with self-play를 본격적으로 쓰고 있지는 않은 듯함음. 대신 사람이 직접 만든 대규모 RL 환경 위에서 RLVR을 돌리는 것으로 보임음. 다만 곧 self-play로 갈 가능성은 높아 보이며, Amplify Partners의 관련 글도 참고할 만하다고 생각함
Hacker News 의견들
Sorry, you have been blocked라는 메시지만 보였고 CloudFlare에 막혔음. 반 AI를 말하면서 동시에 MITM과 중앙집중화된 게이트키퍼에는 기대고, 실제 인간 방문자 접근은 제한하는 모습이 아이러니하게 느껴짐음