10P by baeba 2일전 | ★ favorite | 댓글 6개
  • Rumi라는 곳에서 GPT-o3, o4-mini 모델에 대해 테스트해본 결과,
    긴 답변(예: 에세이 작성 등)에서 특수 문자 워터마크가 삽입되는 걸 발견했다고 함.
  • 이 워터마크는 "Narrow No-Break Space (U+202F)" 같은 유니코드 특수 공백 문자로 만들어짐.
  • 일반적인 눈으로는 전혀 보이지 않음, 하지만 Sublime Text, VS Code 같은 코드 에디터나 특수 문자 뷰어로 보면 드러남.
  • 복사-붙여넣기에도 이 워터마크는 살아남음(예: Google Docs로 복붙해도 남음).
  • 다만, 워터마크는 간단한 find-and-replace로 제거 가능하기 때문에 완벽한 방어책은 아님.
  • OpenAI는 공식적으로 이 워터마크 기능을 발표하지 않았음. (조용히 테스트 중인 것으로 추정)
  • GPT-4o 모델에서는 이런 워터마크가 관찰되지 않았다고 보고함.

추가로

  • 워터마크는 긴 텍스트(특히 과제나 리포트형 글) 에만 삽입되는 경향이 있고,
  • 짧은 대화나 일반 질문-답변에서는 거의 삽입되지 않음.

요약 한 줄
"일부 최신 모델은 특수문자로 워터마킹을 시작했지만, 감지와 삭제가 쉬워서 완벽하지 않음."

[업데이트] OpenAI에서 루미에게 공식적으로 대응
OpenAI는 이 게시물에 대해 우리에게 연락하여 특별한 캐릭터가 워터마크가 아니라고 알려주었습니다. OpenAI에서는 단순히 “대규모 강화 학습의 특이점”입니다. 하지만 우리는 게시물을 남겨두고 있어서, 미래의 독자들이 여전히 ChatGPT o3/o4 응답에서 이러한 특별한(그리고 잠재적으로 원치 않는) 문자들의 문제를 볼 수 있습니다.

이번 o3가 환각이 엄청나게 심하다는 문제가 있었죠
그중의 하나가 아닐까 싶었는데, 직접 연락한 건 재밌네요

AI generated data르류학습데이터로 사용하지 않으러고 하는거 아닐까(model collapse) 싶네요

워터마크가 아니라 버그 아닐까요? 테스트라고 생각해도 현재 논의되는 llm 워터마크 기술에 비해 터무니없이 심플한데요..

주장의 특이한 경향성을 말할 줄 알았는데 아니었네요. 너무 단순한 해결책 아닐까요.

음... 이런 워터마크 때문일까요? 최근들어 챗지피티 상에서는 잘 보이는 한글이 긁어서 복사 붙여넣기 하면 깨진채로 붙는 현상을 경험한 적이 꽤 있어요