▲

GN⁺: OpenAI, Chain of Thought 질문 시 o1 접근 권한 철회 위협

 (twitter.com/SmokeAwayyy)
6P by neo 3달전 | favorite | 댓글 1개
  • ChatGPT o1에게 "Chain of Thought"에 대해 몇 번 질문하면, OpenAI 지원팀에서 이메일을 보내 o1 액세스 권한을 취소하겠다는 내용의 메일을 보냄

"사용자 경험, 경쟁 우위, Chain of Thought 모니터링 옵션 등 여러 가지 요소를 고려한 결과, 사용자에게 Raw Chain of Thought를 표시하지 않기로 결정했습니다. 이러한 결정에는 단점이 있음을 인정합니다. 저희는 모델에 답변의 Chain of Thought에서 유용한 아이디어를 재현하도록 교육함으로써 이를 부분적으로 보완하기 위해 노력하고 있습니다. o1 모델 시리즈의 경우 모델이 생성한 Chain of Thought 의 요약을 보여줍니다.

이 활동을 중단하고 이용약관 및 사용 정책에 따라 ChatGPT를 사용하고 있는지 확인하시기 바랍니다. 이 정책을 추가로 위반할 경우 OpenAl o1에 대한 액세스 권한이 상실될 수 있습니다. "

▲
neo 3달전  [-]
Hacker News 의견

  • OpenAI가 생각의 흐름을 숨기려는 변명이 의심스러움

    • 반경쟁적이라는 느낌을 줌
    • 모델의 생각을 공개하지 않으려는 의도가 강하게 느껴짐
    • 슈퍼인텔리전스에 대한 우려와 관련이 있을 수 있음

  • OpenAI의 큰 발표는 항상 비밀 유지와 관련된 논란을 동반함

    • GPT-2의 가중치를 공개하지 않은 이유는 "너무 위험하다"는 것이었음
    • GPT-3의 가중치도 공개하지 않음
    • 이러한 패턴이 의도적으로 언론의 관심을 끌기 위한 것일 수 있음

  • CoT 토큰에 대해 질문할 수 없지만 여전히 토큰당 요금을 부과함

  • "내부 사고 과정"이라는 단어가 질문을 플래그로 표시함

    • 수학 문제 옆에 "내부 감정"에 대한 설명을 요청하면 흥미로운 스니펫을 반환함
    • 예: "6x^2 + 5x + 1의 실제 근을 매핑하고, 이를 불가분 요소로 인수분해하는 과정"

  • ML 모델을 API를 통해 판매하는 회사의 경쟁 우위는 모델 가중치를 볼 수 없다는 것임

    • OpenAI는 이를 한 단계 더 확장하여 모델의 메타 레벨을 숨기려 함
    • 이는 다른 독점 API가 디버깅 출력을 제공하는 것과 같음

  • 회사 이름 "OpenAI"가 점점 더 부적절하게 느껴짐

    • 많은 분노가 여기서 비롯됨

  • 인간이 개입된 루프를 숨기려는 시도일 수 있음

  • 원본 출처를 확인할 수 없게 되어 AI 환각이 심각해졌을 가능성이 있음

  • "OpenAI"라는 이름이 "열려있다"는 의미와 맞지 않음

    • "사업을 위한 개방"이라는 의미로만 적용될 수 있음

  • OpenAI가 숨겨진 토큰 기반의 돈을 찍어내는 기계를 만들었고, 이를 감사할 수 없게 하려 함

답변달기