12P by neo 11일전 | favorite | 댓글 7개
  • AI 기술이 더욱 발전하면서 더 복잡하고 중요한 문제를 해결할 수 있게 되었고, 이를 가능하게 하는 데 상당한 컴퓨팅 리소스가 필요함
  • ChatGPT Pro는 월 $200 요금제 로 OpenAI의 최신 모델 및 도구를 확장적으로 이용 가능
    • o1: 가장 스마트한 모델
    • o1-mini, GPT-4o, Advanced Voice도 포함
    • o1 pro mode: 더 많은 컴퓨팅 리소스를 활용하여 더 깊이 사고하고 복잡한 문제에 대해 더욱 정교한 답변 제공
    • 향후 더 강력한 생산성 기능 추가 예정
  • 연구자, 엔지니어, 연구 중심의 작업을 하는 개인을 위해 설계되어, 생산성을 높이고 AI 발전의 최전선에 설 수 있도록 도움
  • ChatGPT Pro의 o1 pro mode는 신뢰도 높은 응답을 제공하는 고급 모델
    • 특히 데이터 과학, 프로그래밍, 법률 분석 분야에서 정확하고 포괄적인 응답을 제공
    • o1 및 o1-preview와 비교하여 수학, 과학, 코딩 분야의 어려운 기계 학습 벤치마크에서 더 우수한 성능을 보임

주요 성능 비교 (pass@1 정확도 기준)

  • 수학 경진대회 (AIME 2024)
    • o1-preview: 50
    • o1: 78
    • o1 pro mode: 86
  • 코드 경진대회 (Codeforces)
    • o1-preview: 62
    • o1: 89
    • o1 pro mode: 90
  • 박사 수준 과학 질문 (GPQA Diamond)
    • o1-preview: 74
    • o1: 76
    • o1 pro mode: 79

신뢰도 향상: "4/4 reliability" 평가

  • 더 엄격한 평가 기준 도입: 4번의 시도 중 4번 모두 정답을 맞힌 경우만 해결로 간주

주요 성능 비교 (4/4 신뢰도 기준)

  • 수학 경진대회 (AIME 2024)
    • o1-preview: 37
    • o1: 67
    • o1 pro mode: 80
  • 코드 경진대회 (Codeforces)
    • o1-preview: 26
    • o1: 64
    • o1 pro mode: 75
  • 박사 수준 과학 질문 (GPQA Diamond)
    • o1-preview: 58
    • o1: 67
    • o1 pro mode: 74

프로 사용 해 보았는데 컨텍스트 윈도우가 짧은게 치명적입니다. 긴 내용을 써주긴 하는데 어느정도 지나면 점점 원래 쓰고 있던 내용이나 포맷이 무너지기 시작합니다.

전 플러스 사용중인데요. 얼마전부터 같은 종류의 엔진으로 같은 종류의 프롬프트를 수행하는데, 실행이 달라진 것을 느끼는데요. 이전만큼 수행을 못해주는 느낌을 받습니다.

기존 plus에서 사용가능한 모델들을 너프시키고, 잘라다가 파는게 아닌가 하는 생각이 드네요.

비용이 비싸질 수록 성능에 대한 신뢰성이 있는데 AI서비스들은 그런게 없네요. 인터넷 회선 갑자기 어느날 몰래 제한 거는 것 처럼 AI도 그렇게 갈 가능성이 많아 보입니다.

저도 플러스 사용중인데, 답변의 기조라고 해야할까요? 이름은 같은 o1이지만 전체적인 느낌이 preview랑 아예 달라졌습니다. 토큰 출력을 누가 억제하고 있나 싶은 생각까지 드네요.

동감합니다. 저도 같은 일시 버젼을 사용해도 별도의 언급없이 성능이 왔다갔다하는 걸 느끼고 있습니다. 좀 다른 얘기지만 특정 서비스는 정보를 수집하지 않는다는 부분도 확인 할 방법이 없으니 그저 믿음의 영역이 되지 않나 싶네요.

openai 가 점점 더 open과 멀어지네요.
이게 현실이겠죠.

비용 감당이 안되서 Plus 구독료가 인상될 것 같았는데, 그게 아니라 더 고가 라인업을 신설해서 공략하는군요. 평소에 정말 잘 쓰고 있긴 하지만 저는 Pro 버전 까지는 필요 없을 것 같습니다. ㅎㅎ

Hacker News 의견
  • OpenAI는 오픈소스 대안의 발전 속도와 수익 창출 필요성 사이에서 경쟁 중임. 성공 여부는 대기업들이 OpenAI의 통합적이고 안전한 AI 솔루션을 선택할지에 달려 있음. 이는 IBM의 기업 컴퓨팅 전략과 유사함.

  • Pro 버전의 컨텍스트 윈도우가 짧다는 점이 불만임. Plus 회원으로서 더 긴 컨텍스트 윈도우를 기대했으나, 이에 대한 논의가 전혀 없음. 경쟁사에게 컨텍스트 윈도우를 차별점으로 고려할 것을 강력히 추천함.

  • Pro 구독을 구매한 첫 인상은 새로운 o1-Pro 모델이 매우 뛰어난 작가라는 것임. 긴 프롬프트와 복잡한 데이터 분석을 잘 처리함.

  • 더 많은 컴퓨팅 파워를 위한 계획은 가격 책정 전술인 디코이 효과로 설명될 수 있음. 고가 옵션을 도입하여 다른 플랜이 더 합리적으로 보이게 함.

  • Claude Teams에 매달 166 유로를 지불함. 이는 프로젝트 기능과 결합하여 많은 파일을 업로드하고 특정 컨텍스트에서 질문할 수 있는 기능 때문임. 이 기능은 연구자들을 손끝에 두고 있는 것처럼 강력함.

  • Anthropic에서 훨씬 저렴한 비용으로 더 나은 성능을 얻음. 새로운 GPT가 Claude보다 10배 뛰어나다는 주장에 회의적임.

  • OpenAI가 투자자들이 지치기 전에 "일반" AI를 달성할 수 있을지 의문임. ChatGPT의 성공을 통해 그들이 이를 달성할 경로가 있다고 암시했을 가능성이 있음.

  • 제품의 "무제한" 사용에 대한 월 구독 가격 책정의 주요 어려움은 극단적인 사용을 하는 1%의 파워 유저임. ChatGPT Pro의 가격은 파워 유저/기업을 대상으로 함.

  • 복잡한 Google Sheets 수식을 작성하는 데 4.5시간을 소비함. 새로운 ChatGPT Pro 모드가 더 빠르다면 시간 절약 측면에서 큰 이점이 있음.

  • 인터뷰 밀에서 o1 모델을 사용하여 인터뷰를 진행하는 사례가 있음. 이러한 유형의 사용 사례는 $200의 월 요금이 저렴하게 느껴질 수 있음.