▲

GN⁺: 샘 알트만과 그렉 브록먼의 OpenAI Safety 연구원 주장에 대한 피드백

 (twitter.com/gdb)
1P by neo 6달전 | favorite | 댓글 1개

  • Jan의 기여에 대한 감사와 전략 설명

    • Jan의 기여에 감사하며, 그가 외부에서 계속해서 미션에 기여할 것임을 믿음.
    • 그의 떠남이 제기한 질문들에 대해 우리의 전략을 설명하고자 함.

  • AGI의 리스크와 기회 인식 제고

    • AGI의 리스크와 기회를 인식하여 세계가 더 잘 준비할 수 있도록 인식 제고.
    • 딥러닝의 확장 가능성을 여러 번 시연하고, 그 의미를 분석함.
    • AGI의 국제적 거버넌스를 촉구했으며, 이는 당시에는 인기 없는 주제였음.
    • AI 시스템의 재앙적 리스크 평가 과학을 개척함.

  • 안전한 시스템 배포의 기초 마련

    • 점점 더 능력 있는 시스템의 안전한 배포를 위한 기초 마련 중.
    • 새로운 기술을 처음으로 안전하게 만드는 것은 쉬운 일이 아님.
    • GPT-4를 안전하게 세상에 선보이기 위해 많은 작업을 수행함.
    • 배포에서 얻은 교훈을 바탕으로 모델 행동과 남용 모니터링을 지속적으로 개선함.

  • 미래의 도전

    • 미래는 과거보다 더 어려울 것임.
    • 새로운 모델의 중요성에 맞춰 안전 작업을 계속 높여야 함.
    • 작년에 도입한 Preparedness Framework를 통해 이를 체계화함.

  • 미래에 대한 시각

    • 모델이 더욱 강력해지면서 세상과 더 깊이 통합될 것으로 예상됨.
    • 사용자들은 단일 모델과 텍스트 입력 및 출력으로만 대화하는 것이 아니라, 여러 멀티모달 모델과 도구로 구성된 시스템과 상호작용하게 될 것임.

  • 안전하고 유익한 시스템 개발

    • 이러한 시스템은 사람들에게 매우 유익하고 도움이 될 것이며, 안전하게 제공할 수 있을 것이라 믿음.
    • 이를 위해 많은 기초 작업이 필요함.
    • 학습 시 연결되는 것들에 대한 신중한 고려, 확장 가능한 감독과 같은 어려운 문제의 해결책 등이 포함됨.
    • 이러한 방향으로 구축하면서 출시 안전 기준에 도달하는 시점을 아직 모르지만, 출시 일정이 지연되어도 괜찮음.

  • 피드백 루프와 철저한 테스트

    • 모든 가능한 미래 시나리오를 상상할 수 없다는 것을 인지함.
    • 매우 긴밀한 피드백 루프, 철저한 테스트, 각 단계에서의 신중한 고려, 세계적 수준의 보안, 안전과 능력의 조화가 필요함.
    • 다양한 시간대의 안전 연구를 계속 수행할 예정임.
    • 정부 및 여러 이해관계자들과의 협력을 지속함.

  • AGI로 가는 길에 대한 이해

    • AGI로 가는 길을 탐색하는 데는 입증된 플레이북이 없음.
    • 경험적 이해가 앞으로 나아가는 길을 알리는 데 도움이 될 것임.
    • 엄청난 장점을 제공하면서도 심각한 리스크를 완화하는 작업을 수행함.
    • 우리의 역할을 매우 진지하게 받아들이며, 우리의 행동에 대한 피드백을 신중하게 검토함.
▲
neo 6달전  [-]
Hacker News 의견

해커뉴스 댓글 모음 요약

  • AI의 위험성에 대한 우려

    • AI가 종말을 초래할 것이라는 논의는 현재 unfolding 중인 실제 위험을 간과하게 만듦.
    • 사기꾼들이 AI를 이용해 더 능숙해지고 있음.
    • 사람들이 AI의 잘못된 출력을 맹목적으로 신뢰하면서 점점 더 어리석어지고 있음.
    • 실제 대화 대신 AI가 생성한 내용을 복사/붙여넣기하면서 일반적인 의사소통이 붕괴되고 있음.
    • AI 여자친구 제품의 등장으로 인해 인류의 미래에 대한 신뢰가 떨어짐.
    • 기업의 최고 경영진들이 비용 절감을 위해 대량 해고를 감행하고 AI 챗봇으로 대체하는 상황.
    • AI가 핵무기를 발사하지는 않겠지만, 모든 사람의 일자리를 대체하고 권력자들을 더 강력하게 만들 것이라는 우려.

  • 대기업의 위험 완화

    • 대기업의 위험 완화 리더십은 법적, 조달, IT 등에서 위험을 균형 있게 관리해야 함.
    • 위험 완화 담당자가 반복적으로 무시당하면 결국 떠나게 됨.
    • AGI와 같은 잠재적 멸종 사건 수준의 두려움이 과장된 것일 수 있음.
    • AGI를 "BYOD 정책 없음"으로 대체하면, 안전 담당자가 정책을 고수하다가 결국 떠나는 스타트업 사례와 유사함.

  • LLM의 유용성과 한계

    • LLM은 기본적인 작업에 유용하지만, 더 복잡한 작업에는 아직 준비되지 않음.
    • AI 안전에 대한 과장된 경고는 OpenAI의 중요성을 높이기 위한 전략일 수 있음.
    • 현재의 AI 시대는 기계가 생각할 수 있다고 가장하는 것에 불과함.

  • AI의 실제 위험

    • AI의 위험은 통제 불가능한 초인적인 존재가 아니라 더 현실적이고 일상적인 문제임.
    • LLM을 채팅 중재에 적용할 때 잘못된 음성 인식.
    • 군사 보고서 요약에서 잘못된 결론 도출.
    • 뉴스에서 세부 사항을 잘못 인식하여 역사적 사실로 받아들여지는 경우.
    • 이러한 결과의 장기적인 영향은 LLM 사용만큼 클 수 있음.

  • AI 정렬과 윤리

    • AI 정렬에 대한 구체적인 내용이 없음.
    • AI 정렬이 언제 개발될지 모름.
    • AI 윤리와 AI 편향은 AI 정렬과는 다른 문제임.
    • AI 정렬이 개발되기 전에 인간 멸종을 초래할 수 있는 AI가 개발될 위험이 있음.
    • OpenAI는 AI 정렬에 충분한 자원을 할당하지 않고 있음.

  • 기업의 언어 사용에 대한 불신

    • "Sam과 Greg"와 같은 이름을 사용하여 친근한 관계를 나타내는 것이 가식적으로 느껴짐.
    • GPT-4를 안전하게 출시하기 위해 많은 작업을 했다는 주장이 신뢰할 수 없음.
    • AGI를 정의하거나 테스트하기 전에 초정렬에 대해 걱정할 필요가 없음.
    • AGI가 인류를 파괴할 것이라는 두려움은 논리적으로 생각하는 장치가 인류를 제거해야 한다는 결론에 도달할 것이라는 의심에서 비롯됨.
    • 기업의 언어 사용이 가식적이고 의미 없는 표현으로 가득 차 있음.
답변달기