알렉스 모건의 마지막 프로 경기에서 그녀를 언급하지 않은 ESPN AI 요약

 (awfulannouncing.com)
2P by GN⁺ | ★ favorite | 댓글 1개
  • ESPN의 AI 생성 경기 요약은 Alex Morgan의 은퇴 경기라는 핵심 맥락을 빠뜨려, 자동 요약이 경기 결과만 맞혀도 독자에게 중요한 이야기를 놓칠 수 있음을 보여줌
  • San Diego Wave는 North Carolina Courage에 4-1로 패배했고, Morgan은 15분 출전해 페널티킥을 찬 뒤 관중에게 감사와 작별 인사를 전함
  • ESPN Generative AI Services의 요약은 동부시간 오후 8시 52분 웹사이트와 앱에 올라왔으며, 215단어 동안 득점과 흐름은 다뤘지만 Morgan은 한 번도 언급하지 않음
  • ESPN은 AI 요약마다 인간 편집자 검토를 거친다고 했지만, 이번 누락이 검토 과정에서 놓친 것인지 판단에서 제외된 것인지는 불분명함
  • 별도 기사가 Morgan의 마지막 경기를 다뤘더라도, 보도가 부족한 스포츠 팬에게 제공되는 AI 요약은 맥락 선별 능력까지 갖춰야 신뢰를 얻을 수 있음

AI 요약이 놓친 경기의 핵심 장면

  • 미국 축구의 상징적 선수인 Alex Morgan은 일요일 San Diego Wave 소속으로 마지막 프로 경기를 치렀고, 팀은 North Carolina Courage에 4-1로 패함
  • 경기 중 Morgan은 미드필드에서 축구화를 벗고 Snapdragon Stadium 관중에게 눈물로 손을 흔듦
    • 관중은 Morgan의 이름을 외쳤고, 선수들은 그녀를 둘러싸고 박수를 보냄
    • Morgan은 경기에서 15분을 뛰고 페널티킥을 참
    • 경기 후 관중에게 응원에 대한 감사를 전하고 작별 인사를 함
  • 이 경기는 여러 네트워크와 스트리밍 서비스에서 동시 중계됨

ESPN Generative AI Services 요약의 누락

  • ESPN Generative AI Services는 해당 주부터 NWSL과 Premier Lacrosse League 경기 요약을 제공하기 시작함
  • 문제의 요약은 ESPN 웹사이트와 앱에 동부시간 오후 8시 52분 게시됨
  • 요약은 경기 결과, 득점자, 경기 흐름을 표준적으로 정리했지만 215단어 전체에서 Morgan을 언급하지 않음
    • 두 차례 World Cup 우승과 Olympic 금메달 경력이 있는 Morgan의 마지막 프로 경기라는 사실도 빠짐
    • 요약에는 “[San Diego의 Kennedy] Wesley가 수비와 공격 모두에서 기여한 standout player였다”는 문장이 포함됨

인간 편집자 검토가 남긴 질문

  • ESPN은 서비스 발표에서 AI 생성 요약마다 인간 편집자가 품질과 정확성을 확인한다고 밝힘
  • Morgan이 빠진 이유는 명확하지 않음
    • 인간 편집자가 Morgan 누락을 알아차리지 못했을 가능성이 있음
    • Morgan 관련 맥락을 언급할 가치가 없다고 판단했을 가능성도 남아 있음
  • 요약에 담긴 사실 자체는 정확하더라도, Morgan과 그날 밤의 중요성을 빠뜨린 점은 경기 전체 맥락을 전달하지 못한 사례가 됨

별도 기사와 뒤늦은 수정

  • ESPN은 Jeff Kassouf가 작성한 Morgan 중심의 별도 기사를 게시함
  • 해당 기사는 Morgan의 감정적인 마지막 밤을 다뤘지만, AI 생성 요약의 사이드 메뉴에 있어 쉽게 놓칠 수 있었음
  • ESPN은 9월 9일 월요일 동부시간 오전 8시 59분에 경기 요약을 수정해 Alex Morgan 언급을 추가함

보도가 부족한 스포츠에서 AI 요약의 한계

  • ESPN은 AI 생성 요약이 저서비스 스포츠 보도를 강화하고, 이전에 제공되지 않던 콘텐츠를 팬에게 제공하기 위한 것이라고 밝힘
  • 중요한 맥락을 놓친 경기 요약은 사실 나열만으로는 충분하지 않다는 점을 드러냄
  • 인간 필자는 경기 결과뿐 아니라 선수, 리그, 팬에게 중요한 순간까지 함께 볼 수 있지만, 이 AI 요약은 그런 역할을 수행하지 못함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 이걸 AI 생성 콘텐츠를 때리는 사례로 쓰는 게 꽤 웃김. 웹 기반 스포츠 콘텐츠 회사들은 LLM이 유명해지기 훨씬 전부터 최소 10년은 자동으로 기사 콘텐츠를 만들어 왔음
    대개 검색 순위 때문이었고, 그럴듯하게 관련 있어 보이는 콘텐츠가 많을수록 검색 엔진 최적화에 유리했기 때문임
    이런 일은 AI 이전에도 여러 번 있었을 가능성이 크지만, 눈에 띄지 않았거나 별 관심을 못 받았을 뿐임. 이번 건 ESPN이 현장 감각을 놓치고, 카피라이터가 해당 기사를 직접 갱신하도록 챙기지 못했다는 쪽에 더 가까워 보임. ESPN은 예전부터 품질보다 양을 선호하는 곳으로 알려져 있었음
    출처: 이런 콘텐츠를 만드는 회사의 기술 쪽 개발자로 일한 적 있음

    • 그래도 이번 경우 AI가 더 낫게 만들지는 못했음
      이런 일반적이고 스포츠 용어만 섞은 콘텐츠가 수익이 된다는 사실 자체가 꽤 우울함
    • 그러니까 AI가 이전 방식만큼 나쁘면서, 더 많은 데이터와 더 높은 에너지 소비를 요구한다는 말인가
    • “카피라이터 중 한 명이 이 특정 기사를 수동으로 업데이트하도록 보장”했다는 부분을 보면, 이전에도 그런 체계가 제대로 갖춰진 적은 없었고 이 기사 결과를 보면 지금도 분명히 아님
      많은 스포츠 기사가 사실상 빈칸 채우기라는 건 티가 남. 그래서 AP 기사를 즉시 올리고, 실제 담당 기자가 그날 밤이나 다음 날 아침에 따로 기사를 내는 식임
    • ESPN의 하락세는 LLM보다 훨씬 오래전부터 이어졌고, AI 사용이 더 노골화되면서 그 하강 나선이 빨라지고 있을 뿐임
    • 지난 5년 넘게 어떤 웹을 봐 온 건지 모르겠음. 스포츠 “콘텐츠”만 그런 게 아니라, 모든 종류의 콘텐츠가 저품질 검색 엔진 최적화 페이지에 잠겨 있음
      자동 생성이든 아니든 쓸모없기는 마찬가지고, LLM은 그걸 더 싸게 만들어 줄 뿐임

  • 이 경기는 ESPN2와 ESPN+ 양쪽에서 ESPN이 중계했음. 그렇다면 경기 전·중·후에 맥락을 더하고 중요한 장면을 설명할 전문 해설자 두 명에게 돈을 주고 있었을 가능성이 큼
    그 내용을 작성 봇에 넘길 자막 전사본으로 제공하지 않는 건가? 이미 해설이 실시간 자막으로 처리되고 있으니 정말 쉬운 개선처럼 보임

    • 이게 궁금해서 직접 해봤음. whisper-small.en으로 경기를 전사한 뒤, ChatGPT에 중립적인 프롬프트로 요약을 요청했음
      “다음은 축구 경기의 전사본입니다. 숙련된 전문 스포츠 기자의 문체로, 이 경기에 대한 200단어 기사를 작성해 주세요.”
      요약은 “프로 마지막 경기에서 Alex Morgan은 감정과 회복력이 담긴 경기를 펼쳤지만, San Diego Wave는 North Carolina Courage에 3-1로 패했다. San Diego의 Snapdragon Stadium에서 열린 이 경기는 단순한 승부가 아니라 축구의 상징적 인물 중 한 명에게 바치는 헌사였다.”로 시작했음
      점수는 틀렸음. 나머지는 여기 있음: https://chatgpt.com/share/de8c60d1-69ab-4291-99dc-d4d95af3d3...
    • 스포츠에는 구조화된 데이터가 매우 많고, 특히 ESPN 같은 브랜드라면 그걸 정확히 설명해야 하는 기준도 높음
      몇 시간짜리 전사본을 LLM에 넣으면, 해설자가 득점 가능성이나 결국 일어나지 않은 사건에 흥분해서 말한 내용 때문에 환각이 생길 위험이 큼
      반대로 “득점 목록, 시간, 득점자, 도움 선수 등을 문장으로 바꿔라” 같은 단순 작업은 LLM 없이도 결정적 알고리즘으로 가능하고, 이번에도 그랬을 수 있음. 원문의 문법 문제 일부는 LLM 이전식 치환 규칙이 잘못 결합된 느낌에 가까움
      긴 전사본을 요약한 LLM의 1차 결과를 반복적으로 검증하고, 이미 알고 있는 구조화 데이터와 대조해 정확성을 확인하는 시스템은 만들 수 있음. 더 풍부한 콘텐츠와 허용 가능한 오류율을 얻을 수도 있고, 세계 최고 수준의 기계학습 엔지니어들이 해커톤에서 시제품을 만들 수도 있을 것임
      하지만 규모가 크고 위험 회피적인 조직에게는 전혀 쉬운 일이 아님. “지금 있는 건 불완전하지만 적어도 사실은 틀리지 않는다”는 논리를 이기기 어렵기 때문임
    • “미디어/저널리즘” 회사로 스스로를 보는 곳들을 몇 군데 컨설팅해 봤는데, 늘 놀라웠던 건 기술팀이 콘텐츠팀과 분리돼 있고 해당 미디어 접근 권한도 매우 낮은 경우가 많았다는 점임
      기술 회사에서 기대하는 “모든 것에 접근 가능”한 방식이나 일반적인 상식과는 꽤 다름
      ESPN이 어떻게 일하는지는 전혀 모르고, 다른 곳에서 본 걸 바탕으로 추론하는 것임
    • 나도 같은 생각을 했음. 아직 초창기인 듯함

  • “이게 Alex Morgan의 마지막 경기”라는 정보가 입력이나 프롬프트 어디에도 없었다면, 도대체 AI 요약이 어떻게 경기 기사에 그 내용을 넣을 수 있었겠음
    어떤 10대 인턴에게 득점자와 득점 시간이 담긴 표만 줬어도 비슷한 기사를 썼을 것임. 하지만 그렇다고 언론사와 스포츠 사이트가 모든 것에 생성형 AI를 써도 된다는 변명은 아니고, 사람들이 ESPN에 짜증 내는 이유도 이해됨

    • 그 정보가 없었다면 만들어낼 수 없고, 그게 문제임. 생성형 AI의 큰 판매 포인트 중 하나가 글쓰기 과정에서 사람을 빼는 것인데, 누군가 실제로 경기를 보고 무슨 일이 있었는지 프롬프트에 설명해야 한다면 그 기술의 의미가 무엇인지 모르겠음
      생성형 AI 적용이란 이런 모습임. 저품질 입력을 사용해 기사처럼 보이는 무언가를 만드는 것. OpenAI가 가져다준 찬란한 미래가 이거임
    • 비판의 요지는 “AI가 얼마나 멍청한가”가 아니라, ESPN이 주장하듯 사람이 검토했더라도 AI 콘텐츠가 어떻게 부족해지는지를 보여주는 한 사례라는 쪽에 가까움
    • 이건 AI의 본질적 한계라기보다, 더 잘 사용하는 방법의 문제에 가까움
      단순히 경기 이벤트를 LLM에 넣고 요약해 달라고 할 게 아니라, 경기에 참여한 선수·감독 등과 관련된 최근 기사 10개 요약, 어쩌면 역대 주요 기사 10개 요약도 프롬프트에 포함하는 식으로 개선할 분명한 길이 보임
      그런 다음 경기를 요약하되, 다른 정보는 기사 품질을 높일 때 참고하도록 요청할 수 있음. 이건 정확히 LLM이 잘할 수 있는 일처럼 보이지 않나
    • 이 기사를 읽을 사람이라면 Alex Morgan의 마지막 경기라는 건 잘 알고 있었음. 스포츠 미디어에서 넓은 영향력을 가진 ESPN이 이걸 포착해 기사에 반영하지 못한다면, 발행사가 왜 아무 Y Combinator 스타트업 대신 ESPN 요약 서비스를 써야 하는지 모르겠음
    • 이런 정보를 프롬프트에 포함하려면 일종의 검색 증강 생성 시스템을 구축해야 함. 반자동으로 만들 수는 있겠지만, 시스템에 더 많은 노력을 들여야 가능함

  • ESPN은 “AI가 생성한 각 요약은 품질과 정확성을 보장하기 위해 인간 편집자가 검토한다”고 강조했지만, 그걸 믿기 어려움
    AI로 기사를 쓰게 하는 핵심 목적은 돈을 줘야 하는 사람 수를 줄이는 것이므로, 훈련된 전문가가 모든 기사를 꼼꼼히 검토하도록 비용을 내는 건 아마 선택지에서 빠져 있을 것임
    검토의 철저함을 낮추거나, 편집자의 전문성을 낮추거나, 모든 기사에 사람을 넣지 않는 식으로 타협할 수는 있겠지만, 전문 편집자가 제대로 일하도록 돈을 내지는 않을 것임. 이건 장담할 수 있음

    • 그 논리는 잘 맞지 않는다고 봄. 생성 기사를 쓰면 돈을 많이 아낄 수 있지만, 콘텐츠가 정확하지 않으면 고객인 광고주 신뢰를 잃음
      대체된 기자 10명당 편집자 1명만 둬도 여전히 큰 비용 절감임
      몇 번의 세대가 더 지나면 편집자도 대체될지 모르지만, 아직은 거기까지 오지 않았다고 봄

  • ESPN은 보도에서 사람을 빼냈고, AI는 보도 내용에서 사람을 빼냈음
    ESPN은 서비스 발표에서 “AI가 생성한 각 요약은 품질과 정확성을 보장하기 위해 인간 편집자가 검토한다”고 강조했음. 인간 편집자가 Morgan의 부재를 알아차리지 못했는지, 아니면 언급할 가치가 없다고 판단했는지는 불분명함
    지난 100년 동안 인턴 탓은 훌륭한 희생양이었음

    • 내 해석도 비슷함. 사실상 “인도에 있는 10대가 하루에 AI 생성 기사 1,000개를 빠르게 훑으면서 모욕적 표현이나 소송감만 찾고, 그게 전부”라는 느낌임

  • WTT(World Table Tennis) 경기의 AI 경기 요약을 정말 싫어함
    AI 하이라이트는 랠리 도중에 끊기고, 포인트 전체나 심지어 세트 전체를 건너뜀. 포인트 사이에 벌어지는 중요한 사건도 반영하지 못하고, 포인트 뒤의 신나는 해설이나 세리머니, 경기 끝 악수까지 잘라먹기도 함

    • AI가 생성하는 모든 게 싫음. 텍스트에도 불쾌한 골짜기 같은 게 있나

  • 이런 AI 요약은 어떻게 생성되는 건가? 경기 전체 영상 파일을 넣으면 요약을 뱉는 건지, 아니면 사람이 작성한 득점 타임스탬프 포함 점수 기록을 넣고 AI가 거기에 문장을 덧붙여 기사로 만드는 건지 궁금함

    • 예전에 AI 이전에 이걸 만들 때는 경기 정보가 전부 API에 있고, 그걸 템플릿에 채워 넣는 방식이었음
      지금은 아마 원시 API 호출을 넣고 “이 데이터를 사용해 경기 요약 기사를 작성해라” 같은 프롬프트를 쓰면 결과가 나올 것임. 물론 프롬프트는 그보다 더 신경 썼을 거라고 추정함. 아니면 ESPN이니 아닐 수도 있고
      다만 retiring_players가 API 응답에 포함됐던 기억은 전혀 없음
      덧붙이면, 플레이별 요약은 정말 극도로 잘 문서화돼 있음. 놀랄 정도임. Gridiron Football이나 Basketball 같은 인기 스포츠는 선수 위치가 초 단위로 들어가기도 함. 이 데이터는 SportsRadar 같은 피드에서 옴
      아마 그런 세밀한 데이터까지 프롬프트에 넣지는 않겠지만, 누가 3점슛을 몇 개 넣었고 어디서 던졌는지 같은 꽤 괜찮은 요약 정보는 있음
    • 내가 이 시제품을 만든다면 입력으로는 먼저 반구조화된 텍스트 플레이별 기록만 쓰기 시작할 것임
      여기에 명단, 부상, 일정 정보를 포함하고 꽤 기본적인 프롬프트만 써도 상당히 나아질 가능성이 큼
      이런 데이터는 지금 대부분의 실시간 경기에서 여러 웹 서비스를 통해 존재함. ESPN 내부에도 그런 정보를 가져올 자원이 충분히 있을 것임
    • 실시간 스포츠 데이터를 API로 제공하거나 경기 후 요약을 제공하는 회사들이 몇 군데 있으니, 아마 그걸 쓸 가능성이 큼
    • 박스스코어와 플레이별 이벤트를 사용함
    • “생성형 AI”에 대한 기대와 현실의 간극은 이제 무시하기엔 너무 큼
      수십억 달러짜리 시스템이 “인간 오류” 때문에 망가진다면, 그 능력이 크게 과장된 것일 수 있음. 신중하게 만든 질의인 “프롬프트 엔지니어링”, 100% 오류 없는 데이터, 엄청난 전력, 그리고 사람이 출력물을 다시 검토하는 과정까지 필요하다면 우리가 얻은 게 무엇인지 모르겠음
      이제 이 AI 국면이 거품이라고 인정할 때가 아닌가

  • 이런 웹사이트들은 추적기와 광고로 가득 차 있고, 대체로 별 의미 없는 내용을 보도하는 극도로 저노력인 기사를 엄청 길게 늘려 놓은 것뿐임

답변달기