GPT-5.6, Grok 4.5, Claude, Muse Spark로 동일한 앱 4개를 만든 결과

 (tryai.dev)
3P by GN⁺ | ★ favorite | 댓글 1개
  • 12개 모델에 레이캐스터 미로, 3D 루빅스 큐브, 계산기, Conway’s Game of Life를 만들게 한 결과, GPT-5.6 Sol과 Claude Fable 5가 복잡한 과제의 선두를 나눠 가짐
  • 모델마다 과제별로 5회씩 시도해 성공 횟수·비용·시간과 모든 결과물을 공개했지만, 과학적 평가가 아니라 생성물을 직접 살펴본 주관적 비교라는 한계가 있음
  • 레이캐스터에서는 GPT-5.6 Sol, 루빅스 큐브에서는 Claude Fable 5가 각각 5/5를 기록한 반면, Claude Opus 4.8과 GPT-5.6 Luna는 큐브에서 0/5에 그쳐 모델·과제별 편차가 컸음
  • 오픈 웨이트 모델은 복잡하거나 새로운 과제에서 최상위 모델과 격차를 보였지만, 예제 코드가 풍부한 Game of Life에서는 Qwen 3.7 Plus와 GLM-5.2가 훨씬 낮은 비용으로 좋은 결과를 냄
  • Grok 4.5는 일부 과제에서 Claude Opus 4.8 수준의 저렴한 대안이었고 Muse Spark 1.1도 오픈 웨이트 모델보다 전반적으로 나았지만, 최신·최고가 플래그십이 모든 과제에서 자동으로 우승하지는 않았음

비교 방식과 12개 모델

  • 이전 비교에 대한 피드백을 반영해 규모를 12개 모델·4개 앱·과제당 5회 시도로 확대함
  • 한 번의 결과만으로 평가하기 어렵다는 피드백에 따라 과제별 성공 횟수와 선호 결과를 따로 기록하고, 실행 간 편차를 확인할 수 있도록 모든 시도를 공개함
  • 생성 결과물을 관찰한 주관적 비교로, 객관적이거나 과학적인 판정은 아님

Doom 스타일 레이캐스터 미로

  • WASD 이동, 회전, 깊이에 따른 벽 음영, 바닥·천장, 충돌 처리를 갖춘 1인칭 미로를 제작하게 함
  • 시각적 완성도보다 실제로 미로 안에서 이동하고 회전할 수 있는지만으로 성공 여부를 판정함
  • GPT-5.6 Sol은 5/5에 비용 $1.35, 120초를 기록했으며, GPT-5.5보다 일관되고 게임의 세부 묘사도 풍부해 가장 좋은 결과로 평가받음
    • GPT-5.6 Luna도 5/5, $0.15, 23초였지만 결과 품질은 GPT-5.5보다 낮다고 평가됨
    • GPT-5.6 Terra는 3/5, $0.44, 39초로 세부 묘사는 좋았으나 일부 결과에서는 걸을 수 없었음
  • Grok 4.5는 5/5, $0.27, 62초로 가격 대비 실용적인 대안이었고, GPT-5.5는 4/5, $1.44, 138초를 기록함
  • Claude 계열은 기대보다 부진했음
    • Claude Opus 4.8은 4/5로 일관됐지만 결과가 단조로웠음
    • Claude Fable 5는 3/5로 좋은 결과를 만들었으나 일관성이 낮았음
  • 오픈 웨이트 모델 중 Qwen 3.7 Plus와 Kimi K2.6은 각각 2/5, DeepSeek V4 Pro는 3/5를 기록함
    • GLM-5.2는 상세한 화면을 렌더링했지만 캐릭터가 한 번도 움직이지 않아 0/5에 그침
  • Muse Spark 1.1은 2/5였지만 작동한 결과는 Fable·Sol과 비슷하고 Grok·Opus보다 좋다고 평가받아 예상 밖의 성과를 냄

3D 루빅스 큐브

  • 색상이 있는 3D 큐브와 Scramble, Solve 버튼을 만들고, 회전을 화면에서 애니메이션으로 보여주게 함
  • 섞기와 풀기 애니메이션이 모두 부드럽게 작동하면서 오류나 색상 변경이 없어야 성공으로 계산함
  • Claude Fable 5가 5/5, $2.03, 92초로 유일하게 다섯 번 모두 깔끔하게 성공함
    • Claude Opus 4.8은 모든 결과에 작은 오류나 색상 변경이 있어 0/5에 그침
  • GPT-5.6 Sol과 Terra는 각각 4/5를 기록함
    • Sol은 작동한 결과의 품질이 좋았지만, 이상한 애니메이션과 전부 검은색으로 렌더링된 결과가 있었음
    • Terra는 섞기 애니메이션이 이상했으나 GPT-5.5보다는 소폭 나았음
    • Luna는 처음에는 정상적으로 보이는 경우가 많았지만 섞기를 시작하면 즉시 깨져 0/5였음
  • GPT-5.5는 4/5였으나 색상 깜박임과 매끄럽지 않은 회전이 있었고, Grok 4.5는 단순하지만 좋은 결과로 3/5를 기록함
  • Qwen 3.7 Plus, Kimi K2.6, DeepSeek V4 Pro는 각각 1/5였고 GLM-5.2는 0/5였음
  • Muse Spark 1.1은 2/5로 오픈 웨이트 모델보다 한 단계 나았지만, 가격을 고려하면 Grok보다 선택할 이유가 부족하다고 평가됨
  • 레이캐스터에서 앞섰던 GPT 계열이 예상보다 부진한 반면 Claude는 Fable이 성과를 이끌면서 과제별 역전이 나타남

계산기

  • 숫자·연산자·초기화·등호 버튼, 올바른 연산자 우선순위, 실제 계산기 같은 외형을 요구함
  • (((5 × 5) − 100) / 10) 같은 기본 계산으로 연산 순서와 결과 렌더링을 확인했으며, 포괄적인 기능 검사는 아니었음
  • Claude Opus 4.8과 Claude Fable 5는 모두 5/5를 기록함
    • Fable의 결과가 스타일 면에서 가장 선호됐음
  • Grok 4.5는 5/5로 단순하고 일관됐으며, GPT-5.6 Luna도 5/5로 Grok과 비슷한 경험을 제공함
  • GPT-5.6 Sol은 5/5였지만 과도한 스타일과 3D 표현을 시도해 깔끔하고 일관된 계산기 경험을 해침
    • GPT-5.6 Terra와 GPT-5.5는 각각 4/5였으며, GPT-5.5는 불필요한 버튼이나 잘리는 3D 표현을 만들기도 함
  • Muse Spark 1.1은 5/5로 Grok 4.5와 비슷한 수준이었지만, 일부 결과에서 버튼 순서와 배치가 어색했음
  • 오픈 웨이트 모델에서는 Qwen 3.7 Plus가 $0.04, 12초에 4/5를 기록했으나 한 결과가 음수를 처리하지 못함
    • DeepSeek V4 Pro는 3/5로 숫자 순서 오류와 결과 미표시가 있었음
    • GLM-5.2는 2/5였지만 성공한 결과의 품질은 좋았음
    • Kimi K2.6은 음수를 처리하지 못해 0/5로 계산됨
  • 단순한 GPT 모델은 별도 수정 없이 바로 작동했으며, 복잡한 시각 효과를 더한 결과보다 기본 기능 중심 구현이 더 나은 경험을 제공함

Conway’s Game of Life

  • 격자 캔버스, Play, Pause, Step, Randomize, Clear, 셀 클릭 전환과 세대 애니메이션을 구현하게 함
  • 이 과제에는 별도의 5회 성공 판정을 적용하지 않고 비용·시간과 전반적인 인상만 비교함
  • Grok 4.5가 좋은 결과를 냈고, 과제 자체가 단순하며 공개 예제 코드도 충분해 오픈 웨이트 모델 역시 매우 잘 수행함
  • Qwen 3.7 Plus는 $0.04, 11초, GLM-5.2는 $0.10, 121초로 낮은 비용에 좋은 결과를 내 이 유형에 적합하다고 평가됨
  • 복잡한 다른 과제에서는 오픈 웨이트 모델이 계속 어려움을 보였으므로, Game of Life의 결과를 일반적인 성능으로 확대 적용하기는 어려움
  • 나머지 주요 비용·시간은 Grok 4.5가 $0.14·38초, GPT-5.6 Luna가 $0.13·18초, Terra가 $0.36·25초, Sol이 $0.99·62초, Muse Spark 1.1이 $0.32·98초였음

짧은 답변의 속도와 비용

  • 짧은 프롬프트에서는 GPT-5.6 계열이 가장 빠른 응답 시작 시간을 기록함
    • Luna는 1.0초·97 tok/s·$0.001
    • Terra는 1.5초·62 tok/s·$0.001
    • Sol은 1.8초·45 tok/s·$0.003
  • Qwen 3.7 Plus는 2.1초·204 tok/s·$0.001로 매우 저렴하고 빨랐으며, Grok 4.5는 3.0초·112 tok/s·$0.003, Muse Spark 1.1은 3.1초·125 tok/s·$0.002였음
  • Claude Opus 4.8은 2.5초·44 tok/s·$0.004였지만 Claude Fable 5는 6.6초·30 tok/s·$0.01로 더 느리고 비쌌음
  • DeepSeek V4 Pro는 9.3초·37 tok/s·$0.001, GLM-5.2는 7.0초·58 tok/s·$0.001로 응답 시작이 느렸음
  • 일부 오픈 웨이트 모델은 전체 답변을 한꺼번에 내보내며 400토큰 상한에 도달했으므로, 표시된 tok/s는 실제 디코딩 속도가 아니라 상한값임

SVG 보너스 과제

  • 라이브러리 없이 한 번에 SVG를 생성하게 하고, 5개 결과 중 유효한 SVG를 우선한 뒤 가장 상세한 결과를 선택함
  • 말이 우주비행사를 태우고 있는 장면에서는 Claude Fable 5가 품질과 유머 면에서 좋은 결과를 냄
    • GPT-5.6 계열은 말과 우주비행사를 깔끔하게 렌더링하지 못해 기대보다 부진했음
    • Grok 4.5도 좋은 결과를 만듦
  • Elon Musk와 Jeff Bezos가 바다 위 착륙장으로 내려오는 Blue Origin 부스터를 보는 더 어려운 장면에서도 Claude Fable 5가 가장 앞섬
    • Bezos 이마의 반짝이는 부분과 착륙장 주변 연기까지 세부적으로 구성하고 깔끔하게 렌더링함
    • GPT 계열은 만화적인 결과를 만들었으며 생성물마다 작은 오류가 남았음
    • GLM-5.2와 Qwen 3.7도 이 SVG 과제에서는 좋은 결과를 냄

과제에 따라 달라지는 모델 선택

  • 복잡하고 새로운 레이캐스터와 루빅스 큐브에서는 최상위 모델의 우위가 뚜렷했으며, GPT-5.6 Sol과 Claude Fable 5가 각각 강점을 보임
  • 단순하고 널리 구현된 과제에서는 Qwen 3.7 Plus와 GLM-5.2가 훨씬 낮은 비용으로 경쟁력 있는 결과를 만들 수 있음
  • Grok 4.5는 일부 과제에서 Claude Opus 4.8 수준에 도달해 비용을 중시할 때 보조 실행 모델로 사용할 만한 성과를 냄
  • Muse Spark 1.1은 Grok 4.5보다 한 단계 아래지만 오픈 웨이트 모델보다는 전반적으로 나았으며, 당장 우선 선택할 수준까지는 아니었음
  • 과제에 따라 Sol, Fable, Grok, 저가 오픈 웨이트 모델의 순위가 달라져 최신·최고가 플래그십이 항상 승리하지는 않음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • “솔직히 짚을 점 하나”, “오류도 없고 색상 변화도 없다” 같은 표현은 좋은 판별 기준임. 끝까지 읽기는 했지만 사람이 직접 쓴 글이었다면 더 좋았겠음

    • 모든 사람을 합친 것보다 Anthropic에서 “Honestly”라는 말을 더 자주 듣는 듯함
    • LLM 특유의 새 언어를 다른 트랜스포머에 넣어 저 짜증 나는 문장들을 제거하면 안 되나? 어려울 것도 없고 모두에게 이득임

  • 공들여 잘 만든 글인 건 인정하지만, 다음 같은 문단을 읽으면 글 전체에 정이 떨어짐
    “질문마다 별도 표를 썼다. 이것은 빌드 작업이 아니라 표준 지연 시간 시험 도구다…”, “따라서 초당 토큰 수는 상한이며 실제 디코딩 속도는 아니다…”
    이 두 문장을 자기 본래 말투로 직접 쓰는 게 정말 그렇게 어려웠을까?

    • 이 특유의 문체가 어디서 나오는지 모르겠고, 없애기도 거의 불가능해서 몹시 거슬림
    • 너무 티 나고 불쾌함. 평범한 사람처럼 자신이 하려는 말을 직접 써야 함
      AI로 글을 만드는 건 게으를 뿐 아니라 밋밋하고 지겨우며, 독자의 시간을 존중하지 않는 행동임
    • 논의를 위해 묻자면, 저게 정말 작성자의 자연스러운 말투라면 어떨까?
    • LLM이 나오기 훨씬 전부터 나도 가끔 저런 식으로 썼음. 이런 비난을 읽는 것도 이제 지긋지긋함
    • AI가 등장한 뒤 사람들이 너무 예민해졌음. 프로그래머가 자기 취향에 맞는 산문을 쓰지 않았다고 까다롭게 구는 셈임

  • 내가 지나치게 통제하려는 성향일 수도 있지만, 에이전트에게 무작위 앱을 한 번에 완성시키는 방식은 실제 소프트웨어 엔지니어링에서 AI를 쓰는 방식과 전혀 다름

    • 1인 창작자에게는 원샷 벤치마크가 꽤 유용함. 더 나은 최첨단 모델, 내 경우에는 Opus와 Fable이 명시하지 않은 부분에서도 더 나은 결정을 내리는지, 처음부터 더 좋은 제안을 주는지와 어느 정도 상관관계가 있기 때문임
    • LLM의 시간 척도로 보면 모델들은 꽤 오래전부터 신규 앱 생성을 잘해 왔음
      신규 앱을 더 잘 만드는 방식도 흥미롭지만, 복잡하게 얽힌 기존 코드베이스의 어려운 문제를 어떻게 푸는지가 훨씬 궁금함
    • 기본 앱을 한 번에 만든 뒤 기능 요청을 하나씩 추가하게 하면 아키텍처와 유지보수성을 평가하는 명백한 방법이 될 듯함
    • 실제 사용 방식과는 다르지만, 그래야 Twitter/X에서 유명해질 수 있음
    • 실제 사용과 같지는 않더라도, 감에만 의존하지 않고 이 영역에 조금이라도 객관적인 측정 기준을 도입하려는 시도임

  • (LM)Arena가 사실상 이런 역할을 하며, 벤치마크 점수에만 과도하게 최적화하는 행위를 피하는 시험 중 가장 낫다고 봄
    에이전트: https://arena.ai/leaderboard/agent
    웹 개발: https://arena.ai/leaderboard/code/webdev
    현재 웹 개발에서는 Fable과 5.6이 막상막하이며, 이 글과 거의 같은 결과임

    • 마음먹으면 Arena에도 어느 정도 점수 맞춤 최적화가 가능함. 그곳의 프롬프트 분포는 일반 개발자의 실제 사용과 상당히 다르고, 특히 게임을 처음부터 한 번에 만들어 달라는 요청이 많음
      불충분한 프롬프트로 재미있는 게임을 한 번에 만드는 데 특화해 미세조정하면, 일반 작업 능력보다 코딩 모델의 성능이 더 좋아 보일 수 있음. OpenAI에서 일하지만 우리는 점수를 부풀리려 하지 않으며, 그렇게 하면 모두에게 Arena가 더 나쁜 지표가 되기 때문임
    • 특히 Facebook을 중심으로 Arena 점수 맞춤 최적화가 상당히 많지만, 그래도 실제 벤치마크 중 더 나은 편이라는 데는 동의함
      고전 데모씬 효과를 재현시켜 보는 건 늘 재미있음. 음악 생성은 아직 형편없지만 Claude는 적어도 괜찮은 신시사이저를 만드는 듯함. Agenda Circling Forth의 유체·입자 효과를 구현 설명 글과 스크린샷까지 제공해 재현시키려 해도 여전히 잘 못함
    • 아직 Grok 4.5가 목록에 없는 이유가 궁금함. 더 늦게 출시된 5.6은 이미 올라와 있음

  • 이런 시각적 벤치마크는 추론 능력보다 지식, 즉 학습 데이터가 얼마나 포괄적이고 모델이 이를 얼마나 잘 꺼내 쓰는지를 더 크게 보여줄 가능성이 큼
    큐브의 기하 구조와 애니메이션을 잠재 공간의 표현에 대응시키는 사고 과정(CoT)을, 상당한 사전 정보 없이 모델이 어떻게 구성할 수 있는지 모르겠음

    • LLM에 새로운 추론 능력이 실제로 존재한다는 증거가 있나? 아무리 해도 작동하게 만들지 못했고, 예전에 나온 Apple 논문도 그런 능력이 없다는 강한 증거였다고 봄
      내 경험상 잠재 공간이 희소하면 추론은 완전히, 우스울 정도로 실패함
    • Anthropic은 Canva에서 확보한 데이터 덕분에 이런 시험에서 우위를 얻고 있을 가능성이 큼

  • 우리도 모델 26개가 각각 앱 52개를 만든 모델 Arena에 오늘 GPT 5.6 Sol, Terra, Luna를 추가했음
    https://arena.logic.inc/
    세 모델의 앱을 나란히 비교하면 매우 흥미로움. 아직 UI에 통계를 추가해야 하지만, Terra의 실제 경과 시간은 Sol의 절반이었고 Luna는 오히려 Sol보다 약 23% 더 걸렸음
    Luna가 훨씬 저렴하긴 해도 대부분의 용도에서는 Terra가 시간과 비용의 균형이 더 좋아 보임. Terra의 품질은 대체로 Sol과 거의 비슷하면서 훨씬 빠르고 저렴함. 다만 오디오 시퀀서 같은 Sol의 디자인 감각은 높이 평가함. 한동안 모든 모델의 시각 결과가 비슷해졌는데, 이 측면에서 오랜만에 뚜렷하게 차별화된 모델임

    • 눈에 띈 수치는 GPT-5.6 Sol이 코드 1,264줄, 파일 35.5KB, gzip 10.0KB인 반면 GPT-5.6 Terra는 827줄, 20.0KB, gzip 6.7KB라는 것임

  • GLM 같은 모델은 벤치마크에 과도하게 최적화되어 있으며, 수치만 보고 생각하는 것만큼 최첨단 모델에 가깝지 않다는 비판을 뒷받침하는 결과로 보임

  • 다른 벤치마크보다 이런 AI 평가 방법론이 훨씬 마음에 듦
    현실 세계는 복잡하고, 다른 벤치마크들은 중국 공개 모델이 공략하기 쉬운 게 분명함. 글의 문체도 신경 쓰이지 않으며 충분히 읽을 만함

  • 최근의 관련 글: Grok 4.5, GPT-5.5, Claude에 같은 앱을 만들게 한 비교
    https://news.ycombinator.com/item?id=48838772 — 2026년 7월, 댓글 92개

  • 정확한 프롬프트가 빠져 있어 재현해 보고 싶어도 어려움
    어떻게 프롬프트를 작성했는지도 궁금함. GLM 5.2처럼 일부 모델이 SVG 렌더링에 완전히 실패한 큰 원인일 수 있음

답변달기