▲

Various LLM Smells

 (shvbsle.in)
1P by GN⁺ | ★ favorite | 댓글 1개
  • LLM 보조 글쓰기는 처음에는 어휘와 문장 구조를 개선해 저품질 AI 글처럼 느껴지지 않았지만, 몇 달 뒤 같은 흔적이 인터넷 전반에서 반복되기 시작함
  • 글쓰기에서는 강한 결론형 문장과 짧은 문장 연속이 자주 보이며, “Symmetry becomes a trap.” 같은 압축적 단정이 반복 패턴으로 나타남
  • “X is the Y of Z” 구조와 “단지 X가 아니라 Y”에 가까운 대비형 표현도 LLM이 만든 글에서 알아볼 수 있는 문장 냄새로 꼽힘
  • AI 생성 웹사이트에서는 JetBrains Mono 글꼴, step 구성, 유사한 글머리표, 특정 버튼·카드·배지의 깜빡이는 점이 반복 요소로 나타남
  • 핵심은 창작에서 LLM/AI 사용 자체를 반대하는 것이 아니라, 글쓰기와 웹사이트에서 반복적으로 감지되는 패턴을 모아 관찰하는 데 있음

LLM 사용에서 반복적으로 보이는 냄새

  • 지난해 말 수학 블로그 글을 다듬기 위해 LLM을 사용했을 때는 어휘와 문장 구조가 좋아져 AI가 만든 저품질 글처럼 느껴지지 않았음
  • 약 3개월 뒤 같은 문장 구조가 인터넷 전반에서 반복적으로 보이기 시작했고, AI 보조 작업 전반에서 알아볼 수 있는 흔적으로 느껴짐
  • HN Thread의 예시들은 글쓰기와 웹사이트라는 두 영역에서 반복되는 “AI 냄새”를 보여줌

글쓰기와 웹사이트에서 보이는 반복 패턴

  • LLM 글쓰기

    • 강한 결론형 문장이 지나치게 자주 등장함
      • “Humans trust symmetry because it feels like intelligence made visible.”
      • “The Tiger fit the story. Jin-yong fit the physics.”
      • “Symmetry becomes a trap.”
    • 짧은 문장 연속이 반복적으로 쓰임
      • “Yet the tilt is not an accident. It is the shape of the optimum.”
      • “Then AlphaEvolve arrived. It had no preference for symmetry. No aesthetic prior. No instinct to preserve harmony.”
      • “These examples are not decorative. They form a distributed argument.”
    • “X is the Y of Z” 형태의 문장 구조가 자주 보임
      • “Cringe is the visible signature of moving along a gradient you chose.”
    • “단지 X가 아니라 Y”에 가까운 대비형 표현도 반복됨
      • “solutions that do not merely satisfy the constraint but satisfy the aesthetic instincts”

  • AI 생성 웹사이트

    • JetBrains Mono 글꼴이 반복적으로 보임
    • 같은 글꼴을 쓰는 “step” 구성과 유사한 글머리표가 여러 웹페이지에 등장함
    • 특정한 형태의 버튼, 카드, 배지 안의 깜빡이는 점도 AI 생성 웹사이트의 반복 요소로 보임

  • 주의점

    • 창작 작업에서 LLM/AI 사용 자체를 반대하지 않으며, 반복적으로 감지되는 패턴을 모아둔 관찰에 가까움

함께 보면 좋은 글 β

▲
GN⁺   [-]
Hacker News 의견들

  • LLM은 내가 못하는 일을 할 때 특히 좋아 보이는 경향이 있음. 특정 영역에서 LLM 출력이 내 것보다 훨씬 낫다고 느낀다면, 그 품질을 제대로 판단할 역량이 부족할 가능성이 큼

    • 이건 코딩에도 그대로 맞고, HN에서 LLM 생성 코드 품질에 대한 평가가 극단적으로 갈리는 이유도 어느 정도 설명해 줌
      한쪽은 “AI가 내가 도저히 못 쓸 코드를 만들고, 며칠 걸릴 일을 한 번에 끝내며, 생산성을 10배 올려줬다”고 하고, 다른 쪽은 “AI가 계속 형편없는 코드를 만들고, 재작업이 필요하며, 실수해서 감시해야 하고, 결국 시간을 잡아먹는다”고 함. 같은 제품의 출력이 이렇게 다르게 보인다면, 첫 번째 진영에는 좀 안 좋은 소식이 있음
    • 글쓰기로 어느 정도 먹고사는데, Claude의 산문은 정말 토할 것처럼 싫을 만큼 못 씀
      반대로 코드는 거의 안 쓰고 직업으로도 한 번밖에 안 해봤지만, Claude가 몇 초 만에 코드를 뱉어내면 내가 초인이고 곧 억만장자가 될 것 같은 느낌이 듦. 그러다 Claude가 읽기 괴로운 글도 못 쓴다는 사실과, 나는 글은 잘 쓰지만 코드는 못 쓴다는 사실을 떠올리고 코드를 지운 뒤 더 돈 되는 일로 돌아감
    • 그 가능성 자체에는 동의하지만, 현재 최전선 모델들이 내가 꽤 잘 아는 분야의 글쓰기에서도 완전히 쓸모없는 건 아님
      1년 전에는 이렇게 말하지 않았을 것 같음. 그럴듯한 헛소리를 전문가도 알아차리기 어렵게 뱉어내므로 매처럼 지켜봐야 하지만, 내부의 주사위는 점점 틀리거나 쓸모없는 쪽보다 맞고 유용한 쪽으로 기울고 있음
    • 솔직히 LLM 글쓰기가 조금이라도 봐줄 만하다고 생각하는 걸 이해하기 어려움. 그렇게 느낀다면 책을 더 읽어야 함
      한 달에 책 한 권은 높은 목표도 아님. Melville, Hemingway, Chaucer, Shakespeare까지 갈 필요도 없고, 그냥 아무 NYT 베스트셀러나 집어 들어도 LLM이 생성할 수 있는 어떤 글보다 훨씬 나음
    • LLM이 내가 못하는 일을 잘해 보인다는 데는 동의하지 않음. LLM은 좋은 글에는 한 가지 형태만 있는 것처럼 믿게 만드는 데 능함
      LLM은 “교과서/기술 매뉴얼”처럼 코드화된 문체를 선호하는데, 아마 그래야 인간에게 더 유용하기 때문일 수 있음. 하지만 인간의 글쓰기는 가장 우아한 문장을 만드는 것만이 아니고, 때로는 훌륭한 글이 이런 강아지 그림 밈 같은 것일 수도 있음: https://knowyourmeme.com/photos/2160304-the-winner-of-this-c...

  • “honest caveat:”, “genuine caveat:”, “honest answer:”, “The thing to internalize:”, “The smoking gun:” 같은 표현이 강한 LLM 티로 보임
    특히 “The ___:”로 시작하는 문장이 그렇고, 건축 얘기가 아닌데 쓰는 “load bearing”, 실제 폭발 얘기가 아닌데 쓰는 “blast radius”, “sanity check”가 더 맞을 때 쓰는 “smoke test”, 세 항목 나열에서 세 번째가 앞의 둘을 합친 것뿐인 구조, 사물을 비유적으로 “shape”라고 부르는 표현, “Curious if anyone…”으로 끝나는 소셜 게시물, 일화에서 “Oh. Oh.”를 쓰고 두 번째 Oh를 기울임 처리하는 것도 자주 보임
    일부는 개발자들이 실제로 쓰는 용어지만, 실제 사용 빈도는 따져볼 만하고 최신 모델 산문에도 이런 흔적이 남아 있음

    • 이런 LLM 관용구가 매일 소비되고 있어서, 다음 세대는 물론 지금 세대의 일상어에도 들어갈 수밖에 없어 보임. 견디기 힘들어질 것 같음
    • “load bearing”과 “blast radius”를 말한 거라면, LLM 이전에도 온라인 논의에서 매우 자주 봤고 직접도 자주 썼음
      특히 load bearing은 운영 쪽 일상 대화에서 꽤 평범한 표현이었음. 다만 “smoke test”는 실제 생활에서 쓰는 건 본 적이 없음
    • GPT에게 Claude 4.7식 표현을 조사시켜 봄: https://chatgpt.com/share/6a18e3b4-1308-832a-9263-bed823de3f...
      Wikipedia가 정리한 패턴도 잘 문서화되어 있음: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
    • 정기적으로 보이는 것 중 제일 웃긴 건 belt-and-suspenders/belt-and-braces인데, 실제 사람이 그 표현을 쓰는 건 한 번도 못 봄. 너무 거슬려서 AI에게 그만 쓰라고 시켜야 했음
    • 개인적으로 가장 짜증나는 건 “escape hatch”임
      모든 게 escape hatch가 됨. try/catch도 escape hatch, CLI 플래그도 escape hatch. 말이 안 되고, 결국 내 “금지 단어와 문구” Markdown 파일에 들어감

  • LLM 글쓰기의 획일성은 나쁨. 글쓰기를 돕는 데 LLM을 쓰는 건 좋지만, LLM이 생성한 단어는 어휘 조정 하나라도 최종 글에 넣지 않는 편이 좋음
    구조와 흐름을 비평하게 하고, 과하게 반복되는 단어와 수동태, 어리석은 주제문 선택을 찾게 하면 좋음. 이런 건 스타일을 망치지 않으면서 글을 객관적으로 개선해 줌
    반면 웹 디자인에서의 LLM 획일성은 좋음. 대부분의 사이트는 특이해지려고 애쓸 필요가 없음. 실용적인 사이트의 좋은 디자인은 가독성이고, LLM은 평균 개발자보다 그걸 잘함. 같은 버튼 배치와 같은 글자 크기 체계를 계속 쓰는 건 괜찮음. 내가 보기에 좋아 보인다면 혼자 했을 때보다 나았을 가능성이 크고, 혼자라면 더 나빠졌을 가능성이 높음

    • LLM 웹 디자인에서 불만인 건 곳곳에 쓸모없는 요소를 많이 추가한다는 것임
      GPT-5.x가 특히 심함. 예를 들어 대시보드를 만들면 수많은 숫자와 텍스트 조각을 여기저기 넣는데, 대부분 같은 말을 두 번 하는 수준임. 물론 이건 구조 자체의 본질적 문제라기보다는 곧 정리될 가능성이 크고, 문구를 먼저 다 준비한 뒤 사이트를 만들라고 하면 좋은 결과가 나올 수 있음
    • 새 개인 사이트를 만들면서 Claude를 쓰고 있는데, “다른 페이지로 가는 링크가 있는 보기 좋은 메뉴를 원한다”고 말하면 충분히 괜찮은 걸 뱉어내서 좋음
      글쓰기에는 LLM을 쓰는 게 많이 이상하게 느껴짐. 멍청한 신청서 작성 정도는 예외일 수 있음. 협업자들이 기술 문서에 LLM을 쓰는 걸 봤는데, 거의 항상 맞는 것처럼 보이는 미학만 가진 경계선상의 헛소리였음. 창작 글쓰기에서 LLM을 많이 쓰면 목적 자체가 사라지는 느낌임
    • LLM이든 1인 창업 SaaS든, 웹 디자인에서 획일성이 좋다고 보기는 어려움
    • LLM을 비유 검색기이자 고급 사전처럼 씀. 모든 단어는 내가 쓰지만, 영어를 개선하고 내가 잘 모르는 표현을 얻는 데 도움을 받음
      아직 내 글 검토용으로는 안 써봤는데, 그렇게 좋은지 궁금함
    • 완전히 동의함. 최근 연설문을 썼는데, LLM 문장을 내 것처럼 가져왔으면 얼마나 진부했을지 상상도 안 됨
      사랑하는 사람을 위해서나 그 사람에 대해 중요한 글을 쓰면서, 중간중간 제안된 달콤한 쓰레기 문구를 쓰는 사람을 떠올리면 대신 창피해짐. 완전한 헛소리이고, 청중에게 자기 말을 가져올 만큼 신경 쓰지 않는다는 거대한 신호임

  • 대조 부정도 빼놓으면 안 됨
    문장 앞부분에서 특정 생각을 부정하고, 뒷부분에서 대안을 단언하는 수사 구조임. 보통 “X가 아니라 Y다” 또는 “단지 X가 아니라 Y다” 같은 공식으로 나옴
    Wikipedia에도 흔한 LLM 패턴을 다룬 좋은 자료가 있음: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing

    • 내 글이 AI로 자주 오탐되는 입장에서, 그 문서의 첫머리 면책 조항이 고마움
      특히 이런 패턴 자체가 문제가 아니라는 관점이 좋음. 패턴만 고치면 안 되고, 문제는 이런 패턴이 대충 쓰였거나 부주의하게 작성된 콘텐츠를 가리킨다는 데 있음
    • 그 내용은 본문에 있음
    • LLM이 저 위키 페이지의 패턴을 피하도록 학습되기까지 얼마나 걸릴까

  • “No ___, no ____. Just _____” 같은 구조나, 어떤 접근을 설명하면서 “honest”를 쓰는 것도 티가 남

    • “honest”, “straight”, “genuine”, “actual”, “real”은 모두 약한 주장을 덮어씌우는 단어처럼 느껴짐
      너무 심해서 “정말 확실해?” 식으로 하위 에이전트가 사실 확인을 끼워 넣는 훅을 생각하고 있음. “X가 아니라 Y다”라는 거짓 구분도 비슷하게 쓰임. 예컨대 자칭 주권 시민이 “운전이 아니라 차로 이동하는 것”이라고 말하는 식임
    • 그 패턴은 jab, jab, thrust라고 생각함. 원하면 “tap tap whack”이라고 불러도 됨
      긍정형에도 나타남. “Smooth. Effortless. A perfect fit for your needs.” 같은 식임. 비공식적이거나 설득적인 글에서 요점을 박아 넣어야 한다는 듯 계속 나옴
      이런 티가 무엇인지 공개적으로 계속 말하는 건 좀 아쉬움. 꽤 정확히 판별할 수 있는 게 좋았는데, 영원히 지속될 수는 없었을 것 같음
    • 그건 LLM 훨씬 전부터 지겨운 마케팅 클리셰였고, 모델이 학습 데이터에서 주워 온 것 같음
    • “the uncomfortable truth”도 잊으면 안 됨

  • 흥미로운 건 LLM의 문체가 최근에 크게 나아졌다고 느껴지지 않는다는 점임
    얼마 전 이미 “괜찮은” 수준에 도달했지만, 최신 모델들이 전문 인간 작가보다 선호될 만큼의 개선을 가져오지는 못했음. 초지능을 좇는 과정에서 다른 영역도 이렇게 될지 궁금함

  • 이제는 블로그 글, Slack 메시지 같은 대부분의 글에서 맞춤법 오류와 문법 실수가 조금 있더라도 사람의 날것에 가까운 글을 보고 싶음
    LLM은 아이디어 생성, 코드 작성, 어쩌면 글 다듬기에는 훌륭하지만 전체 글을 대신 쓰는 건 제발 안 했으면 함. 그런 종류의 글이라면 AI가 아니라 당신이 무슨 말을 하는지 듣고 싶음

    • 이렇게 표현함: 직접 쓸 성의가 없다면, 누구도 그걸 읽고 싶어 할 이유가 없음

  • 회사에서 Claude를 쓸 수 있고 내 이메일을 보여줘도 괜찮다면, “내가 보낸 이메일을 모두 읽고 내 목소리로 이메일 초안을 쓰는 스킬을 만들어줘”라고 해보면 좋음
    그 스킬을 실제로 쓰지 않더라도 생성된 스킬 파일을 읽는 게 재밌음. Claude에게 “나는 누구인가?”라고 묻는 기묘한 느낌이 듦
    Slack 메시지로는 해보지 않았는데, 읽는 게 조금 무서움. 그래도 같은 개념이 적용될 것임
    회사에 Claude로 Slack 메시지를 적극적으로 쓰는 사람들이 몇 명 있는데, 어느 날까지는 여러 메시지에 걸쳐 간신히 이해되는 영어를 쓰다가 다음 날부터 완벽히 일관된 산문을 한 메시지로 보내서 쉽게 티가 남

  • 요즘 LinkedIn 피드를 내려보면 웃김
    오늘 제일 마음에 든 건 “세금이 문제가 아니다. 마음가짐이 문제다.”였음

    • LinkedIn식 쿨에이드는 LLM 등장 전부터 있었음

  • “JetBrains Mono” 폰트 얘기를 보고, 당연히 Inter 남용 비판이 나올 줄 알았음. 그래도 JetBrains Mono는 멋진 폰트임

    • 정치 정당들이 빠지는 함정처럼, 상대가 생각해낸 건 정의상 나쁘다는 식으로 가게 될까 봐 걱정됨
      JetBrains Mono가 작업에 맞으면 써야지, AI가 자주 쓴다는 이유만으로 피할 필요는 없음
    • 옆길이지만 이름이 JetBrains Mono라면 JetBrains의 지식재산인 건가
      아무 웹사이트에서 써도 법적으로 괜찮은지 궁금함
    • 이건 좀 마음이 아픔
    • 매일 쓰는 폰트라서 그 목록을 보고 살짝 움찔했음. 어차피 쓰고 있었으니 눈치 못 챘던 것 같음
답변달기