소개

안녕하세요.

이번에 공식 문서 시리즈를 번역하는 워크플로를 만들었고, Mysql 과 Spring boot 의 번역 결과를 검색 가능한 형태로 공개했습니다.

저는 면접 전후로 공식 문서를 훑어보는 편인데, 비슷한 용도로 쓰실 분들께도 도움이 되었으면 좋겠습니다.

실제 프롬프트, 서비스 링크, 그리고 이번에 5.1 을 쓰면서 참고했던 Openai 블로그 글은 아래 링크 모음에 두었습니다.


GPT-5.1 이후, llm 추론 성능에 대한 체감

GPT-3.5 시절부터 번역 자동화를 시도해 오면서 느낀 체감 성능 차이를 기록합니다.

GPT-3.5 기준에서는 5,000~10,000자 정도의 비교적 짧은 텍스트에서도 Markdown 형식 보정과 같은 작은 작업조차 퀄리티있게 수행되지 않는 경우가 많았습니다.

반면 GPT-5.1에서는 아래와 같은 작업들을 비교적 안정적으로 수행할 수 있었습니다.

  • 10만 자 이상의 HTML에서 1,000개 이상의 TOC 정보(6개 컬럼)를 순서를 유지한 채 안정적으로 추출
  • 어떤 용어를 영어로 남기고 어떤 용어를 번역할지에 대한 판단을 LLM에 맡겨도 가독성이 좋은 문서가 반환됨 (예: Spring 문서에서 bean은 영어 유지, factory는 한글 표기)

작업 중 깨지거나 보완이 필요한 경우에는 system prompt에 규칙을 추가하는 방식으로 대응했고,
system prompt가 길어지더라도 결과 품질이 크게 흔들리지 않는 점은 과거 모델에서는 기대하기 어려웠던 부분이었습니다.


링크 모음

아래에 이번 작업과 관련된 참고 자료들을 정리해두었습니다.

이 정도로 헤비한 프롬프트 요청에서도 현재 서비스 수준의 결과가 나올 수 있다는 점을 보여주는 참고 자료로는 의미가 있을 것 같아 공유합니다.

(프롬프트 자체가 잘 작성되었다고 생각하지는 않아요 ㅎ, 이런 프롬프트 팁은 anthropic, openai 블로그에 많아서 대표적인 것 하나 첨부합니다 )

검색 결과 문서 수가 항상 0인거같아요

헉! 제보 감사합니다.
저는 지금은 괜찮게 나오고 있어요. 그래도 혹시 몰라서 배포 다시 한번 더 체크했습니다.

그래도 확인을 해볼 수 있게, 검색어를 한번 어떤 것을 쓰셨는지 알려주시면 감사하겠습니다.
지금 이게 표현이 한국어 <-> 영어 이거 동의어 사전이 없어서, 진짜 매칭이 안되서 안나온 걸 수도 있어서용