HN 소개: 간단한 ChatGPT 프롬프트 생성기

• 빈칸을 채워 ChatGPT 프롬프트를 조립하는 단순한 웹 페이지임
• 템플릿은 역할, 필요한 결과물, 수행 방식, 조건, 요청 사항, 최종 출력 형식을 차례로 입력하게 함
• 예시 영역도 같은 구조를 반복해 완성된 프롬프트의 형태를 보여주려는 구성임
• 현재는 실제 예시가 비어 있고, “builder를 사용해 프롬프트를 만들라”는 안내만 표시됨
• 확인 가능한 기능은 복잡한 설정이 아니라 프롬프트 빌더용 문장 틀에 가까움

---

빈칸 기반 프롬프트 구성

• 페이지는 LLM Prompting이라는 제목 아래, 사용자가 문장 조각을 이어 붙여 프롬프트를 만드는 형식임
• 입력 흐름은 다음 문장 조각으로 구성됨
  • Act like a ,
  • I need a ,
  • you will ,
  • in the process, you should ,
  • please ,
  • input the final result in a ,
  • here is an example:

현재 표시 상태

• 같은 프롬프트 구조가 예시 영역에도 반복됨
• 실제 예시 내용은 아직 채워져 있지 않음
• 마지막에는 [Empty prompt, use the builder to create a prompt]라는 안내가 표시됨
• 제공된 내용만 보면 핵심 기능은 빈칸 기반 프롬프트 생성 템플릿임

[GN⁺]

Hacker News 의견들

• 요즘도 커스텀 프롬프트를 자주 쓰는지 궁금함
  예전에는 결과가 훨씬 좋아져서 프롬프트 엔지니어링과 커스텀 프롬프트 작성에 깊이 빠져 있었지만, 업데이트마다 ChatGPT의 주의를 효과적으로 유도하는 방식이 달라져서 점점 번거로워짐
  지금은 가끔 커스텀 ChatGPT를 쓰지만 대부분 기본 ChatGPT를 쓰고, 품질 차이도 줄어든 느낌임
  긴 프롬프트는 응답 시간이 너무 늘어서, 느리지만 더 나은 답보다 빠른 충분히 좋은 답을 선호하게 됨. 한 번에 완벽한 답을 얻으려 하기보다 부족하면 후속 질문을 하는 편이 더 쉬움

  • 이제 “프롬프트 엔지니어링”보다 프롬프트 감 잡기로 봐야 한다고 생각함. 실제 프롬프트 엔지니어링, 예를 들어 평가를 붙인 A/B 테스트 같은 것은 놀라울 정도로 부족하고, 애초에 적절한 사고방식이 아닌 경우도 많음
    ChatGPT에 대한 직관을 기르고, ChatGPT가 더 잘 작동하려면 무엇이 필요한지 마음 이론처럼 생각해보는 게 필요함
    대부분은 프롬프트를 편집하는 법만 알아도 ChatGPT를 잘 쓸 수 있음. 이건 사실상 숨은 기능에 가깝고, 앱에서는 아직도 쓸 수 없음
    AI와 상호작용하는 법을 배우는 데는 맨정신이 최적은 아닐 수도 있으니 독한 칵테일이나 대마초도 추천하고 싶지만, 이 마지막 주장은 통제 실험이 필요함
  • 같은 경험임. 실제 사용자 채팅으로 모델을 계속 미세조정하고 있을 테고, 그래서 이동 중에 대충 쓰는 프롬프트도 점점 더 잘 이해하는 것 같음
  • 입력이 길어질수록 응답이 느려진다는 점이 흥미로움. 나는 속도 저하를 전혀 못 느꼈는데, 혹시 ChatGPT 무료 요금제에서만 그런 건지 궁금함
  • ChatGPT4가 Bing에 접근하는 기능을 끌 수 없게 만든 뒤 계정을 해지함
  • “프롬프트 엔지니어링”에 깊이 관여했다는 건 아니라고 봄. 프롬프트 엔지니어링은 예전에도, 지금도, 앞으로도 하나의 실체 있는 분야가 아니라고 생각함

• 이 분야에 막 들어오는 사람에게 아주 유용해지려면 몇 가지가 필요함. 이미 일부는 구현돼 있어서 좋음
  사전 지시문과 후처리 프롬프트 모두에 대해 여러 템플릿을 제공하면 좋겠음. 예를 들어 출력이 JSON, 목록, 제한된 CSV 같은 특정 형식을 최대한 따르게 하는 검증된 프롬프트나, 메인 프롬프트에서 기본적인 탈옥을 최대한 막는 입력 템플릿 같은 것임
  매일 ChatGPT를 다루는 사람들이 이미 알아낸 최적의 워밍업 방식이나 예기치 않은 출력 폭주를 막는 방법을 처음부터 익히려면 시간이 오래 걸리므로, 신뢰할 만한 템플릿이 있으면 입문자에게 훌륭할 것임

  • 유효한 JSON이 필요한 API 응답은 JSON 모드로 요청할 수 있음: https://platform.openai.com/docs/api-reference/chat/create#c...
  • 응답을 유효한 JSON으로 받고 싶을 때는 이런 식의 강한 지시가 꽤 잘 먹혔음
    “결과는 모든 내용을 포함하고 유효한 JSON이어야 한다. 어떤 경우에도 이 형식에서 벗어나지 말라. 모든 값이 완전해야 하며 하나도 빠뜨리지 말라. JSON 결과 외에는 어떤 텍스트도 추가하지 말라.”
    단순히 유효한 JSON을 달라고 하면 항상 기대대로 되지는 않았고, 예를 들어 GPT-4 API가 서식을 추가하기도 해서 점점 더 세세하게 지시하게 됨

• 지금 ChatGPT 관련 작업에 깊이 들어가 있고 주 1~2개 앱을 만들고 있어서 조금 편향돼 있을 수 있음
  예상 대상 사용자가 프롬프트 기반 대규모 언어 모델에 익숙하지 않은 사람이라면, 그 사람에게는 문제도 해결 공간도 충분히 명확하게 정의돼 있지 않음
  예를 들어 미리 정의된 선택지가 부족하고 “직접 정의하라”가 너무 많음. 제공되는 선택자의 의미도 불투명해서, 예컨대 “you will Detect”가 사용자에게 어떻게 도움이 되는지 알기 어려움
  결과적으로 선택이 출력에 어떤 영향을 주는지 불명확해지고, 도구가 닭과 달걀 문제가 됨. 시스템 이해를 돕는다고 하지만, 효과적으로 쓰려면 시스템을 이해해야 함
  이 정도라면 차라리 ChatGPT에게 효과적인 프롬프트를 만들어 달라고 하는 편이 더 쉬울 수도 있음

  • 대상 사용자가 프롬프트 기반 대규모 언어 모델을 조금은 알고 있고, 약간의 안내가 필요한 사람이라고 가정했음. 그렇다면 이건 실력을 올리기 위한 훌륭하고 단순한 프레임워크로 보임
  • 몇 달보다 짧은 프로젝트를 해본 적이 없어서, 반 주 만에 만들 수 있는 앱이 어떤 종류인지 궁금함. 공유할 링크가 있는지 궁금함

• 우리가 이런 봇과 대화할 때, 대체 누구와 대화하는 걸까?
  https://medium.com/@colin.fraser/who-are-we-talking-to-when-...
  이 기술을 의인화된 채팅 인터페이스, 즉 사람 의상처럼 보이게 제시하는 건 의도적 선택임. 우리 안에 갇힌 범용 인공지능이 있다면 채팅 인터페이스로 상호작용하는 게 자연스러워 보일 수 있음
  하지만 그 반대로, 채팅 인터페이스로 상호작용하는 기술이 곧 범용 인공지능일 거라고 생각하기 쉬움. Playground에서 대규모 언어 모델을 직접 다뤄보면, 채팅은 대화 상대가 있다는 환상을 강화하는 연막과 거울의 한 겹일 뿐임

  • GPT는 무엇보다 즉흥 배우임. 주어진 텍스트를 최대한 자연스럽게 이어가도록 훈련됐고, 그래서 다음에 무엇이 와야 할지 모르면 그럴듯한 것을 지어냄
    그다음 이 보편적 즉흥 배우는 특정 역할, 즉 질문에 답하는 사람을 연기하도록 훈련됨. 다만 아무 질문에나 답하게 두면 해로운 조언도 나올 수 있으니, 무해한 조언을 주는 질문 응답자로 훈련되는 것임
    모델에서 일을 시키려면 어떤 역할을 해야 하는지 알아야 함. “질문에 응답하려는 사람”이라는 역할은 유연하고, 응답을 더 맞춤화할 수 있게 해줌
    즉 대화형 인터페이스는 절반은 자기 설명적인 UI라서이고, 나머지 절반은 모델이 유용한 역할을 하도록 유도하기 위해서임

• 이건 ChatGPT와 특별히 연결돼 보이지 않음. 그냥 텍스트 블록을 클릭해서 조합하는 폼이고, 어떤 대규모 언어 모델에도 쓸 수 있을 것 같음
  특정 독점 제공자의 대규모 언어 모델 하나에 집착하는 건 이 분야의 발전에 도움이 되지 않는다고 생각함

  • 맞음. 분명 ChatGPT 전용은 아니고 문장의 일부를 채우는 폼에 가까움. 다만 ChatGPT가 가장 알아보기 쉬운 이름 중 하나이고, 여러 형식의 출력을 더 잘 내는 것 같음
    이 프롬프트 빌더는 어떤 대규모 언어 모델에도 사용할 수 있음

• 각 프롬프트 기능이 응답을 어떻게 개선하는지에 대한 실제 분석이 있으면 좋겠음

  • 홍보를 조금 하자면, 그런 도구가 있을 수도 있음 :) https://github.com/agenta-ai/agenta
    프롬프트와 더 복잡한 대규모 언어 모델 작업 흐름을 평가하는 플랫폼을 만들고 있음
    사용자들을 보면 프롬프트 결과는 매우 확률적임. 일반화하기 어렵고, 예를 들어 판매 보조 도구를 만들던 사용자는 프롬프트 안의 문장 순서만 바꿨는데 정확도가 크게 오른 것을 발견함
  • 지난달 블로그 글의 각주에서 시스템 프롬프트에 “좋은 답변을 하면 500달러 팁을 주겠다”고 쓰면 모델 성능이 좋아진다고 썼는데, Hacker News에서는 매우 화를 내며 사이비 과학이라고 불렀음: https://news.ycombinator.com/item?id=38782678
    이 효과를 좀 더 학술적으로 보여주는 새 글을 준비 중임
  • 안타깝게도 두 가지 이유로 이건 극도로 어려움
    첫째, 입력 공간이 무한에 가까움. 임의의 자연어 입력, 선택적인 데이터 소스, 임의의 사용 사례가 모두 가능하므로, 실제 사용 사례에 적용해보기 전에는 응답이 “개선”될 수 있는지 미리 알기 매우 어려움
    둘째, 출력 공간도 측정하기 어렵다. 유용함은 사람마다 다르게 정의될 수 있고, 특히 “더 나은 검색 엔진”을 넘어 GPT로 창의적 결과물을 만들기 시작하면 더 복잡해짐

• “프롬프트 엔지니어링”이라는 말의 의미를 이해한 적이 없음. 결국 “해결하려는 문제나 수행하려는 작업을 명확하고 정확하게 설명할 수 있는가”를 넘어선 적이 있었나 싶음. 기본적인 소통 능력처럼 보임
  “너는 B이고 C를 하며 D를 해야 한다” 같은 특정 형식의 프롬프트가 다른 명확하고 간결한 지시보다 더 낫다는 엄밀한 데이터를 본 적이 없음
  예전에는 좋은 소통 능력이라고 부르던 것에 새 이름을 붙였다는 게 놀랍지만, 엔지니어는 글을 못 쓴다는 오래된 고정관념이 사실에 더 가까울 수도 있음

• “~처럼 행동하라” 패턴이 아직도 필요한지 궁금함
  GPT-4에서는 더 이상 쓰지 않게 됐음. 기본 “페르소나”가 대부분의 프롬프트에 충분히 잘 답하고, “...의 전문가처럼 행동하라”고 해도 눈에 띄게 더 나은 결과가 나오지는 않음
  정말 원하는 도구는 작은 변경을 넣은 여러 프롬프트를 가볍지만 효과적으로 시험하고 비교해서, 어느 쪽이 더 나은지 감을 잡게 해주는 것임. 이런 좋은 도구를 본 사람이 있는지 궁금함

  • 여러 프롬프트를 질문 세트에 대해 테스트하려는 건지 궁금함. 딱 그 목적의 도구는 못 찾았고, 프롬프트를 비교할 때는 짧은 스크립트로 질문과 프롬프트를 반복 실행했음
    테스트할 프롬프트만 추가하면 되는 도구를 만들면 재미있겠지만, 먼저 떠오르는 과제는 사용할 질문 세트를 만드는 것임
    여기서 말하는 프롬프트 테스트가 질문 세트에 대한 시스템 프롬프트 테스트인지, 아니면 같은 질문을 여러 방식으로 묻는 테스트인지도 궁금함
  • 그 패턴은 이제 별로 유용하지 않다고 생각함
    그리고 그런 도구를 만들어서 준비되면 Twitter로 DM하겠음

• 일반적으로 지시 목록이 길수록 ChatGPT가 각 지시를 따를 가능성이 낮아지는 것 같음. 주의가 나뉘는 느낌이라, “A를 해라”라고만 하면 A를 하지만 “A도 하고 B도 해라”라고 하면 둘 다 하되 각각은 부분적으로만 함
  가장 좋은 경험은 짧거나 중간 길이의 프롬프트를 주고, 그다음 원샷 또는 퓨샷 예시를 쓰는 방식이었음. 특히 여러 일을 동시에 시키고 싶을 때 퓨샷이 좋음