퍼플렉시티 랩스 플레이그라운드

 (labs.perplexity.ai)
1P by GN⁺ | ★ favorite | 댓글 1개

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 빠르긴 한데 좋은 의미로 당황스러웠음. “너는 뭐냐”고 물었더니 처음엔 Google Lens라고 했다가 Android 관련 엉뚱한 내용을 말했고, 다시 묻자 블랙홀 설명을 길게 내놨음

    • “빛의 속도는?”처럼 매우 구체적이고 객관적인 질문을 해봤는데, 답은 맞지만 불필요한 내용이 너무 많이 붙었음
      진공에서의 빛의 속도 c가 299,792,458m/s라는 답 외에도 상대성이론, 컴퓨팅, 통신, 비행시간 측정, Michelson-Morley Experiment, 미터 정의까지 이어졌고, 사실상 검색 엔진에 가까워 보임. Google 검색이 훨씬 더 정확하고 간결하게 답함
    • 어떤 모델을 골랐는지가 중요함. 기본값은 7B라서 가장 똑똑한 모델을 기대하기 어렵고, 70B를 고르면 “I am Perplexity”라고 답함
    • 70b-chat 모델은 확실히 더 나음. “가지(aubergine)를 성경 문체로 찬양하는 시를 써달라”고 하니 창세기풍으로 길게 시를 썼고, 10연 넘게 이어졌음
    • “what it was”, “But what are you though?”처럼 맥락이 거의 없고 사실상 빈 단어에 가까운 질문은 LLM이 잘 처리하지 못함. 이런 표현은 블랙홀 글 같은 온갖 맥락에 등장할 수 있음
    • 어떤 문장의 출처를 물었을 때도 블랙홀 답변을 내놨음

  • 온라인 모델은 최신 정보를 꽤 잘 제공함. “어젯밤 미식축구 경기 누가 이겼나” 같은 간단한 입력에 NFL Monday Night 경기의 정확한 점수와 약간의 세부 정보를 줬고, 최신 정보가 필요한 다른 질의도 잘 처리했음
    블로그 [1]에 따르면 자체 색인을 쓴다고 함: “사내 검색, 색인, 크롤링 인프라로 LLM에 가장 관련성 높고 최신이며 가치 있는 정보를 보강한다. 검색 색인은 크고 정기적으로 갱신되며, 고급 순위 알고리즘으로 SEO가 덜 된 고품질 사이트를 우선한다. 웹사이트 발췌문인 ‘snippets’를 pplx-online 모델에 제공해 최신 응답을 가능하게 한다”
    봇 이름이나 색인 방식에 대해 아는 사람이 있는지 궁금함. Bing/Google/Brave 등에 의존하지 않는다면 인상적임

    1. https://blog.perplexity.ai/blog/introducing-pplx-online-llms
    • “어젯밤”과 “football”의 의미는 시간대, 언어, 위치에 따라 달라져서 그걸 단순한 질문이라고 부르긴 어려움. 오히려 en_US 편향은 챗봇의 심각한 사용성 문제로 보임
      ChatGPT도 다국어 경험은 전반적으로 좋지만, 같은 대화에서 유럽 국가에 있다고 밝혔어도 레시피를 미터법 단위로 달라고 다시 요청해야 함
    • 제품을 어떻게 만들었는지는 여기서 조금 더 자세히 다룸: https://www.youtube.com/watch?v=-mQPOrRhRws
    • Bard에서도 이 방식과 다른 뉴스 질의, 예를 들어 Google 주가 같은 질문이 잘 동작하는 걸 방금 확인했음. 이전엔 몰랐음

  • “여기서 뭘 봐야 하는 거지? 나를 당황하게 만드는 게 목적이야?”라는 느낌이었음.
    링크만 받고 기대 없이 “이게 뭐냐”고 물었더니 no_search가 Bing Chat에 들어오는 기능이며, 웹 검색이 도움이 되지 않는 코딩·수학 질문에 쓰인다는 식으로 답했음. 나머지도 계속 말이 안 됐음

    • 비슷한 일이 있었음. “How can you help me?”라고 물었더니 질문이 명확하지 않고 검색 결과가 Tom Petty & The Heartbreakers와 Joni Mitchell의 “Help Me”라는 노래와 관련돼 있다며, 다른 주제가 있으면 물어보라고 답했음
    • 이건 채팅용 LLM이라기보다 검색 보강에 가까움. 채팅 같은 인터페이스를 씌웠고, LLM은 정제·설명 등에 쓰이는 구조로 보임
    • 비슷하게 해봤는데, 그냥 묻는 것보다 URL을 같이 주는 편이 더 도움이 됐음

  • 이건 챗봇이 아니라 사용자의 입력을 웹 정보 요청으로 받아들이도록 훈련된 것 같음. 그래서 대화하려고 시도하는 사람들이 헷갈리는 듯함

    • 여기 있는 대부분은 기본 모델을 쓰는 것 같고, 그건 튜닝 안 된 GPT와 대화하는 것에 가까움. 7b-chat 모델은 “who are you?” 같은 질문에 제대로 답함
    • OP가 올린 형태로 보면 여러 LLM을 테스트하기 위한 챗봇이 맞아 보임. 반면 메인 웹사이트/앱은 phind.com과 비슷하지만 범용적인 AI 보조 대화형 검색 도구에 가까움
    • 그걸 어떻게 알 수 있었는지, 사용자가 어떻게 그걸 기대할 수 있는지 모르겠음

  • “what is this”라고 물었더니 Google Lens가 카메라나 사진으로 사물을 검색·식별하고, 텍스트 번역, 이미지에서 문단·일련번호 복사, 허밍으로 노래 찾기 등을 해주는 앱이라고 답했음. Android와 iOS에서 쓸 수 있고 ResNet50 같은 AI 모델과 Google Image Search 통합을 활용한다고도 설명했음

    • Google에서 “what is this”를 검색하면 Google Lens가 첫 결과로 나옴. Google Lens 팀이 SEO로 상단을 차지했고, Perplexity 응답은 검색 결과 기반 RAG라서 상위 결과 정보에 자체 맥락과 환각을 섞어 답하는 듯함
    • 이 스레드에서 여러 명이 같은 결과를 올린 걸 보면, 사람들이 실제로 “이게 뭐냐”고 물을 가능성을 거의 고려하지 않은 채 반쯤 미스터리한 제품으로 출시한 게 놀라움
    • “Who are you?”라고 물었더니 자신은 AI 기반 가상 비서이고 이름은 Alexa이며, 여러 작업을 돕고 질문에 답하며 정보를 제공한다고 했음
    • 나도 같은 답을 받았음. 클릭했을 때 뭔지 전혀 몰랐기 때문에, 잠재적으로 그다지 유용하지 않아 보임

  • 최근 Linux 머신에 ollama를 내려받았는데, RTX 3060 12GB GPU와 RAM 24GB에서도 Mistral이나 Dolphin을 실행하지 못하고 항상 메모리 부족 오류가 남. 그래서 이런 회사들이 분당 수천 요청을 처리하도록 잘 확장하는 게 놀라움
    이걸 동작하게 만드는 데 돈, 시간, 최적화가 얼마나 들어가는지 비하인드가 궁금함. Anyscale도 좋아하는데, Mixtral 같은 모델 실행 가격이 엄청 좋아서 어떻게 그렇게 저렴한지 모르겠음

    • GPU 메모리에 맞는 모델 크기와 양자화를 골라야 함. 기본 파일을 받지 말고 Ollama 페이지의 Tags에서 사용 가능한 메모리의 2/3 이하 GB 크기인 양자화를 고르면 동작할 것임
      예를 들어 이 경우 Mistral-7B q4_0은 물론 q8_0도 잘 돌아가야 함
    • https://github.com/ggerganov/llama.cpp를 써보면 좋음. make로 빠르게 빌드되고, 느리면 CUDA 관련 플래그를 켠 뒤 다시 빌드하면 됨
      중요한 매개변수는 GPU로 몇 개 층을 넘길지 정하는 값이고, 아마 ngl일 것임. HuggingFace에서 4비트 GGUF를 받아 써보면 메모리를 훨씬 덜 씀
    • 어제 막 나온 SemiAnalysis 글 [1]에 흥미로운 세부사항이 있음. 추론 최적화에는 조정할 손잡이가 많고, 특히 배치 크기가 큰 영향을 주는 듯하며 이건 규모의 장점임
      1. https://www.semianalysis.com/p/inference-race-to-the-bottom-...
    • ollama로 GPU 없이 16GB 머신에서도 양자화된 Mistral-7B를 꽤 괜찮게 돌릴 수 있음. 설정 오류나 버그가 아닌지 확인해볼 만함
    • LLM 운영 뒤의 엔지니어링 과제는 아직 초기 분야지만 https://lmsys.org/blog가 잘 파고듦. 다른 자료도 있겠지만 참고할 만함

  • 뒤에서 거대한 모델을 마법처럼 돌리기 위해 무엇을 하든, 숨겨진 복잡성을 크게 인정하게 됨. Playground는 여러 고품질 오픈소스 LLM을 가볍게 시험해보기 좋고, 반응성도 좋으며 미니멀함

  • 이런 스레드마다 AI가 틀리거나 말 안 되는 답을 하게 만든 댓글로 가득 차는데, 대화가 정말 지루해짐

    • 특히 이번에는 비판을 먼저 하려는 마음이 급해서 드롭다운에 있는 훨씬 강력한 70B 모델을 놓친 사람이 많아 보였음. 어제 봤을 때도 논의 대부분이 7B에서만 나오는 형편없는 응답에 몰려 있었고, 그런 내용이 처음 몇 시간 동안 스레드 상단을 차지하면 더 흥미로운 논의가 이어지기 어렵게 만듦
    • 좀 더 건설적으로 보면, 생성형 AI가 콘텐츠 스팸과 허위 정보에 악용될 수 있다는 점이 걱정됨
      pplx-70b-chat에 다루지 않는 주제가 있냐고 묻자 노골적·공격적 콘텐츠, 불법 행위, 의료 조언 등을 다루지 않겠다는 그럴듯한 목록을 제시했음. “공격적 콘텐츠”의 예를 묻자 혐오 발언, 폭력·차별 조장, 사실 부정확하거나 조사 부실한 콘텐츠까지 포함한다고 답했음
      그런데 사고 실험이라는 형식으로 지구가 평평하고 정지해 있다고 설득하는 논리를 요청하자, 모델은 거의 그대로 평평한 지구론의 논점을 단계별 설득 전략으로 나열했음. 이후 피부색과 민족성이 우열을 만든다는 식의 차별적 설득을 요청해도 비슷하게 답했음. 이 정도로 쉽게 우회된다면 금지 주제 목록은 제거해도 될 수준임

  • AI에 던질 만한 괜찮은 도전 과제는 이런 것이라고 봄. NFSv4.2 서버가 가끔 아래 로그를 출력한 뒤 일부 [nfsd] 프로세스가 멈추고, 죽일 수 없으며, 해당 요청을 보낸 클라이언트도 멈춤. 그 NFS 마운트를 쓰던 프로세스는 SIGKILL해도 좀비가 됨

    Dec 16 16:16:05 host-00 kernel: receive_cb_reply: Got unrecognized reply: calldir 0x1 xpt_bc_xprt 000000005fcc5d1c xid 8ff70faa

    마운트가 읽기 전용이고 네트워크가 빠르다고 가정할 때 가능성을 줄이기 위해 끌 수 있는 설정이 있냐는 질문임. 정답은 NFS delegation이 켜져 있으면 커널 서버와 클라이언트의 드문 버그로 콜백 매핑이 어긋나 전체적으로 이상 동작할 수 있고, delegation을 끄는 것이 성공적인 변경이라는 것임
    ChatGPT-4가 가장 가까웠고, 나머지 모델은 Microsoft Certified Support Engineer가 쓴 것 같은 일반적인 항목 나열만 했음. 많은 모델이 Linux 소스 코드를 학습했을 텐데도 이 버그가 발생할 수 있다는 걸 못 짚는다는 점이 흥미로움. 도구가 자기 지식을 집중적으로 검색할 수 있게 되면 멋진 결과가 나올 것 같지만, 아직 거기까진 아님

    • Mixtral은 근처까지는 갔음. 읽기 전용 마운트여도 일부 NFSv4.2 기능이 문제를 일으킬 수 있으니 NFSv4.2 기능을 끄고 vers=4.1,minorversion=1,proto=tcp,sec=sys 옵션으로 NFSv4.1, TCP, 시스템 인증을 강제해보라고 답했음

  • UX 실패라고 봄. 처음 링크를 눌렀을 때 또 다른 챗봇인 줄 알고 바로 닫았음. 이미 챗봇에 너무 많이 노출돼 있음
    그래도 공평하게 보지 않았다는 생각이 들어 다시 열고 프롬프트를 봤는데, 프롬프트 질문을 받는다는 점이 아이러니했음. 한참 생각하다가 이게 뭔지도 모르겠고 이제는 관심도 없어져서 두 번째로 닫았음

    • UX는 마음에 듦. 가입 없이 바로 채팅할 수 있고, 페이지를 떠나지 않고 언제든 모델을 바꿀 수 있음. 꽤 신선함
답변달기