Hacker News 의견

• LLM의 필요성에 대한 질문:

  • LLM의 목적은 주어진 타입 시그니처에 맞는 파이썬 함수를 생성하는 것으로 보임.
  • LLM 없이도 주어진 타입 시그니처에 맞는 무작위, 정확한 파이썬 함수를 생성할 수 있어야 함.
  • 제한된 언어가 더 효율적일 수 있음을 제안하며, PushGP 같은 언어를 예로 듦.
  • LLM이 가치를 더하는지, 다른 유전 프로그래밍 기법과 비교하여 경쟁력이 있는지, 전통적인 접근법과 비교해 계산 비용에 차이가 있는지에 대한 질문을 함.

• 조합론에서의 발견에 대한 중요한 맥락:

  • 특정 조합론 숫자가 이전에 알려진 범위보다 더 좁은 범위 내에 있음이 밝혀짐.
  • 이 발견은 논리 중심의 수학적 증명이 아닌, 특별한 속성을 가진 숫자 시퀀스를 찾는 방법으로 이루어짐.
  • 유전 알고리즘과 LLM을 사용하는 방법으로 흥미롭고 유용할 수 있음.

• "자가 대결"에 대한 관련 코멘트:

  • FunSearch는 LLM을 이용한 진화 방법을 사용하여 가장 높은 점수를 받는 아이디어를 발전시킴.
  • 사용자는 코드 형태로 문제를 기술하고, 프로그램을 평가하고 초기화하는 데 사용될 프로그램 풀을 생성함.
  • 각 반복에서 FunSearch는 현재 풀에서 몇몇 프로그램을 선택하고, LLM이 이를 바탕으로 새로운 프로그램을 생성하여 자동으로 평가함. 최고의 프로그램들이 기존 풀에 다시 추가되어 자기 개선 루프를 생성함.

• 웹 검색에 대한 개인적 사용 경험:

  • pplx.ai와 phind.com을 사용하여 질문을 하고, 웹 링크를 찾아냄.
  • 질문을 다듬거나 후속 질문을 하여 다른 또는 더 깊이 있는 참조를 찾아냄.
  • Tech Twitter의 콘텐츠도 유용하며, Grok을 연구에 사용하는 것을 기대함.

• DeepMind의 발견에 대한 트위터 게시물:

  • 만약 신경망이 진정으로 새로운 지식을 생성할 수 있다면, 이는 불 발견 이후 가장 중요한 발견일 것임.
  • 이러한 발견이 사실이라면 모두가 이에 대해 이야기할 것이라는 의문 제기.
  • Palm 2에서 이루어진 것에 대한 인상과, 향후 모델들이 이 방법을 활용할 때의 가능성에 대한 기대감 표현.

• 트위터 게시물 요약:

  • AI 기능이 지속적으로 증가하고 있으며, AI 자동 완성, 리팩토링, 코드 리뷰 차이 생성 등을 통해 개인적인 생산성이 20-30% 향상됨.
  • AI 모델을 사용하여 비즈니스 흐름의 일부를 연결하면 시스템을 "개선"하는 것이 모델 교체만큼 간단함.
  • 초기 통합 이후 몇 년 동안 모든 것이 마법처럼 개선될 것으로 기대함.

• 프로그램 생성에 대한 요약:

  • 프로그램 템플릿/스켈레톤과 적합성 함수를 주어진 상태에서 LLM을 사용하여 프로그램 집단을 생성함.
  • 새로운 프로그램을 생성하는 프롬프트를 사용하고, 입력에 대해 프로그램을 실행하여 적합성 함수로 점수를 매김.
  • 진화에 대한 섬 모델을 사용하며, LLM 호출 횟수가 약 1e6으로 낮음.
  • 프로그램 평가/점수 매기기에 대한 깊이 대 너비의 트레이드오프에 대한 고찰.

• 캡 세트 문제에 대한 접근:

  • 캡 세트 문제는 고차원 그리드에서 세 점이 일직선에 있지 않은 가장 큰 점 집합을 찾는 문제임.
  • FunSearch는 이 문제에 대해 최대 캡 세트를 발견하는 프로그램 형태의 솔루션을 생성함.
  • 이는 지난 20년간 캡 세트 크기 증가 중 가장 큰 증가를 나타냄.

• LLM과 상징적 추론의 통합 가능성에 대한 궁금증 표현.

• 새로운 지식 생성 여부와 관계없이, AI 모델 크기나 기타 규제 조치에 기반한 AI 접근 제한을 고려할 때의 사례 연구에 대한 흥미.

• 보편 근사 정리와 관련하여, ReLU를 사용하는 인공 신경망으로 함수를 정확하게 근사할 수 있음을 언급.

  • 이 접근법은 유사하지만, 최종적으로 코드를 제공함.