Hacker News 의견

• Meta가 모델의 인식 및 지식에 대한 훈련 데이터 부족을 발견하고, 이를 개선하기 위해 합성 데이터를 사용하여 재훈련한 결과, Theory of Mind(TOM) 벤치마크에서 성능이 크게 향상되었음

• ollama를 사용하여 Mistral LLM과 Llama 모델 간의 대화를 시도했으며, 두 모델이 무작위 주제로 대화를 나누는 것이 흥미로웠음. 특히 대화가 끝날 때의 상호작용이 인상적이었음

• 연구 논문에 대해 혼합된 감정을 가지고 있으며, LLM의 문화적 진화가 일시적일 수 있다는 점에서 실험의 프레임이 부적절하다고 생각함. 인간이 같은 상황에 놓였을 때 어떤 행동을 할지 알 수 없다는 점에서 이 주장을 받아들이기 어려움

• Donor Game에 대한 설명: 무작위로 짝지어진 개인이 기부자와 수혜자로 나뉘어 기부자는 이익을 제공하거나 아무것도 하지 않을 수 있음. 기부자의 평판이 중요한 역할을 하며, 평판 점수가 일정 기준 이상일 때 협력하는 전략이 안정적임

• 연구가 임의의 매개변수로 강제 순위를 매기는 것처럼 보이며, 관찰된 행동이 특정 설정의 산물일 수 있음. 그러나 LLM의 새로운 행동을 보는 것은 흥미로움

• 논문의 방법이 처음에는 매력적으로 보일 수 있지만, 실제로 확장 가능한지에 대한 의문이 있음. 복잡한 주의 변형으로 인해 훈련 시간이 늘어날 수 있으며, 실제 데이터에서의 성능에 대한 정보가 부족함. 이 방법이 실질적으로 유용한지에 대한 의문이 있음

• LLM이 사회학 분야에 변화를 가져올 수 있을지에 대한 논의가 있으며, 대규모 사회경제적 실험이 LLM 에이전트를 통해 쉽게 실행될 수 있음. LLM 에이전트의 비결정적 특성과 영어로 지시를 받을 수 있는 능력이 흥미로운 추가 요소가 될 수 있음

• 모델의 출력 세부 수준이 테스트되고 있는 것처럼 보이며, 자세한 출력이 더 성공적인 기능으로 수렴하는 경향이 있음. 그러나 이것이 모델의 내부 특성을 나타내는지에 대한 확신이 부족함

• 협력이 LLM의 더 정확한 결과로 이어진다는 연구를 기대했으나, 이 연구는 사회학적 측면에만 초점을 맞추고 있음. LLM 간의 상호작용을 통해 구체적인 문제를 해결하는 연구가 있는지 궁금함

• LLM 업데이트 롤아웃을 모델링하려는 시도가 실제 배포와 유사하지 않다는 점에서 불필요한 과장으로 보임. 그러나 논문 자체는 흥미로움