Doug Lenat 사망

• AI 연구자 Doug Lenat은 명시적 표현을 다루는 상징 AI를 실제 시스템으로 만들려 한 핵심 인물로, Gary Marcus는 그를 “AI가 잃은 거인”으로 평가함
• Lenat은 생애 마지막 40년을 Cyc에 쏟아 상식을 기계가 해석 가능한 형태로 부호화하려 했고, Cycorp는 큰 상업적 성공 없이도 40년간 존속함
• Cyc의 시도는 현재 대규모 언어 모델(LLM)이 여전히 어려워하는 상식 표현과 추론 문제를 정면으로 겨냥함
• Ken Forbus와 Muktha Ananda는 Cyc가 상징 표현, 추론, 지식 그래프/웹 연구에 남긴 영향을 높이 평가함
• Lenat의 마지막 논문 중 하나인 Getting from Generative AI to Trustworthy AI는 Cyc의 교훈을 현대 LLM과 연결하려는 시도였음

---

Doug Lenat과 Cyc의 위치

• Doug Lenat은 Marvin Minsky, John McCarthy, Allen Newell 등이 탐구했던 상징 AI를 실제로 작동하게 만들려 한 연구자였음
• Gary Marcus는 신경망과 상징 AI의 통합을 자신의 평생 주제로 삼아 왔지만, 순수 상징 AI 영역에서는 Lenat이 훨씬 깊이 들어가 있었다고 봄
• Lenat은 마지막 40년 동안 Cyc 프로젝트를 시작하고 이끌었음
  • Cyc는 세상에 대한 상식을 기계가 해석할 수 있는 형태로 부호화하려는 시도였음
  • Cyc와 이를 품기 위해 만든 Cycorp는 큰 상업적 성공을 거두지는 못함
  • 그럼에도 Cycorp가 40년 뒤에도 사업을 지속한다는 점은 AI 회사 중 드문 사례임
• Marcus에게 Cyc는 단순한 성공 또는 실패로 나누기 어려운 선구적 실험임
  • Cyc는 완전히 자리 잡지는 못했지만, 인공 일반 지능으로 실제 진전이 있을수록 중요성이 더 커 보일 수 있음

상식 추론 문제와 마지막 논문

• 젊은 AI 연구자 중 상당수는 Cyc를 잘 모르지만, Cyc가 무엇을 시도했는지는 알아야 한다는 문제의식이 깔려 있음
  • Cyc를 대규모 언어 모델의 즉시 교체품으로 쓰자는 뜻은 아님
  • 기계가 상식을 표현하고 추론하게 만드는 목표는 여전히 남아 있음
• Yejin Choi의 2023년 TED 강연 Why AI is incredibly smart and shockingly stupid는 현재 AI 시스템이 겉보기 성공에도 상식이 부족하다는 흐름을 이어 감
• Marcus와 Ernie Davis의 2019년 책 Rebooting AI도 같은 주제를 다룸
• 대규모 언어 모델은 질문 표현이나 훈련 데이터의 우연성에 따라 어떤 경우에는 맞고 다른 경우에는 틀릴 수 있어 상식의 환상을 만들 수 있음
  • 구체적 오류를 패치하더라도 비슷한 유형의 다른 사례가 계속 생길 수 있음
  • Cyc는 더 깊고 견고한 답을 찾으려는 시도였음
• Northwestern University의 AI 연구자 Ken Forbus는 Cyc를 상징 표현과 추론이 상식의 상당 부분을 담을 수 있음을 처음 보인 사례로 평가함
  • 산업계에서 수십억 개 사실을 담은 지식 기반은 흔하지만, Cyc는 표현력 측면에서 여전히 가장 진보적이라고 봄
  • Forbus의 연구 그룹은 수십 년간 Cyc의 표현을 사용해 왔음
• Google Learning Platform Director Muktha Ananda는 Lenat의 비전, 끈기, 집요함을 높이 평가했고, Cyc 작업이 자신의 지식 그래프/웹 연구 여정에 큰 영감이 됐다고 밝힘
• Marcus와 Lenat은 지난 1년간 Cyc에서 얻은 교훈을 정리하는 긴 논문을 함께 쓰려 했음
  • 원고는 거의 40,000단어에 달했고, 과학과 구술사가 섞인 형태였음
  • Cyc는 범위 면에서 대단했지만 구현은 다루기 어려웠고, 학문적 관점에서 가장 큰 문제는 독점적 시스템이라는 점이었음
  • Lenat이 병을 얻고 시간이 부족해지자 더 짧고 압축된 논문을 별도로 작성함
• 2023년 7월 31일 arXiv에 Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc가 공개됨
  • Cyc가 시도한 일을 되짚음
  • 진정한 인공지능에서 기대해야 할 요소를 압축함
  • Lenat이 몸담았던 깊은 상징 AI 전통과 현대 LLM 사이의 화해를 요구함

[GN⁺]

Hacker News 의견들

• Doug는 때로 직설적이었지만, 기본적으로 친절하고 너그러운 사람이었고 자기 비전과 함께 일하는 사람들에 대한 헌신은 존경받아 마땅했음
  2016~2020년에 Cycorp에서 일했는데, 사무실이 크지 않아 Doug를 자주 볼 수 있었음
  한 번은 주간 전체 점심 자리에서 새 차를 살 예정이라며 오래됐지만 잘 관리한 기존 차가 필요한 사람이 있냐고 물었고, 한 직원이 딸이 곧 운전을 시작한다고 조심스럽게 손을 들자 그 자리에서 바로 차를 선물함
  그는 보드게임도 좋아했고 회사 사람들과 D&D 그룹을 했는데, 항상 질서 선 캐릭터만 했다고 들었음. 다르게 하는 법을 모르는 사람이었다고 함

  • 질서 선을 고를 것 같았음. 그게 가장 논리적인 선택이었을 테니까
  • 잘 모르는데, 왜 먼저 직설적이었다고 표현했는지 궁금함
  • CYC가 지능이나 상식 추론을 달성할 수 없다고 본다면 주된 이유가 무엇인지, 반대로 가능하다고 본다면 어떤 이유인지 궁금함

• 17살 고등학생 때 Doug Lenat과 면접을 봤고, Cycorp 여름 인턴으로 채용되어 첫 실제 프로그래밍 일을 하게 됐음
  그 인턴십은 인생을 바꿨고, 말 그대로 어린아이에게 과감히 기회를 준 Doug에게 늘 감사함
  Doug는 뛰어난 컴퓨터 과학자이자 인공지능의 선구자였고, Cycorp가 작은 회사라 회의에 많이 들어갔는데 기술의 모든 세부를 이해하고 있다는 게 분명했음
  Cycorp는 시대보다 30년 앞서 있었지만 실제로는 작동하지 않았고, 모르는 사람에게 설명하자면 일반 인공지능을 만들려는 최초의 대규모 상업적 시도, 사실상 최초의 OpenAI 같은 존재였음
  Doug에게서 터무니없이 큰 야망을 품는 법과 포기하지 않는 법을 많이 배웠고, 수십 년 동안 Cycorp를 붙잡고 자금을 유지하며 훌륭한 사람들을 고용해 문제를 계속 밀고 나간 사람은 거의 못 봤음

  • 정말 멋지게 들림. 나중에 Cycorp에 돌아가 정규직으로 일할 가능성도 있었는지, 아니면 인턴은 좋았지만 그 분야에서 커리어를 만들고 싶지는 않았는지 궁금함
    또 17살 인턴으로 정확히 어떤 일을 했고, 어떤 기술을 갖고 있었는지도 궁금함

• 1985~1989년쯤 Doug와 Cyc에서 함께 일했음. PARC에서도 겹쳤지만 거기서는 많이 교류하지 않았음
  처음 한 일은 기존 구현을 버리고 처음부터 다시 시작해 계층 시스템과 모든 부트스트랩 코드를 설계한 것이었음
  작은 핵심 팀, 주로 나와 Guha와 Doug가 함께한 재미있는 시기였지만 시간이 지나며 지식베이스의 자의성이 불만스러워졌음
  개인적인 이유로 Cyc 프로젝트를 떠날 때쯤에는, 가까운 관계였고 내 코드 위에서 돌아갔음에도 프로젝트의 토대에 꽤 부정적이었음
  시간이 지나 더 똑똑해지고 나서야 그 가치를 다시 인정하게 됐고, 당시에는 너무 순수수학적 관점으로만 봤던 것 같음
  이후 다른 일을 하며 Doug와 Mary와 연락이 끊겼고, 그 점이 아쉬움

• Doug Lenat의 명복을 빔. 2000~2006년에 Austin의 Cycorp에서 일했음
  너무 일찍 떠났지만, Doug는 미국의 군사 및 정보기관 컴퓨터 과학 연구 발전에 기여할 기회를 가졌음
  언젠가 LLM을 통한 인공지능의 급속한 발전이 느려지면, 관심은 Cyc Project와 Cycorp, 그 구성원들, Doug Lenat 박사가 밀어붙였던 논리적 추론과 지식 표현으로 다시 돌아갈 것임
  왜냐하면 신경망 추론이 그렇게 빠르다면, 우리는 C 프로그램을 컴파일러가 효율적으로 실행하는 연역적 논리 추론으로 컴파일하지 않고 신경망으로 컴파일했을 것이기 때문임

  • 맞음. Paradigms of AI Programming 같은 책이 LLM 때문에 구식이 됐다는 말을 들으면 동의하지 않음
    오히려 LLM 덕분에 그 어느 때보다 현재적임
    신경망 인공지능과 기호 인공지능은 결국 합쳐질 것이고, 기호 모델은 정규화를 통해 꼭 필요한 효율성과 견고성을 가져옴
  • 지금 Cycorp가 할 수 있는 최선은 축적해 온 논리 관계 데이터베이스를 오픈소스로 공개해서 거대한 LLM이 섭취할 수 있게 하는 것임
    그 많은 데이터가 먼지만 쌓이고 별 성과 없이 남아 있는 게 무슨 의미가 있나 싶음
  • “신경망 추론이 그렇게 빠르다면 C 프로그램을 컴파일할 때 컴파일러의 연역적 논리 추론 대신 그것을 썼을 것”이라는 건 허수아비 공격의 정의에 가까움
    누가 신경망 추론이 모든 계산을 실행하는 가장 빠른 방법이라고 주장하나?
    다른 기술인 신경망을 깎아내리기보다, 기호적 방법으로 현실 문제를 풀 수 있게 만드는 데 집중하는 편이 낫겠음. 예를 들어 기호적 방법으로 견고한 이메일 스팸 탐지 시스템을 어떻게 만들 수 있을까?

• Doug의 작업과 생각을 더 듣고 싶다면, 작년에 Lex Fridman이 Doug와 한 꽤 긴 인터뷰가 있음
  https://www.youtube.com/watch?v=3wMKoSRbGVs&pp=ygUabGV4IGZya...

  • 초반부를 봤는데 흥미로운 이야기는 Cyc가 시작되기 전 Marvin Minsky를 포함한 여러 “똑똑한 사람들”이 시스템에 상식을 갖추려면 인코딩해야 할 항목 수를 “약 100만 개”로 봤다는 것임
    Doug는 약 5년 뒤 그 추정이 한 자릿수 규모로 틀렸고, 실제로는 약 1,000만 개에 가깝다는 걸 배웠다고 말함
    관련 문헌이나 출판물이 있는지 궁금함. 왜 1억 개가 아니라고 아는지, 왜 유한하다고 볼 수 있는지, 왜 조합 폭발이 일어나지 않는지 의문임
    물론 38년 동안 진행하려면 계속 평가 지표가 있었을 테지만, 그 논리가 잘 이해되지 않아 참고문헌이나 비판 링크가 궁금함
    1990년대에 Cyc를 들어보긴 했지만 아직 살아 있는 줄은 몰랐고, 그렇게 오래 유지한 건 인상적임
    Wikipedia 글도 꽤 괜찮음: https://en.wikipedia.org/wiki/Cyc#Criticisms
    그래도 100만 또는 1,000만이라는 주장은 수십 년 동안 유지하기엔 강한 주장이라, 정말 강한 지표가 뒷받침됐는지 궁금함
  • YouTube에서 Doug Lenat을 검색하는 편이 낫겠음. 다른 영상 아무거나 봐도 Fridman 인터뷰보다는 나을 거라고 보장함
  • Lex Fridman의 Wikipedia 약력을 읽다가 “Learning of Identity from Behavioral Biometrics for Active Authentication”라는 표현을 보고 당황함

• 링크된 논문을 읽는 게 재미있는 이유는, 그들이 컴퓨터 내부에 있어야 한다고 본 원칙들을 커뮤니티 외부 구조로 만드는 데 늘 매력을 느꼈기 때문임
  사람들이 논증과 결론의 말뭉치를 탐색하고 협업하며, 논증 그래프의 일부에 동의하지 않거나 추가해 시간이 지나며 풍부하게 만들 수 있다면 매우 유용할 것 같음
  그러면 다른 사람들이 같은 추론을 읽고 채택할 수도 있음
  가끔 작업하는 http://concludia.org/에서 이런 아이디어를 실험 중인데, 지금은 개념을 만지고 Akka(Pekko) 프로그래밍을 더 익히는 핑계에 가까움
  언젠가 사용자 계정과 수정 가능한 논증을 추가해 진짜 웹사이트로 만들 생각임

  • 결국 여러 사람이 쓰는 Zettelkasten에 가까운 건가? Zettelkasten, 줄여서 zk는 각 노트가 하나의 아이디어, 개념, 논증이고 서로 연결되는 방식임
    논증은 증거에 연결되고, 개념은 관련 개념에 연결되는 식임
    https://en.m.wikipedia.org/wiki/Zettelkasten
  • 이 프로젝트의 목표는 아닌 것 같지만, 진실과 오류를 제공하고 이를 논리적 논증과 결합한 뒤 언어 모델이 가능한 결론 집합을 생성하는 비슷한 프로젝트가 있는지 궁금함
    브레인스토밍에 좋을 것 같음
  • 같은 아이디어, 아니 같은 결론에 도달했지만 실행하지는 못했음. 누군가 이미 하고 있다니 멋지고, 이름도 좋음
    정치적 양극화가 큰 나라에서 공론을 수렴시킬 방법을 상상하다 떠올렸음
    일종의 구조화된 공개 토론 포럼으로, 사람들이 계층 구조의 어디에서 의견이 갈리는지, 그리고 더 중요하게는 실제로 얼마나 많이 동의하는지 더 잘 볼 수 있을 것 같음

• Cyc는 늘 Russell과 Whitehead의 Principia에 해당하는 인공지능 버전처럼 생각해 왔음
  기술적으로 야심 차고 그 자체로 흥미롭지만, 결국 독립적인 방식으로는 아무리 오래 작업하고 규칙을 계속 더해도 제대로 작동하지 않을 잘못된 접근이라는 느낌임
  그래도 신경망 모델을 테스트하고 가르치는 데는 유용할 수 있다고 봄
  Lenat이 Cyc를 시작하던 시절에는 오늘날 사람들이 “상식 추론”이라고 부를 수준을 보이는 신경망 모델을 돌릴 계산 자원이 없었으니, 그 길로 출발한 건 충분히 이해됨

  • https://arxiv.org/pdf/2308.04445.pdf
    “Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc”
    Lenat의 마지막 논문으로, 7월 31일 Gary Marcus와 함께 냈음
    https://news.ycombinator.com/item?id=37354601
    이 논문을 보면 두 가지 생각이 흔들릴 수 있음. 오늘날 신경망 모델, 즉 LLM이 상식 추론을 보인다는 생각과, Cyc가 대표하는 접근과 LLM이 대표하는 접근이 서로 배타적이라는 생각임

• 글의 끝부분을 보니 내가 만들고 생각한 것들을 더 많이 공개해야겠다는 생각이 듦
  내가 Doug Lenat도 아니고 내 콘텐츠는 인터넷에 잡음만 더할 가능성이 크지만, 그래도 자기 아이디어를 자신과 함께 죽게 두거나 이해관계자 이사회에 통제되게 해서는 안 됨
  오픈소스 광신자는 아니지만, 오픈소스는 다른 사람들이 내가 시작한 일을 이어가게 하는 좋은 방법임
  지난 1년 동안 Gary Marcus와 Doug는 끝내 완성하지 못한 길고 복잡한 논문을 쓰려 했고, Cyc는 범위 면에서 엄청났지만 구현은 다루기 어려웠음
  학술 관점에서 Cyc의 가장 큰 문제는 독점 소프트웨어였다는 점임
  더 많은 사람이 이해하도록, Doug가 Cyc에서 배운 교훈을 다음 세대 연구자들에게 전하려 했음. 무엇이 잘됐고 왜 잘됐는지, 언제 왜 실패했는지, 구현이 어려웠던 것은 무엇인지, 무엇을 다르게 했으면 좋았을지 같은 것들임
  그의 마지막 이메일 중 하나는 논문을 최대한 빨리 내자는 간청이었고, 우여곡절 끝에 7월 31일 arXiv에 Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc (https://arxiv.org/ftp/arxiv/papers/2308/2308.04445.pdf)가 올라왔음
  짧은 글이지만 Cyc가 하려 했던 일의 리뷰이자, 진정한 인공지능에서 기대해야 할 것의 요약이며, 그가 몸담았던 깊은 기호주의 전통과 현대 대규모 언어 모델 사이의 화해를 촉구하는 글임

  • “내 콘텐츠는 인터넷에 잡음만 더할 가능성이 크다”는 문장은 필요 이상으로 되뇌지 않는 게 좋겠음. 동기부여 문구로는 별로임
    중요하다고 생각하는 것을 공유하면 됨
    작은, 가능성이 낮아 보이는 지식의 개선도 의미가 있을 수 있음. 그런 것들이 충분히 많아지면 통계적으로 바늘을 움직일 수 있음
    물론 관련 내용을 찾을 수 있어야 하고, 그것 자체도 큰 문제임

• 직접 만난 적은 없지만 Doug의 작업은 컴퓨팅에서 가장 큰 영감 중 하나였음
  2018년에 쓴 블로그 글을 링크하는 게 적절해 보임. Lenat의 작업이 Cyc로 이어진 궤적을 간단히 정리하고 논문 링크를 모아 둔 글임
  http://blog.funcall.org//lisp/2018/11/03/am-eurisko-lenat-do...

• Cyc, 발음은 “Syke”는 오래전부터 어렴풋이 흥미롭게 봐 온 프로젝트지만 제대로 들여다볼 시간과 여력이 없었음
  포괄적 온톨로지와 지식베이스를 바탕으로 한 인공지능 프로젝트임
  Wikipedia 개요: <https://en.wikipedia.org/wiki/Cyc>
  프로젝트/회사 홈페이지: <https://cyc.com/>

  • Cyc와 함께 일해 봤음. 하려던 일을 향한 인상적인 시도였지만 잘되지는 않았음
    “깔끔한” 방식으로 인공지능을 해보려던 마지막 거대한 시도였고, 그 실패가 현재 크게 성공한 “지저분한” 인공지능 접근을 낳는 데 도움이 됐음
    이 실패가 Doug를 깎아내리는 건 아님. 누군가는 시도해야 했고, 그게 가장 똑똑한 사람 중 하나였다는 점이 다행임
    작동하지 않을 게 분명해진 뒤에도 오래 붙잡았다고 생각하지만, 돌파구는 실제로 생기기도 함
    지금의 기계학습 붐 자체도 한때 버려졌던 기법의 부활이고, 그래도 붙잡고 있던 사람들이 작동하게 만드는 요령을 발견한 것임
  • 내가 보기엔 제품이라기보다 열망에 가까웠음
    몇 년 전 인공지능에 진출하려던 컨설팅 회사와 일했는데, 그 회사는 주로 금융 고객에게 팔 플랫폼으로 Cyc를 골랐음
    하지만 실제 프로젝트가 하나라도 시작된 것 같지 않고, 무엇을 팔 수 있는지 명확한 그림도 없었음
    Lenat을 사기꾼으로 생각하고 싶지는 않음. 진심 있고 뛰어난 사람처럼 보였기 때문임
    다만 Cyc는 유용한 일을 거의 해내지 못했는데도 엄청나게 과장 판매됐다고 봄. 웹사이트는 기술적 표현으로 가득하지만 40년 사업 뒤에도 사례 연구가 하나도 없음
  • cyc.com에 가보니 안타깝게도 비즈니스식 허풍만 보이고, “Documention” 페이지는 로그인 없이는 아무것도 보여주지 않음