저도 그분 프로젝트를 읽어보곤 조금 놀랐습니다. 군대에서 CPU를, ASIC 프로젝트에 탑승해서 제작한 사례가 그것도 같은 시기에 있었다는 것에 말이죠 ㅎㅎ..
소중한 댓글 잘 읽어보았습니다. 저도 말씀하신 부분에서 답답함을 많이 느껴 이 프로젝트를 시작하게 되었던게 가장 컸던 것 같아요. 그리고 '왜' 라는 질문에서 더 나아가 '다른 더 좋은 방법은 없을까?' 라는 것이 자연스레 뒤따라오더라구요.
이번 RV64를 마치고나면 설계 철학을 어느정도 조정하여 새로운 마이크로아키텍처를 구상해보려고 합니다.
응원 정말 감사드립니다. 앞으로도 잘 해보겠습니다.!
궁금하신 점 있으시면 언제든지 말씀해주세요!!
날카로운 지적에 깊이 감사드립니다. 말씀하신 대로 공학/정보이론적 관점에서 환각이 '유한한 자원에 의한 압축과 근사'의 문제라는 점에 전적으로 동의합니다.
다만, 저는 여기에 '데이터의 본질(기호)'이라는 층위를 더해 해석해 보았습니다. 기계적 한계(압축 손실)도 분명 존재하지만, 인간의 기호 자체가 태생적으로 대상을 완벽하게 지시하지 못하는 불완전성(빈틈)을 가지고 있기에, 이를 확률적으로 메우려는 시도가 필연적으로 '환각'으로 이어진다고 보았습니다. 즉, 기계적 필연성 위에 기호학적 필연성이 덧씌워진 상태로 접근한 것입니다.
또한 말씀하신 대로 환각은 언어 모델에만 국한되지 않습니다. 기호학 역시 언어뿐만 아니라 비언어적 상징(이미지 등)도 포괄하기에, 다른 모델의 환각 현상도 넓은 의미의 '기호적 불일치'로 설명될 여지가 있다고 봅니다. 다만 이 글에서는 H-뉴런 논문과 LLM을 주로 다루다 보니 언어에 집중하여 설명했습니다.
H-뉴런의 '순응'을 '유창함'으로 확장한 것은, LLM이 문맥(Context)에 기계적으로 순응하여 이야기를 매끄럽게 이어가려는 속성이, 결국 외부 관찰자(인간)에게는 질문에 막힘없이 대답하는 '유창함'으로 관측된다고 보았기 때문입니다.
이어지는 2편에서는 텍스트가 축적되는 역사적 맥락을 다룰 예정입니다. 순수 기술적 분석과는 결이 다르지만, '데이터의 이면'을 바라보는 또 하나의 시각으로 흥미롭게 봐주시면 감사하겠습니다.
특히 3편에서는 선생님께서 언급하신 '모른다(정답 없음)'의 문제와, 근원적인 해결책에 대한 제 고민도 함께 풀어낼 예정입니다.
과거에 '복무중에 진행중'이라 쓰인 프로젝트를 본 기억이 나는데, 그 분이신지 모르겠네요. 그 프로젝트의 연장인지 몰라도 정말 감탄이 나옵니다. 당연해 보이는 전제에 대해서 조차 "왜?"라는 질문을 던지는 모습은 이학의 근간이고, 정말로 멋지고 응원합니다.
특히나 오픈소스라는 점이 멋지네요. 과학은 누구보다도 모두의 것이여야 하니깐요. 완전히 오픈소스의 하드웨어가 있다면 어떨까 생각해 초기부터 RISC-V에 관심이 많았는데, 점점 회로쪽과 멀어지기도 했고, 관련된 정보도 글쓴이분 말씀처럼 찾기가 어려워 고이 닫아두었습니다. 저도 다시 공부해 보고픈 마음이 들고, 또 보면서 도움이 될 것 같습니다. 본인의 시행착오와 얻은 지식을 모두와 공유하고, 기여해주셔서 감사합니다. 앞으로의 하시는 바 또한 응원하겠습니다.
언어라는 체계를 배우는 것이 환각 현상의 근본 원인이라고 지목하는 부분은 논리적 비약이 있는 것 같습니다.
환각 현상의 필연성을 주장하는 논의에서는 "임의의 입력을 받아 유한한 데이터 및 연산량만으로 정답에 근사한 내용을 출력하려 시도하면 어떤 출력에서는 항상 오답(=환각)이 나올 수밖에 없다."라고 논하고 있는 것으로 압니다. 여기에는 언어라는 체계가 반드시 필수적인 전제는 아니며, 따라서 환각이라는 현상은 언어 모델에만 국한되는 현상이 아닌 것으로 이해됩니다. 그러므로 환각 자체는 이런 시스템에서 필연적이지만, "모르겠다"는 답을 허용하는 설계 등으로 환각을 일정 수준 이하로 억제하는 것은 가능하리라는 주장이 나오고 있는 것으로 알고 있습니다.
그렇다면 언어를 학습하는 언어 모델의 환각이 더 본질적으로 필연이라고 결론내리기 위해서는, 언어라는 조건이 추가됨으로서 필연성이 강화되는 메커니즘에 대한 근거가 추가로 필요하지 않을까요?
또, 인용하신 논문에서 H-뉴런은 '과도한 순응 성향'을 불러일으키는 회로라고 지적되고 있습니다. 그런데 글 뒷부분에서는 이를 "'유창함'을 위해 생성된 기관"이라고 의미를 확장하고 있습니다. 이 글에서 제시된 내용만으로는 어떠한 근거로 이런 결론이 나왔는지 이해가 어렵습니다.
제가 이해하기로는 H-뉴런은 환각 현상을 발생시키는 여러 메커니즘 중 하나일 뿐인데, 이것이 환각의 본질과 맞닿아 있다는 주장에는 근거가 더 필요해 보입니다.
저도 그분 프로젝트를 읽어보곤 조금 놀랐습니다. 군대에서 CPU를, ASIC 프로젝트에 탑승해서 제작한 사례가 그것도 같은 시기에 있었다는 것에 말이죠 ㅎㅎ..
소중한 댓글 잘 읽어보았습니다. 저도 말씀하신 부분에서 답답함을 많이 느껴 이 프로젝트를 시작하게 되었던게 가장 컸던 것 같아요. 그리고 '왜' 라는 질문에서 더 나아가 '다른 더 좋은 방법은 없을까?' 라는 것이 자연스레 뒤따라오더라구요.
이번 RV64를 마치고나면 설계 철학을 어느정도 조정하여 새로운 마이크로아키텍처를 구상해보려고 합니다.
응원 정말 감사드립니다. 앞으로도 잘 해보겠습니다.!
궁금하신 점 있으시면 언제든지 말씀해주세요!!
날카로운 지적에 깊이 감사드립니다. 말씀하신 대로 공학/정보이론적 관점에서 환각이 '유한한 자원에 의한 압축과 근사'의 문제라는 점에 전적으로 동의합니다.
다만, 저는 여기에 '데이터의 본질(기호)'이라는 층위를 더해 해석해 보았습니다. 기계적 한계(압축 손실)도 분명 존재하지만, 인간의 기호 자체가 태생적으로 대상을 완벽하게 지시하지 못하는 불완전성(빈틈)을 가지고 있기에, 이를 확률적으로 메우려는 시도가 필연적으로 '환각'으로 이어진다고 보았습니다. 즉, 기계적 필연성 위에 기호학적 필연성이 덧씌워진 상태로 접근한 것입니다.
또한 말씀하신 대로 환각은 언어 모델에만 국한되지 않습니다. 기호학 역시 언어뿐만 아니라 비언어적 상징(이미지 등)도 포괄하기에, 다른 모델의 환각 현상도 넓은 의미의 '기호적 불일치'로 설명될 여지가 있다고 봅니다. 다만 이 글에서는 H-뉴런 논문과 LLM을 주로 다루다 보니 언어에 집중하여 설명했습니다.
H-뉴런의 '순응'을 '유창함'으로 확장한 것은, LLM이 문맥(Context)에 기계적으로 순응하여 이야기를 매끄럽게 이어가려는 속성이, 결국 외부 관찰자(인간)에게는 질문에 막힘없이 대답하는 '유창함'으로 관측된다고 보았기 때문입니다.
이어지는 2편에서는 텍스트가 축적되는 역사적 맥락을 다룰 예정입니다. 순수 기술적 분석과는 결이 다르지만, '데이터의 이면'을 바라보는 또 하나의 시각으로 흥미롭게 봐주시면 감사하겠습니다.
특히 3편에서는 선생님께서 언급하신 '모른다(정답 없음)'의 문제와, 근원적인 해결책에 대한 제 고민도 함께 풀어낼 예정입니다.
남겨주신 고견 덕분에 글의 부족한 부분이 채워지는 것 같습니다. 감사합니다.
와 음악 작곡이 대체 불가능하다는 의견에는 좀...
과거에 '복무중에 진행중'이라 쓰인 프로젝트를 본 기억이 나는데, 그 분이신지 모르겠네요. 그 프로젝트의 연장인지 몰라도 정말 감탄이 나옵니다. 당연해 보이는 전제에 대해서 조차 "왜?"라는 질문을 던지는 모습은 이학의 근간이고, 정말로 멋지고 응원합니다.
특히나 오픈소스라는 점이 멋지네요. 과학은 누구보다도 모두의 것이여야 하니깐요. 완전히 오픈소스의 하드웨어가 있다면 어떨까 생각해 초기부터 RISC-V에 관심이 많았는데, 점점 회로쪽과 멀어지기도 했고, 관련된 정보도 글쓴이분 말씀처럼 찾기가 어려워 고이 닫아두었습니다. 저도 다시 공부해 보고픈 마음이 들고, 또 보면서 도움이 될 것 같습니다. 본인의 시행착오와 얻은 지식을 모두와 공유하고, 기여해주셔서 감사합니다. 앞으로의 하시는 바 또한 응원하겠습니다.
좋아보이네요
좋은기술맞음
추상화되면 될 수록 엔지니어링은 중요해지는 것 같습니다.
Windows에서 PowerShell로 토스트 알림을 띄우는 게 이런 식으로 가능하군요? 이거 때문에 AutoHotKey 썼었는데… 오늘도 또 새로운 것을 배웠습니다.
언어라는 체계를 배우는 것이 환각 현상의 근본 원인이라고 지목하는 부분은 논리적 비약이 있는 것 같습니다.
환각 현상의 필연성을 주장하는 논의에서는 "임의의 입력을 받아 유한한 데이터 및 연산량만으로 정답에 근사한 내용을 출력하려 시도하면 어떤 출력에서는 항상 오답(=환각)이 나올 수밖에 없다."라고 논하고 있는 것으로 압니다. 여기에는 언어라는 체계가 반드시 필수적인 전제는 아니며, 따라서 환각이라는 현상은 언어 모델에만 국한되는 현상이 아닌 것으로 이해됩니다. 그러므로 환각 자체는 이런 시스템에서 필연적이지만, "모르겠다"는 답을 허용하는 설계 등으로 환각을 일정 수준 이하로 억제하는 것은 가능하리라는 주장이 나오고 있는 것으로 알고 있습니다.
그렇다면 언어를 학습하는 언어 모델의 환각이 더 본질적으로 필연이라고 결론내리기 위해서는, 언어라는 조건이 추가됨으로서 필연성이 강화되는 메커니즘에 대한 근거가 추가로 필요하지 않을까요?
또, 인용하신 논문에서 H-뉴런은 '과도한 순응 성향'을 불러일으키는 회로라고 지적되고 있습니다. 그런데 글 뒷부분에서는 이를 "'유창함'을 위해 생성된 기관"이라고 의미를 확장하고 있습니다. 이 글에서 제시된 내용만으로는 어떠한 근거로 이런 결론이 나왔는지 이해가 어렵습니다.
제가 이해하기로는 H-뉴런은 환각 현상을 발생시키는 여러 메커니즘 중 하나일 뿐인데, 이것이 환각의 본질과 맞닿아 있다는 주장에는 근거가 더 필요해 보입니다.
아직 그렇게 눈에 띌만큼 불편한 느낌은 아니었는데.
시작을 omz와 함께 시작해서, 감수하는 불편함인 줄 알았어요 ㅠㅠ
최근엔 플러그인을 하나씩 제거하고 업데이트 정책도 변경했는데.. 이걸 보니 없어도 되겠다 싶네요.
저는 tmuxinator로 설정 불러올 때 omz update y/n이 떠있으면 별로더라고요.
mcp랑 같이 나왔어야 할 거 같은데 오픈소스 재단에 넘기고 나오다니 많이 늦은 감은 있네요
근데 그것도 윈도우 미지원이라니 ㅠㅠ
정말 필요한걸 차근차근 만드는군요
웹 서버도 아니고, 불편을 느낄 정도가 아니면 그러려니 합니다..
저는 Mac OS 인데, 비슷하게 뜨면서 지원안되는 브라우저라고 하네요!
몇 달 전에 prezto로 갈아탔는데 omz가 이렇게 느렸었나 싶긴 하더라고요
기본적인 플러그인 몇 개만 해도 확 느려져서...
https://www.threads.com/@dandylee160/post/DTHKUQHEyoL
https://archive.md/rSFZu
AI Slop 보느라 쓴 3분이 아깝네요
OS를 어떤거 쓰시나요 ?
모 사이트에 수학적 난제를 해결하셨다는 분도 고작 2페이지 분량 논문 공개했었는데 저 분도 같은 분이 아닐까 싶네요.
군인일때 휴가중 비슷한 경험을 한 기억이 있네요
PSP 시절이었고 군복을 입은채로 마신 던킨의 커피맛이 아직도 기억에 남습니다