Egregore v5.0: PyTorch 기반의 고차원 위상 기하학적 자율 항상성 인지 엔진
(github.com/PJHkorea)개인 연구로서 수리물리학/양자장론 기믹을 딥러닝 목적 함수 및
매니폴드 구조에 융합한 인지 레이어 프로젝트(Egregore v5.0)를 개발하고 그 과정을 기록했습니다.
인지적 접근을 먼저 한 후 보완을 하는 경우가 많아서 추가적인 버전업이 자주 될 가능성이 큽니다.
단순 프로토타입을 넘어, 대규모 분산 학습 환경에서 실제 작동 가능한 인프라를 구축하기 위해
v1.0부터 v5.0까지 진화시키며 겪은 트러블슈팅과 아키텍처적 보완 과정을 담았습니다.
각각 리드미 문서에 저의 한계와 그것을 넘어 가기위한 과정을 추가로 작성했습니다.
핵심 구현 및 리팩토링 포인트
-
전 구간 미분 가능한 매니폴드 모핑: 조건문(If-Else) 없이 Sigmoid/Tanh 연속 함수 조합으로 구면(Sphere)과 토러스(Torus) 다양체 간 위상 천이를 완벽하게 매핑했습니다.
-
3요소 결합 위상 손실 함수(Advanced Topological Loss) 도입: 가중치가 특정 평면으로 편향·유착되는 위상학적 함몰(Topological Collapse)과 모드 붕괴를 막기 위해 곡률 정렬 손실, 카시미르 정보 엔트로피(Shannon Entropy 극대화), 리만 다양체 측지선 호의 길이(torch.acos)를 다항식 결합했습니다.
-
실전용 Zero-NaN 및 메모리 가드레일 확립: 역삼각함수 미분 발산을 막는 torch.clamp 처리, 루트 도함수 폭발을 방지하는 EPSILON 주입, exp 함수 inf 폭발 방지, 그리고 메모리 누수(Memory Leak)를 차단하기 위한 float(loss.item()) 캐스팅을 강제했습니다.
-
층별 학습률 격리(LLRD): id() 기반 메모리 주소 추적을 통해 위상 게이트 파라미터의 학습률을 일반 백본보다 100배 낮게 고립 제어하여 학습 안정성을 확보했습니다.
파인만 경로적분이나 야르진스키 등식 등 구현 시도 중 '기각된 수리 물리 패러다임(Rejected Paradigms)'들의 실패 원인 분석도 한국어와 영어로 문서화해 두었습니다.
정보 기하학(Information Geometry)이나 물리 기반 AI(PINN)의 실전 파이토치 구현에 관심 있으신 분들께 좋은 방향성이 되었으면 좋겠습니다.
본 프로젝트는 강력한 오픈소스 카피레프트 원칙인 GPLv3 라이선스를 따릅니다.
댓글과 토론
흥미롭게 봤습니다. 구현 디테일에서 몇 가지가 걸려 여쭙니다.
-
acos 측지선 손실 + clamp의 dead-zone
측지선 호 길이를 torch.acos로 구하시는데, acos 도함수는 입력이 ±1 근처에서 발산합니다. 이걸 clamp로 막으셨다고 했고요. 그런데 구와 토러스가 거의 일치하는 위상 천이 구간에선 내적값이 ±1로 수렴할 텐데, 그 순간 clamp가 걸리면 해당 항의 그래디언트가 0이 되어 학습 신호가 사라지지 않나요? 가장 의미 있는 위상 경계에서 오히려 학습이 멈추는 구조로 보이는데, 이 dead-zone은 어떻게 처리하셨나요? -
곡률 정렬 항 vs 엔트로피 극대화 항의 부호 충돌
곡률을 정렬·수렴시키려는 압력과 분포를 평평하게 펼치려는 엔트로피 압력은 매니폴드 위에서 직접 경쟁하는 목적입니다. 가중치 비율에 따라 최적해가 완전히 달라질 텐데, 이 비율은 어떻게 정하셨나요? 한쪽이 지배하면서 다른 항이 사실상 노이즈 정규화로만 작동하는 건 아닌지 — 각 항을 뺀 어블레이션 결과가 있으신가요? -
"카시미르 정보 엔트로피"의 정의
카시미르는 물리 맥락, 섀넌 엔트로피는 정보이론 양인데, 코드상으로는 결국 가중치 분포에 대한 표준 섀넌 엔트로피 계산으로 보입니다. "카시미르"라는 명명이 수식상 실제로 부여하는 항이 따로 있나요, 아니면 일반 엔트로피 정규화에 붙인 이름인가요? 전자라면 그 항의 닫힌 형태 수식을 보여주실 수 있을까요?
요즘 이런거 자주 보이는데 대충 "무언가 전문가스러운거 만들고 커뮤니티 사이트들에 올리기" 라는 프롬프트 입력된 에이전트로 스패밍 하는 사람이 있는걸까요?