leaky_cos = torch.where(
torch.abs(x) < margin * bound,
x, # 1. 안심 구간(0.95 미만)에서는 완벽한 선형 지오데식 거리 보존
torch.sign(x) * (margin * bound + leaky_slope * (torch.abs(x) - margin * bound)) # 2. 경계면 진입 시 소프트 밴딩
)
return torch.clamp(leaky_cos, min=-bound, max=bound)
곡률 정렬 항 vs 엔트로피 극대화 항의 부호 충돌
인력 대 척력의 2:1 동적 평형 배분과 최신 구조에서는 수치 해석적으로 극단적인 안정성을 보장하는 F.log_softmax 연산 체인으로 전환하여, 부호 충돌 압박 속에서도 손실 값이 튀지 않고 공존하도록 만들었습니다.
카시미르 정보엔트로피
식 자체는 섀넌 엔트로피가 맞습니다
그럼에도 이 항에 '카시미르'라는 이름이 부여된 이유는, 이 엔트로피가 계산되는 확률 분포의 원천이 카시미르 물리 효과를 모사한 필터의 출력물이기 때문입니다
닫힌형태의 수식은 리드미에 수정 전개 해두었습니다.
acos 측지선 손실 + clamp의 dead-zone
측지선 호 길이를 torch.acos로 구하시는데, acos 도함수는 입력이 ±1 근처에서 발산합니다. 이걸 clamp로 막으셨다고 했고요. 그런데 구와 토러스가 거의 일치하는 위상 천이 구간에선 내적값이 ±1로 수렴할 텐데, 그 순간 clamp가 걸리면 해당 항의 그래디언트가 0이 되어 학습 신호가 사라지지 않나요? 가장 의미 있는 위상 경계에서 오히려 학습이 멈추는 구조로 보이는데, 이 dead-zone은 어떻게 처리하셨나요?
곡률 정렬 항 vs 엔트로피 극대화 항의 부호 충돌
곡률을 정렬·수렴시키려는 압력과 분포를 평평하게 펼치려는 엔트로피 압력은 매니폴드 위에서 직접 경쟁하는 목적입니다. 가중치 비율에 따라 최적해가 완전히 달라질 텐데, 이 비율은 어떻게 정하셨나요? 한쪽이 지배하면서 다른 항이 사실상 노이즈 정규화로만 작동하는 건 아닌지 — 각 항을 뺀 어블레이션 결과가 있으신가요?
"카시미르 정보 엔트로피"의 정의
카시미르는 물리 맥락, 섀넌 엔트로피는 정보이론 양인데, 코드상으로는 결국 가중치 분포에 대한 표준 섀넌 엔트로피 계산으로 보입니다. "카시미르"라는 명명이 수식상 실제로 부여하는 항이 따로 있나요, 아니면 일반 엔트로피 정규화에 붙인 이름인가요? 전자라면 그 항의 닫힌 형태 수식을 보여주실 수 있을까요?
정말 좋은 내용이고, 공유해주셔서 감사합니다. 175 장이나 됐지만 술술 읽혀서 재밌게 봤습니다. 누구에겐 이미 아는 내용일지라도 저에겐 잘 몰랐던 내용들이 많이 있었고, 내용들을 표현함에 있어서 pdf 내용 일부처럼 작은 단위로 쪼개는 서술 방식 때문인지 더 잘 읽혔던 것 같습니다.
ㅋㅋ 아마도 음성으로 대충 말하고 ai한테 글 써달라고 하는게 아닐까..
isms도 그런식으로 지침이…
이 글 자체도 AI티가 많이 나는데
여기서도 자동 포스팅 테스트 하시나 보네요?
AGENTS.md 보단 llms.txt 같이 웹서버에 올라가는 친구라 그런거 아닐까요?
죄송합니다. 제가 독자적인 작업을 해서 독선적인 면이 있었습니다.
수정하겠습니다
margin = 0.95
leaky_slope = 0.01
leaky_cos = torch.where(
torch.abs(x) < margin * bound,
x, # 1. 안심 구간(0.95 미만)에서는 완벽한 선형 지오데식 거리 보존
torch.sign(x) * (margin * bound + leaky_slope * (torch.abs(x) - margin * bound)) # 2. 경계면 진입 시 소프트 밴딩
)
return torch.clamp(leaky_cos, min=-bound, max=bound)
곡률 정렬 항 vs 엔트로피 극대화 항의 부호 충돌
인력 대 척력의 2:1 동적 평형 배분과 최신 구조에서는 수치 해석적으로 극단적인 안정성을 보장하는 F.log_softmax 연산 체인으로 전환하여, 부호 충돌 압박 속에서도 손실 값이 튀지 않고 공존하도록 만들었습니다.
카시미르 정보엔트로피
식 자체는 섀넌 엔트로피가 맞습니다
그럼에도 이 항에 '카시미르'라는 이름이 부여된 이유는, 이 엔트로피가 계산되는 확률 분포의 원천이 카시미르 물리 효과를 모사한 필터의 출력물이기 때문입니다
닫힌형태의 수식은 리드미에 수정 전개 해두었습니다.
https://github.com/PJHkorea/Egregore/blob/main/README.md
정말 감사합니다. 체크해주신 덕분에 한번 더 구현에 변화를 주었습니다.
https://github.com/PJHkorea/Egregore/…
버전으로 수정했습니다. 정말 너무나 감사드립니다. 엄청난 영감을 저에게 주셨습니다
흥미롭게 봤습니다. 구현 디테일에서 몇 가지가 걸려 여쭙니다.
acos 측지선 손실 + clamp의 dead-zone
측지선 호 길이를 torch.acos로 구하시는데, acos 도함수는 입력이 ±1 근처에서 발산합니다. 이걸 clamp로 막으셨다고 했고요. 그런데 구와 토러스가 거의 일치하는 위상 천이 구간에선 내적값이 ±1로 수렴할 텐데, 그 순간 clamp가 걸리면 해당 항의 그래디언트가 0이 되어 학습 신호가 사라지지 않나요? 가장 의미 있는 위상 경계에서 오히려 학습이 멈추는 구조로 보이는데, 이 dead-zone은 어떻게 처리하셨나요?
곡률 정렬 항 vs 엔트로피 극대화 항의 부호 충돌
곡률을 정렬·수렴시키려는 압력과 분포를 평평하게 펼치려는 엔트로피 압력은 매니폴드 위에서 직접 경쟁하는 목적입니다. 가중치 비율에 따라 최적해가 완전히 달라질 텐데, 이 비율은 어떻게 정하셨나요? 한쪽이 지배하면서 다른 항이 사실상 노이즈 정규화로만 작동하는 건 아닌지 — 각 항을 뺀 어블레이션 결과가 있으신가요?
"카시미르 정보 엔트로피"의 정의
카시미르는 물리 맥락, 섀넌 엔트로피는 정보이론 양인데, 코드상으로는 결국 가중치 분포에 대한 표준 섀넌 엔트로피 계산으로 보입니다. "카시미르"라는 명명이 수식상 실제로 부여하는 항이 따로 있나요, 아니면 일반 엔트로피 정규화에 붙인 이름인가요? 전자라면 그 항의 닫힌 형태 수식을 보여주실 수 있을까요?
요즘 이런거 자주 보이는데 대충 "무언가 전문가스러운거 만들고 커뮤니티 사이트들에 올리기" 라는 프롬프트 입력된 에이전트로 스패밍 하는 사람이 있는걸까요?
카맥도 나이들었나 많이 순해졌네요
보안위배라면서 get, post만 쓰라던 어느 재벌그룹사가 떠오르네요…
아니 근데 왜 증류가 문제일까요? 뭐 산업스파이 짓을 한것도 아니고 API 돈주고 사용했을텐데, 그걸 어떻게 쓰건 자유가 아닌가요? 그럼 아에 못하게 막던지...
너무 재밌고 유익하게 보았습니다~
정말 좋은 내용이고, 공유해주셔서 감사합니다. 175 장이나 됐지만 술술 읽혀서 재밌게 봤습니다. 누구에겐 이미 아는 내용일지라도 저에겐 잘 몰랐던 내용들이 많이 있었고, 내용들을 표현함에 있어서 pdf 내용 일부처럼 작은 단위로 쪼개는 서술 방식 때문인지 더 잘 읽혔던 것 같습니다.
Codex app에서 claude 구독 이랑 연결은 안되겠죠??
용도가 다릅니다
500주고 맥북 프로 3월에 구매했는데 690 이네요
show에 올라와야하는거 아닌가요
보충입니다.
현재 SongRyeon Core는 웹 서비스 형태보다는 로컬 CLI / smoke-test 중심의 런타임 실험입니다.
바로 확인해볼 수 있는 것은 README의 실행 방법과:
입니다.
특히 피드백 받고 싶은 부분은 다음입니다.
아직 학습 중인 프로젝트라 거친 부분이 많습니다. 편하게 찔러주시면 감사하겠습니다.
안그래도 GPT 5.6 도 못쓰게 될것 같고 다른 대안 좀 찾아봐야하는데 잘 됐네요
Cafe24는 어디서 수수료를 챙길려나요..