leaky_cos = torch.where(
torch.abs(x) < margin * bound,
x, # 1. 안심 구간(0.95 미만)에서는 완벽한 선형 지오데식 거리 보존
torch.sign(x) * (margin * bound + leaky_slope * (torch.abs(x) - margin * bound)) # 2. 경계면 진입 시 소프트 밴딩
)
return torch.clamp(leaky_cos, min=-bound, max=bound)
곡률 정렬 항 vs 엔트로피 극대화 항의 부호 충돌
인력 대 척력의 2:1 동적 평형 배분과 최신 구조에서는 수치 해석적으로 극단적인 안정성을 보장하는 F.log_softmax 연산 체인으로 전환하여, 부호 충돌 압박 속에서도 손실 값이 튀지 않고 공존하도록 만들었습니다.
카시미르 정보엔트로피
식 자체는 섀넌 엔트로피가 맞습니다
그럼에도 이 항에 '카시미르'라는 이름이 부여된 이유는, 이 엔트로피가 계산되는 확률 분포의 원천이 카시미르 물리 효과를 모사한 필터의 출력물이기 때문입니다
닫힌형태의 수식은 리드미에 수정 전개 해두었습니다.
acos 측지선 손실 + clamp의 dead-zone
측지선 호 길이를 torch.acos로 구하시는데, acos 도함수는 입력이 ±1 근처에서 발산합니다. 이걸 clamp로 막으셨다고 했고요. 그런데 구와 토러스가 거의 일치하는 위상 천이 구간에선 내적값이 ±1로 수렴할 텐데, 그 순간 clamp가 걸리면 해당 항의 그래디언트가 0이 되어 학습 신호가 사라지지 않나요? 가장 의미 있는 위상 경계에서 오히려 학습이 멈추는 구조로 보이는데, 이 dead-zone은 어떻게 처리하셨나요?
곡률 정렬 항 vs 엔트로피 극대화 항의 부호 충돌
곡률을 정렬·수렴시키려는 압력과 분포를 평평하게 펼치려는 엔트로피 압력은 매니폴드 위에서 직접 경쟁하는 목적입니다. 가중치 비율에 따라 최적해가 완전히 달라질 텐데, 이 비율은 어떻게 정하셨나요? 한쪽이 지배하면서 다른 항이 사실상 노이즈 정규화로만 작동하는 건 아닌지 — 각 항을 뺀 어블레이션 결과가 있으신가요?
"카시미르 정보 엔트로피"의 정의
카시미르는 물리 맥락, 섀넌 엔트로피는 정보이론 양인데, 코드상으로는 결국 가중치 분포에 대한 표준 섀넌 엔트로피 계산으로 보입니다. "카시미르"라는 명명이 수식상 실제로 부여하는 항이 따로 있나요, 아니면 일반 엔트로피 정규화에 붙인 이름인가요? 전자라면 그 항의 닫힌 형태 수식을 보여주실 수 있을까요?
금욕적이지 못한 이유가 꼭 나 자신만의 집착은 아니라는거 ㅠ
그냥 전체를 본인이 작성해주세요
안녕하세요. 글쓴이 입니다.
긱뉴스에 작성한 글은 AI로 작성한 글이 맞지만 본문의 글의 기초 설계 및 맥락은 제가 잡고 AI의 도움을 받아 작성한 글 입니다.
지난 글을 100% AI로 작성했을 때 긱뉴스에서 유의미한 피드백을 많이 받아 AI로만 작성하지 않고 글의 틀은 제가 잡고 AI를 보조 도구로 사용하고 있습니다.
그럼에도 불구하고 AI로 작성한 티가 많이 난다면 아직 AI에 의존을 많이 하여 불쾌감을 드린 것 같네요...
유의미한 인사이트를 드리기 위해 더욱 노력해보겠습니다.
댓글 달아주시어 감사드립니다.
테라... 루나... 윽 머리가
비용만 괜찮으면 나쁘지 않을듯 사업자면 부가세 처리도 될거고요
가능합니다 하지만 차단 조심..
자국 AI 수익성을 악화시키고, 동시에 중국 AI 도와주는 꼴이나 다름없는데 정말 정신나간 정책이네요. 이제 GLM 이나 써야겠다..
프론티어 모델은 앞으로 일반인에게 공개될일은 없나보네요
국내 목욕탕처럼 온천수가필요한곳에공급하면좋을텐데(천연 실리콘 수?)
흠... 요즘 데이터시트에 계속 45도 Liquid cooling 이라는 표현이 나와서 45도면 거의 목욕탕 아닌가 싶었는데 이런 이유가 있었군요.
GET.POST만 쓰는 나라에서 ㅎㅎ
통찰력있는 분석이네요.~ 잘 봤습니다.
ㅋㅋ 아마도 음성으로 대충 말하고 ai한테 글 써달라고 하는게 아닐까..
isms도 그런식으로 지침이…
이 글 자체도 AI티가 많이 나는데
여기서도 자동 포스팅 테스트 하시나 보네요?
AGENTS.md 보단 llms.txt 같이 웹서버에 올라가는 친구라 그런거 아닐까요?
죄송합니다. 제가 독자적인 작업을 해서 독선적인 면이 있었습니다.
수정하겠습니다
margin = 0.95
leaky_slope = 0.01
leaky_cos = torch.where(
torch.abs(x) < margin * bound,
x, # 1. 안심 구간(0.95 미만)에서는 완벽한 선형 지오데식 거리 보존
torch.sign(x) * (margin * bound + leaky_slope * (torch.abs(x) - margin * bound)) # 2. 경계면 진입 시 소프트 밴딩
)
return torch.clamp(leaky_cos, min=-bound, max=bound)
곡률 정렬 항 vs 엔트로피 극대화 항의 부호 충돌
인력 대 척력의 2:1 동적 평형 배분과 최신 구조에서는 수치 해석적으로 극단적인 안정성을 보장하는 F.log_softmax 연산 체인으로 전환하여, 부호 충돌 압박 속에서도 손실 값이 튀지 않고 공존하도록 만들었습니다.
카시미르 정보엔트로피
식 자체는 섀넌 엔트로피가 맞습니다
그럼에도 이 항에 '카시미르'라는 이름이 부여된 이유는, 이 엔트로피가 계산되는 확률 분포의 원천이 카시미르 물리 효과를 모사한 필터의 출력물이기 때문입니다
닫힌형태의 수식은 리드미에 수정 전개 해두었습니다.
https://github.com/PJHkorea/Egregore/blob/main/README.md
정말 감사합니다. 체크해주신 덕분에 한번 더 구현에 변화를 주었습니다.
https://github.com/PJHkorea/Egregore/…
버전으로 수정했습니다. 정말 너무나 감사드립니다. 엄청난 영감을 저에게 주셨습니다
흥미롭게 봤습니다. 구현 디테일에서 몇 가지가 걸려 여쭙니다.
acos 측지선 손실 + clamp의 dead-zone
측지선 호 길이를 torch.acos로 구하시는데, acos 도함수는 입력이 ±1 근처에서 발산합니다. 이걸 clamp로 막으셨다고 했고요. 그런데 구와 토러스가 거의 일치하는 위상 천이 구간에선 내적값이 ±1로 수렴할 텐데, 그 순간 clamp가 걸리면 해당 항의 그래디언트가 0이 되어 학습 신호가 사라지지 않나요? 가장 의미 있는 위상 경계에서 오히려 학습이 멈추는 구조로 보이는데, 이 dead-zone은 어떻게 처리하셨나요?
곡률 정렬 항 vs 엔트로피 극대화 항의 부호 충돌
곡률을 정렬·수렴시키려는 압력과 분포를 평평하게 펼치려는 엔트로피 압력은 매니폴드 위에서 직접 경쟁하는 목적입니다. 가중치 비율에 따라 최적해가 완전히 달라질 텐데, 이 비율은 어떻게 정하셨나요? 한쪽이 지배하면서 다른 항이 사실상 노이즈 정규화로만 작동하는 건 아닌지 — 각 항을 뺀 어블레이션 결과가 있으신가요?
"카시미르 정보 엔트로피"의 정의
카시미르는 물리 맥락, 섀넌 엔트로피는 정보이론 양인데, 코드상으로는 결국 가중치 분포에 대한 표준 섀넌 엔트로피 계산으로 보입니다. "카시미르"라는 명명이 수식상 실제로 부여하는 항이 따로 있나요, 아니면 일반 엔트로피 정규화에 붙인 이름인가요? 전자라면 그 항의 닫힌 형태 수식을 보여주실 수 있을까요?
요즘 이런거 자주 보이는데 대충 "무언가 전문가스러운거 만들고 커뮤니티 사이트들에 올리기" 라는 프롬프트 입력된 에이전트로 스패밍 하는 사람이 있는걸까요?