Hacker News 의견들
-
AlphaChip에 대해 쓴 글(https://vighneshiyer.com/misc/ml-for-placement/) 맨 아래에 Google의 반박과 AlphaChip 알고리즘 전반을 다루는 부록을 추가했음
요약하면 Nature 저자들이 ISPD 저자들의 학습 방법론에 대해 타당한 비판을 일부 했다고 봄. 하지만 AlphaChip은 여전히 상용 자동 플로어플래너와 AutoDMP에 비해 계산 비용과 실행 시간이 너무 커서 경쟁력이 낮음. 그래도 ISPD 저자들은 Nature 저자들의 모든 비판을 다루는 더 엄밀한 연구를 내야 하고, Google이 공개한 사전 학습 체크포인트만 평가해도 논쟁에 유용한 자료가 될 것임- 글 결론에서 “ISPD 저자들이 더 잘할 수 있었던 부분은 인정하지만 결론은 여전히 타당하다. Nature 저자들은 CMP와 AutoDMP가 CT보다 훨씬 적은 실행 시간과 계산 요구량으로 더 좋은 성능을 낸다는 사실을 다루지 않는다”고 했는데, 반박의 핵심 중 하나는 비교에 사용한 자원이 훨씬 작았다는 점임
이 한 가지 이유만으로도 ISPD 연구 결론의 타당성을 의심하기 충분해 보이는데 어떻게 보는지 궁금함. 또 이 댓글은 중립적인데, 글에서는 AlphaChip 저자들에게 “arrogance”, “disdain”, “hyperbole”, “belittling”, “hostile” 같은 표현을 쓰고 Synopsys 부사장에게는 “excellent”라고 하는 등 훨씬 강한 어조였음. 이 차이가 어디서 나온 것인지도 궁금함 - 추론에 GPU 16개를 약 6시간, 사전 학습에 48시간 쓰는 수준이면 과도한 계산량은 아님
클라우드에서 GPU는 시간당 1~2달러 정도라 추론은 약 100~200달러, 사전 학습은 약 800~1600달러이고, 사전 학습 비용은 여러 칩에 걸쳐 상각됨. 클라우드 가격은 상한에 가깝고, 대부분의 컴퓨터과학 연구실은 이 정도보다 훨씬 많은 온프레미스 자원을 갖고 있음. 산업 현장에서는 이런 비용이 칩 설계 과정의 나머지 비용에 비하면 완전히 작고, 상용 EDA 소프트웨어 라이선스 비용만 해도 수백만 달러 수준임
- 글 결론에서 “ISPD 저자들이 더 잘할 수 있었던 부분은 인정하지만 결론은 여전히 타당하다. Nature 저자들은 CMP와 AutoDMP가 CT보다 훨씬 적은 실행 시간과 계산 요구량으로 더 좋은 성능을 낸다는 사실을 다루지 않는다”고 했는데, 반박의 핵심 중 하나는 비교에 사용한 자원이 훨씬 작았다는 점임
-
지금 시점에서 Jeff Dean에게 최소한의 신뢰를 바로 주지 않을 이유가 있나 싶음. 그의 실적은 누구와도 비교하기 어렵고 아직도 활발함. 그에게 그림자를 드리울 만한 일이 있었나? 때로는 메신저 자체가 무게를 가져오는 법임
- 여기서는 잘못된 사람들과 한편이 된 것처럼 보임. 그는 본질적으로 시스템 빌더이지 칩 설계나 EDA 전문가는 아니고, 엄밀히 말해 머신러닝 연구자도 아님
카리스마 있는 젊은 사기꾼에게 휘말렸고 이제 너무 깊이 들어가 물러서기 어렵게 됐다고 보는 사람도 있을 것임. 이 프로젝트에 집중한 것도 Google 내 입지에는 도움이 안 됐고, 작년에 중요한 일들은 모두 Demis에게 넘어가고 그는 명예직에 가까운 직함만 남았음. 그의 업적을 생각하면 꽤 안타까움 - Jeff Dean이 2020, 2021, 2022년에 강연할 때는 그런 신뢰가 말이 됐음. 하지만 지금은 EDA 커뮤니티의 회의론에 대해 비학술적인 인신공격과 “많은 회사”가 쓴다는 모호한 언급으로 대응하고 있음
이제는 선의의 추정 단계를 지나 상당한 의심이 가능한 영역에 들어섰다고 봄
- 여기서는 잘못된 사람들과 한편이 된 것처럼 보임. 그는 본질적으로 시스템 빌더이지 칩 설계나 EDA 전문가는 아니고, 엄밀히 말해 머신러닝 연구자도 아님
-
이 논쟁에 왜 이렇게 감정과 불쾌함이 많은지 궁금함. 벤치마크나 유의성 같은 지루한 학술 논쟁이 어떻게 인신공격 싸움으로 변했을까?
- AI가 아닌 구현 방식으로 일하는 사람이 많음
- 재현할 방법 없이 대단한 주장을 하고, 언론으로 달려가면 언론은 뭐든 받아먹음
“AI가 AI를 설계한다… 아니 칩을 설계한다”는 말은 문과 전공자들에게 미래적으로 들리고, 모든 “AI”를 의심해야 할 프로그래머들에게도 그런 모양임. Nature에 낸 것부터 시작해서 전체 출판 과정이 부정직해 보임. 왜 ISCCC 같은 곳이 아니었을까? - 돈 때문임
- 이 정도가 불쾌하다고 느끼면 Twitter에서 Jeff Dean을 공격하려는 환경운동가들을 봐야 함
- 문제는 AI를 둘러싼 빅테크의 상업적 유인이 “지루한 학술”의 물을 오염시켜, 저널 논문이나 arXiv 프리프린트로 위장한 부정직한 정보 광고를 만들어냈다는 데 있음[1]
그 결과 현대 AI 연구는 사회과학보다 훨씬 심한 재현성 위기를 겪고 있는데, 정당한 변명거리는 훨씬 적음. Google이 거짓말을 하는 게 아니라면 독립적인 사람들이 볼 수 있도록 벤치마크 데이터를 공개하기만 해도 논란이 많이 사라질 텐데, 여전히 거부하고 있음: https://cacm.acm.org/news/updates-spark-uproar/ Google은 결론을 그냥 권위로 받아들이라고 생각하는 듯함. 또 Google이 2022년에 해고한 내부 고발자 Satrajit Chatterjee의 유출 논문에서는 RePlAce의 “30~35%” 우위가, Google이 당시 칩 설계 AI 접근법에 대해 내세운 “초인적” 주장을 반박하는 결과와 일치한다고 했음. Jeff Dean에 대한 “인신공격”은 완전히 적절한데, 비판의 핵심이 그의 성격이 부정직하고 권위주의적이라는 데 있기 때문임. 그는 의심스러운 연구를 발표하고 반대하는 사람을 해고함
[1] Jeff Dean이 비판 논문이 학회 논문이라는 이유로 비웃는 건 특히 역겨움. 믿기 힘들 정도로 형편없는 태도임
-
Jeff Dean의 트윗에 따르면 Cheng 등은 Google 연구자들의 작업을 재현하는 데 필요한 절차를 따르지 않았다고 함
특히 “저자들은 사전 학습을 전혀 하지 않았고, Nature 논문에서 사전 학습이 37번 언급됐음에도 그랬기 때문에, 학습 기반 방법이 다른 칩 설계에서 배울 능력을 빼앗겼다”고 함. 그런데 Google의 Circuit Training 저장소[1]에서는 “처음부터 학습한 결과가 사전 학습 모델을 미세 조정한 논문 결과와 비슷하거나 더 좋다”고 명시함. 내가 뭔가 오해한 걸 수도 있지만, 어느 쪽인가? 사전 학습을 하지 않아서 망친 건가, 아니면 원래 저장소에 적힌 “절차”를 따라 공정한 재현을 시도한 건가? UCSD 그룹이 여러 단계를 역공학해야 했다는 점을 보면 논문 결과만으로는 재현 가능하지 않았던 것처럼 보임
[1]: https://github.com/google-research/circuit_training/blob/mai...- Markov의 논문에도 Google의 서로 다른 저자 그룹 논문 링크가 있고, 거기서도 사전 학습의 이점은 아주 작게 나타남
게다가 벤치마크 수가 적은 상황에서 출처를 알 수 없는 Google의 사전 학습 모델을 쓰는 건 역효과일 수 있음. Google은 아마 사용 가능한 모든 벤치마크로 학습해 상용 도구의 최적 해를 되뱉게 만들었을 가능성이 큼 - “처음부터 학습”은 새 설계 시도와 과거 설계를 섞어 넣는다는 뜻일 수도 있음
그러면 모순은 없음. 과거 설계로 사전 학습한 뒤 새 설계로 미세 조정하는 방식과, 처음부터 전체 기간 동안 모든 데이터를 섞어 학습하는 방식의 차이임. 미세 조정은 파국적 망각을 일으킬 수 있고, 둘 다 과거 설계를 전혀 포함하지 않는 것보다 성능이 좋을 수 있음 - Circuit Training 저장소는 단순한 예제를 보여준 것에 가까움. 오픈소스 저장소가 설정 테스트나 검증을 위한 간단한 예제를 설명하는 건 흔하고, 그것이 일반적으로 최적 결과를 얻는 방법이라는 뜻은 아님
혼란은 그 예제에서 논문의 사전 학습 결과와 비슷한 결과가 나왔다고 말한 데서 비롯됐을 수 있음. 하지만 이것이 사전 학습 전반을 부정한 것은 분명히 아님. Cheng 등이 정말 모호하다고 느꼈다면 교신저자에게 문의했어야 함. 저장소 일부를 “역공학”해야 한다고 느꼈다면 그것도 물어봤어야 함
- Markov의 논문에도 Google의 서로 다른 저자 그룹 논문 링크가 있고, 거기서도 사전 학습의 이점은 아주 작게 나타남
-
관련 글들. 다른 것도 있나?
AI Alone Isn't Ready for Chip Design - https://news.ycombinator.com/item?id=42207373 - 2024년 11월, 댓글 2개
That Chip Has Sailed: Critique of Unfounded Skepticism Around AI for Chip Design - https://news.ycombinator.com/item?id=42172967 - 2024년 11월, 댓글 9개
Reevaluating Google's Reinforcement Learning for IC Macro Placement (AlphaChip) - https://news.ycombinator.com/item?id=42042046 - 2024년 11월, 댓글 1개
How AlphaChip transformed computer chip design - https://news.ycombinator.com/item?id=41672110 - 2024년 9월, 댓글 194개
Tension Inside Google over a Fired AI Researcher’s Conduct - https://news.ycombinator.com/item?id=31576301 - 2022년 5월, 댓글 23개
Google is using AI to design chips that will accelerate AI - https://news.ycombinator.com/item?id=22717983 - 2020년 3월, 댓글 1개 -
Jeff Dean 답변의 맥락은 여기임
https://news.ycombinator.com/item?id=41673769
https://news.ycombinator.com/item?id=41673808 -
잘못 뽑은 채용이 얼마나 비쌀 수 있는지 우스울 정도임: https://www.wired.com/story/google-brain-ai-researcher-fired...
- 링크한 기사에서 악역처럼 나온 Chatterjee는 이제 Google을 고소 중인 듯함. 자신이 해고된 이유가, 상사인 Jeff Dean이 허위 주장을 알고도 발표하고 있다고 지적했기 때문이라고 보는 것 같음
“명확히 말해, RL이 학계 최신 수준이나 가장 강한 상용 매크로 배치기보다 낫다고 믿을 증거는 없다. 후자에 대한 비교는 너무 부실해서 많은 경우 상용 도구가 설치 문제로 실행조차 되지 않았다”는 문구가 Jeff Dean의 내부 발표 화면 캡처라고 함. https://regmedia.co.uk/2023/03/26/satrajit_vs_google.pdf 외부인으로서는 Chatterjee가 동료들의 좋은 결과를 억누른 나쁘고 비싼 채용이었는지, 아니면 허위 발표를 막으려 한 매우 가치 있는 직원이었는지 판단하기가 매우 어려움 - 정말 많은 시간이 낭비됐음
그는 Markov와 함께 내부 연구까지 진행했지만, AlphaChip 저자들은 이렇게 설명함. 2022년에 Google의 독립 위원회가 검토했고, “초안의 주장과 결론은 실험으로 과학적으로 뒷받침되지 않는다”고 판단했으며, “[AlphaChip]의 원래 데이터셋 결과가 독립적으로 재현되면서 [Markov et al.]의 RL 결과에 의문이 생겼다”고 함. 저자들은 위원회에 Markov 등이 보고한 것보다 훨씬 좋은 RL 결과를 생성하는 한 줄짜리 스크립트를 제공했고, 이 결과는 그들의 “더 강한” 모의 담금질 기준선보다도 나았다고 함. 아직도 Markov와 공저자들이 논문 수치를 어떻게 만들었는지 모른다고 함
(https://arxiv.org/pdf/2411.10053) - 학술, 금융, 그 밖의 영역에서 사기나 조작을 저지를 사람을 채용하는 건 실제로 큰 문제임
이를 줄이는 가장 좋은, 아마 유일한 방법은 내부 인센티브와 통제, 문화임. 주기마다 몇 퍼센트씩 끝없는 개선을 강하게 요구하면서, 애초에 그 성과가 존재했는지 확인하지 않고 꾸준히 가져오는 사람을 승진시키면 결국 규모와 무관하게 같은 일이 벌어짐. 작은 팀, 부서, 회사, 그 회사들을 많이 보유한 헤지펀드, 그 펀드들의 펀드, 연방정부 어디서든 가능함. 조만간 리더십은 양심 없는 사람들에게 상당히 침투당함. 학계의 잇단 출판 스캔들, 금융권의 셀 수 없는 사건들이 그 예임. Holmes와 SBF는 감옥에 있지만 그들이 자금을 댄 사람들과 같은 무리는 여전히 영향력의 정점에 있고, 그 이념을 들고 다니며 더 좋은 변호사까지 갖게 됐음. “물고기는 머리부터 썩는다”는 오래된 말이 있음. STEM 산업의 상징적 리더들이 보이는 온갖 수상함과 끊임없는 스캔들을 보며 “잘했네, 시스템을 이겼네”라고 하면 정직하고 공정한 기존 질서가 전방위로 공격받는 결과 말고는 기대하기 어려움. 우리도 결국 “힘이 곧 정의”인 준종교적 이상에 발로 투표해 왔고, 나도 혐오감에 그만두기 전까지 그 일부였음. Objectivism, Effective Altruism, Capitalism이라고 다양하게 불리지만 진짜 자본주의도 아님. 모든 것이 끈적하게 더럽혀진 걸 놀라워할 수 없음. 오늘의 답은 잘 모르겠음. 덜 나쁜 회사에서 일하고, 적어도 익명으로라도 남용을 폭로하고, 리더들의 인터뷰 발언을 듣고 면밀히 검토하는 것 정도임. 다른 제안도 듣고 싶음
- 링크한 기사에서 악역처럼 나온 Chatterjee는 이제 Google을 고소 중인 듯함. 자신이 해고된 이유가, 상사인 Jeff Dean이 허위 주장을 알고도 발표하고 있다고 지적했기 때문이라고 보는 것 같음
-
Jeff가 여기에 답해야 한다는 압박을 받는 건 이해함. “Google Brain” 연구 산출물 거의 전부에 이름이 올라가 있으니까
하지만 “저들이 바보라서 재현 못 했으니 재현 가능하다”는 식은 반박이 아니라 괴롭힘임. 비판자들이 신경을 건드렸고, 그의 연구가 드러내는 재현성 문제를 반박할 좋은 방법이 없는 것처럼 들림- 링크된 트윗에서 그런 주장을 하지는 않음. 그의 주장은 “저들이 절차를 따르지 않아서 재현하지 못했다”는 것이고, 그런 주장을 하는 동기가 무엇이든 상당히 합리적인 주장으로 보임
- 재현 절차, 예를 들어 사전 학습이나 충분한 계산량을 따르지 않은 뒤 실패했다면, 그 “재현” 시도의 결함을 짚는 데 뭐가 문제인지 모르겠음
- 그게 어디에 쓰여 있음? Dean은 트윗에서 저자들이 놓친 구체적인 단계를 제시함
- 다행히 그는 그런 말을 하지 않았음
트윗은 재현 시도가 원래 방법론을 실제로 따르지 않았다고 말할 뿐임. 재현 시도 저자들이 “바보”라거나 비슷한 말은 없고, 그건 그냥 지어낸 것임. “재현하지 못했으니 재현 가능하다”라는 명백히 오류인 논리도 완전한 날조임 - 비판자의 고용주 때문에 편향이 있다고 주장하는 게 참 웃김. Google에서 일하는 건 이해상충이 없다는 듯이 말함
Google은 주가를 띄우려고 온갖 “나도 한다”식 AI 개발을 필사적으로 과장하는 회사 아닌가? Jeff는 쿨에이드를 너무 많이 마셔서 물이 뭔지도 잊은 듯함
-
Google의 궁극적인 증거는 경쟁사보다 더 좋은 칩을 만드는 것임. 지금으로서는 그러지 못하고 있음
-
“우리 방법을 재현할 때 계산 자원을 충분히 쓰지 않았다”는 비판은 요즘엔 좀 웃김. 물론 그렇겠지, 당신들은 Google이니까
클라우드를 소유하지 않으면 우리 방법론을 검토할 수 없다는 말처럼 들림. 더 많은 계산량과 더 많은 사전 학습이 유용하다는 게 사실이어도 놀랍지는 않지만, 그러면 검증은 어려워짐. 흥미로운 반대 측면도 있음. Google은 계산 자원이 엄청나게 많지만, Synopsys는 학습할 데이터가 엄청나게 많음. 물론 고객 지식재산으로 학습해도 되는지가 아주 큰 조건임- 칩 설계자들은 EDA 도구를 온프레미스에서 실행함. EDA 회사가 고객 데이터에 어떻게 접근하겠음? NDA 아래 디버깅 목적 정도는 가능하겠지만, 그렇다고 고객 지식재산으로 학습할 수는 없음