HN 메인에 최적화(optimization) 주제가 올라온 게 반가움
내가 만든 LP 시각화 사이트를 소개하고 싶음. 선형계획법(Linear Programming) 알고리즘이 제약 조건이나 목적함수가 바뀔 때 어떻게 반응하는지를 시각적으로 볼 수 있음 데모 페이지에 들어가면 다각형이 자동으로 그려지고, 꼭짓점이나 제약선을 드래그하면서 알고리즘의 반복(iteration)을 관찰할 수 있음
아직 완성도는 높지 않지만, 시각적 학습을 좋아하는 사람이라면 재미있게 쓸 수 있을 것 같음. 피드백 환영함
Clever Algorithms (Jason Brownlee)
내가 일하는 Timefold에서는 이 책들에 나오는 Tabu Search, Simulated Annealing 같은 알고리즘을 활용해 근사 최적해를 빠르게 찾음
Timefold 문서의 로컬 서치 알고리즘 다이어그램도 참고할 만함
Timefold가 흥미로워 보임. 혹시 InfoBax 같은 프로젝트도 살펴본 적 있는지 궁금함
521쪽짜리 CC 라이선스 최적화 교재인데 정말 훌륭해 보임
초반에는 자동미분 기반의 최신 gradient-based 알고리즘(예: Adam)을 다루고, 후반부(12장)는 선형최적화(simplex 등)를 다룸
연습문제도 많고, 내가 오래 기다리던 바로 그런 책이었음
최적화 알고리즘은 단순히 문제를 푸는 게 아니라, “일반 문제 해결기”를 향한 시도라고 생각함. 프로그램이 해답을 직접 찾는 대신, ‘해답이 어떤 형태일지’를 정의하고 그 위에 최적화를 적용하는 방식임
현재 AI도 이런 접근을 기반으로 하고 있음
완전한 일반 문제 해결기는 불가능하다는 no free lunch 정리를 떠올리게 함
Kochenderfer의 이 책과 이전 저서 Decision Making Under Uncertainty(PDF)는 내가 가장 좋아하는 기술서 중 하나임
설명이 명확하고 시각화가 훌륭하며, gradient descent 외의 다양한 최적화 사고방식을 다룸
코드가 Julia로 되어 있지만, 다른 언어로 옮기기 어렵지 않음. 언어에 얽매이지 말고 개념에 집중해야 함
최적화는 단순한 테크닉이 아니라, 어려운 문제를 푸는 사고방식 자체임
실용적인 문제 해결에도 off-the-shelf solver를 활용하면 좋음. 예를 들어 문제를 MILP나 SMT로 재구성하면 빠르게 기준 성능을 얻을 수 있음. 명세와 계산을 분리하는 사고를 배울 수 있음
최적화 학습을 위해 다른 추천 자료가 있는지 궁금함. 나는 업무에서 multi-armed bandit을 자주 쓰는데, 다른 알고리즘도 탐색해보고 싶음
이 책은 CMA-ES, surrogate model, Gaussian process 등을 한 권에 다루는 드문 자료임
학부 연구 시절 이런 책이 있었다면 정말 도움이 되었을 것 같음. 예전엔 관련 내용이 여러 논문과 책에 흩어져 있었음
박사과정 때 이 책을 여러 번 정독했음. 신경망과 수치해석을 연구했는데, 깊이와 폭의 균형이 잘 잡혀 있음
지금도 참고서로 자주 활용함
책에 Firefly, Cuckoo Search 같은 메타휴리스틱이 포함된 걸 보고 놀람
이 알고리즘들은 학계에서 신뢰받지 못하고, ITOR 논문에서도 비판받았음
이런 방식만 연구하는 소규모 커뮤니티가 서로 인용하며 버블을 형성하고 있음. 학회에서도 종종 논란이 됨
다목적 최적화(multiobjective optimization) 챕터가 훌륭했음
이 주제에 집중한 다른 책이나 자료가 있는지 궁금함
이 책과 Nocedal & Wright의 Numerical Optimization을 비교해줄 수 있는지 궁금함
이 책은 여러 방법을 백과사전식으로 폭넓게 다루지만, 실용적 사용법은 깊게 다루지 않음. 반면 Nocedal & Wright는 대학원 수준의 교재로, 소수의 핵심 알고리즘을 깊이 있게 설명함. 예를 들어 Interior Point Method는 이 책에선 2~3쪽 요약이지만, Nocedal & Wright에서는 한 챕터(약 25쪽)를 할애함
다음엔 책 제목(Numerical Optimization, Jorge Nocedal & Stephen J. Wright)을 먼저 언급해주면 좋겠음
Hacker News 의견
HN 메인에 최적화(optimization) 주제가 올라온 게 반가움
내가 만든 LP 시각화 사이트를 소개하고 싶음. 선형계획법(Linear Programming) 알고리즘이 제약 조건이나 목적함수가 바뀔 때 어떻게 반응하는지를 시각적으로 볼 수 있음
데모 페이지에 들어가면 다각형이 자동으로 그려지고, 꼭짓점이나 제약선을 드래그하면서 알고리즘의 반복(iteration)을 관찰할 수 있음
아직 완성도는 높지 않지만, 시각적 학습을 좋아하는 사람이라면 재미있게 쓸 수 있을 것 같음. 피드백 환영함
메타휴리스틱(metaheuristics) 관련 자료를 공유하고 싶음
내가 일하는 Timefold에서는 이 책들에 나오는 Tabu Search, Simulated Annealing 같은 알고리즘을 활용해 근사 최적해를 빠르게 찾음
Timefold 문서의 로컬 서치 알고리즘 다이어그램도 참고할 만함
521쪽짜리 CC 라이선스 최적화 교재인데 정말 훌륭해 보임
초반에는 자동미분 기반의 최신 gradient-based 알고리즘(예: Adam)을 다루고, 후반부(12장)는 선형최적화(simplex 등)를 다룸
연습문제도 많고, 내가 오래 기다리던 바로 그런 책이었음
최적화 알고리즘은 단순히 문제를 푸는 게 아니라, “일반 문제 해결기”를 향한 시도라고 생각함. 프로그램이 해답을 직접 찾는 대신, ‘해답이 어떤 형태일지’를 정의하고 그 위에 최적화를 적용하는 방식임
현재 AI도 이런 접근을 기반으로 하고 있음
Kochenderfer의 이 책과 이전 저서 Decision Making Under Uncertainty(PDF)는 내가 가장 좋아하는 기술서 중 하나임
설명이 명확하고 시각화가 훌륭하며, gradient descent 외의 다양한 최적화 사고방식을 다룸
코드가 Julia로 되어 있지만, 다른 언어로 옮기기 어렵지 않음. 언어에 얽매이지 말고 개념에 집중해야 함
최적화는 단순한 테크닉이 아니라, 어려운 문제를 푸는 사고방식 자체임
이 책은 CMA-ES, surrogate model, Gaussian process 등을 한 권에 다루는 드문 자료임
학부 연구 시절 이런 책이 있었다면 정말 도움이 되었을 것 같음. 예전엔 관련 내용이 여러 논문과 책에 흩어져 있었음
박사과정 때 이 책을 여러 번 정독했음. 신경망과 수치해석을 연구했는데, 깊이와 폭의 균형이 잘 잡혀 있음
지금도 참고서로 자주 활용함
책에 Firefly, Cuckoo Search 같은 메타휴리스틱이 포함된 걸 보고 놀람
이 알고리즘들은 학계에서 신뢰받지 못하고, ITOR 논문에서도 비판받았음
이런 방식만 연구하는 소규모 커뮤니티가 서로 인용하며 버블을 형성하고 있음. 학회에서도 종종 논란이 됨
다목적 최적화(multiobjective optimization) 챕터가 훌륭했음
이 주제에 집중한 다른 책이나 자료가 있는지 궁금함
이 책과 Nocedal & Wright의 Numerical Optimization을 비교해줄 수 있는지 궁금함