컴퓨터 비전의 기초 (2024)

 (visionbook.mit.edu)
6P by GN⁺ | ★ favorite | 댓글 1개
  • Foundations of Computer Vision은 영상 처리와 머신러닝을 함께 다루는 컴퓨터 비전 기초 교재로, 입문 학부·대학원생뿐 아니라 경험 있는 실무자도 독자로 삼음
  • 2010년 11월 MIT Press에 처음 제안된 뒤 10년 이상 집필이 이어졌고, 짧고 핵심적인 장을 만들려던 목표는 분야의 변화 속에서 계속 확장됨
  • 2012년 딥러닝 혁명은 오래된 아이디어를 실제 구현으로 연결할 도구를 제공했고, 한동안 밀려났던 초기 개념들도 시간이 지나며 다시 중요해짐
  • 책은 이미지 형성, 학습, 신호·이미지 처리, 필터, 멀티스케일 표현, 신경망, 생성 모델, 3D 기하, 동작, 장면 이해, 연구자 조언까지 15개 Part로 구성됨
  • 최신 컴퓨터 비전 성과를 망라하거나 형태 분석·객체 추적·사람 자세 분석·얼굴 인식을 깊게 파기보다, 여러 응용을 이해하는 데 필요한 기초 개념에 초점을 맞춤

어떤 독자를 위한 책인가

  • Foundations of Computer Vision은 컴퓨터 비전의 기초 주제를 영상 처리와 머신러닝 관점에서 다룸
  • 주요 독자는 컴퓨터 비전에 들어오는 학부생·대학원생이며, 경험 있는 실무자에게도 유용한 책을 목표로 함
  • 개념의 직관을 만들기 위해 많은 시각화를 포함함
  • 처음에는 분야를 폭넓게 다루는 큰 책을 구상했지만, 컴퓨터 비전의 범위가 너무 커서 작은 책으로 방향을 바꿈
    • 각 장을 5페이지 이하로 제한하려 했음
    • 이 제한은 각 주제에서 이해에 필요한 중요한 개념에 집중하게 만들었음
    • 짧은 책을 쓰려던 목표도 결국 달성하지 못함

10년 넘게 이어진 집필 과정

  • 책의 아이디어는 2010년 11월 24일 MIT Press에 처음 제안됨
  • 집필은 선형적으로 진행되지 않았고, 원고 분량은 늘기만 한 것이 아니라 한때 줄어든 뒤 다시 늘어남
  • 전체 작업에는 10년 이상이 걸림
  • 집필 과정에서 많은 예제를 만들고 다듬었으며, 독자가 예제를 직접 재현하며 배우는 것을 목표로 함

딥러닝 이후에도 이어지는 오래된 아이디어

  • 컴퓨터 비전은 지난 10년 동안 크게 바뀌었지만, 현재 방법들은 과거 컴퓨터 비전과 AI 역사에 깊은 뿌리를 가짐
  • 이름이 바뀌고 일부 아이디어가 새로 등장했더라도, 오늘날의 방법이 이전 개념과 단절된 것은 아님
  • 책은 여러 개념 뒤에 있는 통합적 주제를 강조함
  • 중심 은유 중 하나는 여러 관점(view) 임
    • 실제 물리적 장면을 서로 다른 각도, 센서, 시간에서 바라봄
    • 여러 관점을 모아 그 아래의 현실을 이해함
    • 책도 여러 관점을 결합해 컴퓨터 비전의 기초를 찾는 구조를 취함
  • 2012년 딥러닝 혁명은 컴퓨터 비전의 기반을 더 단단하게 만들었고, 분야 초기에 제안된 많은 아이디어를 작동하는 구현으로 만들 도구를 제공함
  • 딥러닝 이후 초기 아이디어 일부가 한동안 잊혔지만, 시간이 지나며 많은 아이디어가 다시 돌아옴

15개 Part로 보는 책의 범위

  • 대부분의 장은 앞에서 다룬 주제에 대한 이해를 전제로 하므로 순서대로 읽는 것이 좋음
  • Part I: 비전 문제를 소개하고 사회적 맥락에 놓는 동기 주제, 간단한 비전 시스템, 기본 수학 도구
  • Part II: 이미지 형성 과정
  • Part III: 비전 예제를 활용한 학습의 기초와 넓게 적용 가능한 개념
  • Part IV: 컴퓨터 비전의 기반이 되는 신호 및 이미지 처리 입문
  • Part V: Gaussian kernels, binomial filters, image derivatives, Laplacian filter, temporal filters 같은 선형 필터와 응용
  • Part VI: 멀티스케일 이미지 표현
  • Part VII: 비전용 신경망
    • convolutional neural networks
    • recurrent neural networks
    • transformers
    • 특정 아키텍처보다 주요 원리에 초점을 맞춤
  • Part VIII: 이미지의 통계 모델과 그래픽 모델
  • Part IX: 신경망 시대의 두 가지 강력한 모델링 접근
    • 생성 모델링은 자연 이미지 형성과 적절한 기하 규칙을 따르는 합성 이미지를 만드는 통계적 이미지 모델을 다룸
    • 표현 학습은 벡터 임베딩 같은 이미지의 유용한 추상 표현을 찾음
  • Part X: 학습 기반 비전 시스템을 만들 때 생기는 도전 과제
  • Part XI: 2D 이미지에서 3D 세계 구조를 재구성하기 위한 기하 도구와 활용
  • Part XII: 시퀀스 처리와 동작 측정
  • Part XIII: 장면 이해와 객체 탐지
  • Part XIV: 발표, 논문 작성, 효과적인 연구자 태도에 대한 주니어 연구자 조언
  • Part XV: Part I에서 제시한 단순한 시각 시스템으로 돌아가 책의 기법을 장난감 문제에 적용

의도적으로 깊게 다루지 않는 것

  • 최신 컴퓨터 비전의 최신 성과 리뷰는 제공하지 않음
  • 형태 분석, 객체 추적, 사람 자세 분석, 얼굴 인식 같은 많은 응용을 깊게 다루지 않음
  • 이런 응용 주제는 최신 컴퓨터 비전 학회 논문과 전문 모노그래프를 통해 공부하는 편이 더 적합함
  • 책의 초점은 응용 전반의 최신 결과가 아니라 기초 개념임

함께 언급된 관련 책들

  • 일반 컴퓨터 비전 교재로 다음 책들이 언급됨
    • Computer Vision: A Modern Approach
    • Rick Szeliski의 Computer Vision: Algorithms and Applications
  • 물리 기반 기초는 Horn의 Robot Vision이 잘 다룸
  • David Marr의 Vision은 컴퓨터 비전에 입문하게 만든 책으로, 직관과 글이 뛰어난 책으로 평가됨
  • 다중 카메라를 통한 비전 기하는 Hartley와 Zisserman의 Multiple View Geometry in Computer Vision이 상세히 다룸
  • 3D 기하와 관련해서는 Koenderink의 Solid Shape, Faugeras의 Three-Dimensional Computer Vision, Trucco와 Verri의 Introductory Techniques for 3D Computer Vision이 언급됨
  • 학습 관련 교재로는 Mackay, Bishop, Murphy, Goodfellow·Bengio·Courville의 책들이 언급됨
  • 비전의 확률 모델은 Prince의 교재가 잘 다룸
  • 인간 시각 지각에는 Steve Palmer의 Vision Science: Photons to Phenomenology가 중요하게 언급됨
  • 저수준 비전에는 Granlund와 Knutsson의 Signal Processing for Computer Vision, 고수준 비전에는 Ullman의 High-level Vision이 언급됨
  • 빛과 비전에 관한 책으로 Minnaert의 Light and Color in the Outdoors가 언급됨

인용 정보와 강의 자료

  • 책 인용용 BibTeX 항목은 다음 정보를 포함함
    • title: Foundations of Computer Vision
    • author: Torralba, A. and Isola, P. and Freeman, W.T.
    • isbn: 9780262378666
    • lccn: 2023024589
    • series: Adaptive Computation and Machine Learning series
    • year: 2024
    • publisher: MIT Press
  • 인쇄본은 MIT Press에서 구매 가능함
  • 강의자를 위한 슬라이드는 Dropbox에서 다운로드 가능함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • On Research, Writing and Speaking에 흥미로운 대목이 있음: “힘든 일처럼 들린다.” 맞다. 이제는 똑똑함의 문제가 아니다. 이쯤 되면 주변 사람들도 모두 똑똑하다. 대학원에서는 열심히 하는 사람이 앞서 나간다

    • 확실히 통찰력 있음. 누구나 똑똑함만으로 버티는 것이 더는 충분하지 않은 단계에 도달함
      많은 사람은 대학에 들어가며 이를 깨닫지만, 학부는 배울 내용이 명확하고 상한이 있어서 어느 정도 버틸 수 있음. 반면 박사과정은 상한이 거의 없고, 매주 읽어야 할 논문 수가 정해져 있지도 않으며, “이건 시험에 안 나옵니다” 같은 것도 없음. 더 똑똑한 것의 수익이 평평해지는 게 아니라, 그냥 천장이 없음. 더 읽고, 문헌의 홍수를 따라가고, 실험과 방법을 계속 개선할 수 있음
      또 소프트 스킬과 네트워크도 필요함. 학회에 가서 커뮤니티의 흐름을 파악하고, 사람들을 만나 커피를 마시거나 저녁을 먹어야 함. 학부 때처럼 지시를 기다리는 대신 스스로 움직여야 하고, 기존 방법에 대해 충분히 회의적이고 비판적이면서도 커뮤니티가 이해하고 받아들일 만큼 관련 있고 흥미로운 새 아이디어를 내야 함
      강의와 시험이 주는 외부 동기화 없이 스스로 시간을 관리하고 마감과 루틴을 세워야 함. 이런 것들은 사실상 상한이 없고 기대치도 모호함. 충분히 철저히 했는데도 심사자가 새로움을 못 느끼거나 당장의 유행에 잘 맞지 않는다는 이유로 처음으로 거절을 겪을 수도 있음
      결국 박사과정은 누구든 정신적 한계까지 밀어붙일 수 있음. 좌절스럽고, 많은 박사과정 학생에게 악명 높게 힘든 시기임. 물론 학위 취득만 목표라면 “버티기” 전략도 가능하지만, 학계 진로를 노리는 사람은 보통 최소 기준 이상을 기대하고, 학부 때 좋은 성적으로 버텼던 사람일수록 더 그렇다
    • 학부 3학년 때는 열심히 해도 수업을 따라가지 못하는 느낌이었음. 고등학교 성적 평균 90% 수준으로 입학하는 공학 프로그램이었고, 너무 어려워서 2학년까지 학생의 75%가 중도 탈락했음
    • 대학원 때 누군가 이런 내용을 알려줬으면 좋았을 것 같음. 성공적인 대학원생이 되는 법을 배우는 데 너무 오래 걸렸고, 솔직히 학교를 끝낸 뒤에야 제대로 알게 됨

  • 이 분야의 또 다른 좋은 책은 다음과 같음: Computer Vision, Fifth Edition, E.R. Davies, Academic Press, ISBN-13 978-0128092842

    • 또 다른 대표 책은 Szeliski의 Computer Vision 2nd Ed 2022년판임: https://szeliski.org/Book/
      Forsyth & Ponce도 좋지만 이제는 다소 오래됐음. 3D 쪽 고전은 여전히 Hartley & Zisserman의 Multiple View Geometry임

  • 이 책이 무료로 공개되어 있다는 게 놀라움. 저자든 출판사든 공개해 준 쪽에 고마움

    • 기계학습, 컴퓨터 비전, 로보틱스 커뮤니티는 책을 온라인에 무료로 공개하는 문화가 정말 좋음. 이 분야의 최상급 교재들을 무료로 볼 수 있음
      미국에서 교수가 최신판 교재를 수백 달러에 사도록 사실상 요구하는 다른 분야와는 꽤 대조적임. 덕분에 경제적으로 여유가 적은 나라의 사람들도 세계 어디서든 최고의 자료에 접근할 수 있음. 강의 자료와 동영상을 온라인에 공유하는 경우도 많음
    • 정말 그렇고, 감사에 동참함. 다만 PDF로 다운로드할 방법을 찾았는지 궁금함. 학습 자료를 읽을 때는 메모와 참고 표시를 할 수 있어야 한다고 봄

  • “Writing this book” 섹션은 실수로 원고의 2/3에 LLM이 사용된 것처럼 읽힐 수 있음
    아마 LLM이 쓸 거리를 훨씬 많이 제공했다는 뜻일 텐데, 명확히 고치면 좋겠음

    • 그렇게 읽히지는 않음. 실제로 ChatGPT가 처음으로 집필을 도울 수 있었던 도구였고, 이 책의 1/3 미만만 ChatGPT 공개 이후에 쓰였음
      보기에는 그래프 위에 기계학습/인공지능 분야의 중요한 사건을 표시한 것처럼 보임

  • 이 분야에서 일하는 사람이 보면, 이 내용이 아직 얼마나 유효한지 궁금함. 바깥에서 보기에는 컴퓨터 비전을 포함한 기계학습 상당 부분이 지난 2년의 발전으로 완전히 뒤흔들린 것처럼 보임

    • 여전히 매우 유효함. 최근 기법 중 진짜 혁명적인 것은 없고, 모두 같은 기초 위에 있음. 오히려 더 오래된 책들도 읽어두면 좋다고 봄
      허프 변환, Canny 에지, SIFT, Harris 코너 같은 고전적 방법으로 만들어진 실제 수익성 있는 컴퓨터 비전 응용이 많음. 기본 이해 없이 유행어만 늘어놓고 API를 붙이는 사람처럼 보이지 않고 진지한 전문가처럼 보이려면 이런 것들을 알아야 함
    • 아직도 매우 관련 있음. 학계 밖에서 쓰이는 컴퓨터 비전의 대부분은 여전히 오래된 내용이나 고전적 컴퓨터 비전 알고리즘에 기반함
      최신 모델과 기법을 쓸 기회는 생각보다 많지 않음. 대개 그렇게까지 관련이 없거나, 극히 특정한 경우에만 맞거나, 애초에 그 정도 복잡성이 필요하지 않음
    • 특히 GPU 가속을 쉽게 쓸 수 없는 시스템에서는 “고전적” 컴퓨터 비전으로 풀어야 할 문제가 아직 많음. 제한된 연산 자원의 플랫폼에서 동시적 위치추정 및 지도작성(SLAM)을 하는 실무자라서, Structure from Motion 장을 꼭 읽어볼 예정임

  • 이 책을 기반으로 한 컴퓨터 비전 강의가 있는지 궁금함. 동영상 같은 자료가 있으면 알고 싶음

  • 머신 비전에 관한 좋은 책을 추천받고 싶음. 효과적인 머신 비전, 나아가 컴퓨터 비전의 기반은 올바른 카메라, 광학계, 조명을 고르는 데 있다고 봄. 입력이 나쁘면 출력도 나쁘므로 고품질 이미지가 필수임

    • 이런 요소들이 실제로 큰 차이를 만든 사용 사례를 한두 개 들어줄 수 있는지 궁금함
답변달기