1P by GN⁺ | ★ favorite | 댓글 1개
  • Princeton University와 University of Washington 연구진이 소금 알갱이 크기의 meta-optics 카메라를 구현해, 같은 수준의 화질을 내는 기존 카메라보다 500,000배 작은 이미징 장치를 제안함
  • 0.5mm 폭의 metasurface 위에 160만 개의 원통형 nano-antenna를 배치하고, 반도체 칩처럼 제조할 수 있는 구조로 소형화 가능성을 높임
  • 기존 meta-optics 카메라는 선명한 광시야각 풀컬러 이미지에 한계가 있었지만, 이번 장치는 풀컬러·광시야각 이미지를 기존 카메라와 비슷한 품질로 생성함
  • 연구진은 AI 최적화로 nano-antenna 설계를 빠르게 계산하고, 물리 기반 신경망으로 카메라가 만든 수차를 제거하는 하드웨어·소프트웨어 통합 파이프라인을 사용함
  • 더 작은 내시경, 스마트폰·웨어러블·AR/VR 카메라, 드론, 표면 전체를 카메라로 만드는 배열, 우주용 초경량 망원경 같은 응용으로 이어질 수 있음

소금 알갱이 크기의 meta-optics 카메라

  • Princeton University와 University of Washington 연구진은 meta-optics 카메라를 소금 알갱이 하나 크기로 구현함
  • 이 카메라는 기존 카메라보다 훨씬 작으면서도 기존 카메라와 같은 수준의 풀컬러 이미지 품질을 목표로 함
  • 같은 수준의 이미지 품질을 포착하는 기존 카메라와 비교하면 500,000배 작음
  • 장치는 연구진이 개발한 초소형 카메라 시스템이며 metasurface 기술에 기반함
    • metasurface에는 160만 개의 원통형 기둥이 박혀 있음
    • 제조 방식은 컴퓨터 칩 생산과 유사함

기존 렌즈의 한계와 metasurface 접근

  • 카메라 설계에서는 장치를 가능한 한 작게 만들면서도 많은 빛을 기록해야 하는 크기와 광량의 절충이 핵심 제약이 됨
  • 스마트폰은 본체가 얇아져도 더 높은 사진 품질을 위해 여러 렌즈를 넣으면서 카메라 모듈이 커지고 돌출되는 사례임
  • metasurface는 빛을 독특한 방식으로 제어할 수 있는 인공 재료임
    • 폭은 0.5mm 수준의 초박형 평면 구조임
    • 표면에는 “nano-antenna”라고 부르는 수백만 개의 원통형 기둥이 있음
    • 각 nano-antenna는 빛을 특정 방식으로 형성하도록 조정될 수 있음
  • 표준 굴절 렌즈는 렌즈 표면 형상과 재료 변화를 통해 성능을 개선하지만, metasurface는 하위 파장 수준에서 빛을 조절할 수 있음
  • 이 카메라의 meta-optic 렌즈는 0.5mm, 센서는 1mm 크기이며, 단일 metasurface가 전통적 렌즈보다 더 큰 빛 조향 능력을 갖도록 설계됨

이전 meta-optics 카메라와의 차이

  • 연구진은 카메라에 metasurface를 쓰는 개념 자체가 아니라, 실제 영상 용도에 쓸 수 있는 품질을 구현하는 데 초점을 맞춤
  • 기존 접근은 선명하고 넓은 시야각의 풀컬러 이미지를 포착하는 meta-optics 카메라 설계에 도달하지 못했음
  • 이번 장치는 풀컬러·광시야각 이미징을 위한 첫 고품질 편광 비의존 nano-optic imager로 소개됨
  • 한 자릿수 규모로 더 큰 기존 카메라와 비교해도 이미지 품질이 동등한 수준임

AI 기반 설계와 후처리 파이프라인

  • 연구진은 하드웨어 설계와 소프트웨어 후처리를 함께 개선해 이전 meta-optics 이미징 시스템의 한계를 줄임
  • 첫 단계는 metasurface 위의 nano-antenna 설계를 AI 최적화 알고리듬으로 계산하는 것임
    • metasurface의 광학 반응을 시뮬레이션하고 해당 기울기를 계산하는 작업은 계산 비용이 큼
    • 연구진은 metasurface 물리를 빠르게 근사하는 “proxy”를 만들어 설계를 빠르게 계산함
  • 두 번째 단계는 물리 기반 신경망으로 카메라가 포착한 이미지를 처리하는 것임
    • 이 신경망은 metasurface 물리를 기반으로 학습됨
    • 카메라가 만드는 수차를 제거할 수 있음
  • 연구진은 metasurface를 최적화 가능한 미분 가능 계층으로 다뤄, 빛으로 계산하는 광학 신경망 계층처럼 최적화함
  • metasurface 물리 시뮬레이터와 후처리 알고리듬은 하나의 파이프라인으로 결합됨
    • 이 파이프라인은 실제 meta-optic 카메라 제작에 쓰임
    • 포착된 이미지를 고품질 풀컬러 이미지로 재구성함
  • 광대역 응용에서 렌즈가 제대로 작동하려면 계산 처리와 결합된 접근이 필요함

의료·소비자 기기·드론 응용

  • 가장 직접적인 응용 분야는 의료 영상
    • 카메라는 작을수록 침습성이 줄어듦
    • meta-optics 카메라를 이용한 초소형 내시경은 새로운 비침습 진단과 수술을 가능하게 할 수 있음
    • 현재 기술로 접근하기 어려운 신체 부위를 촬영할 가능성도 있음
  • 소비자 하드웨어에서도 카메라와 렌즈를 현재 기기보다 한 자릿수 규모로 더 작게 설계할 수 있음
    • 스마트폰 화면이나 스마트폰 뒷면 자체가 카메라가 될 수 있음
    • 안경 같은 웨어러블 표면에 고품질 카메라를 넣을 수 있음
    • VR 헤드셋은 더 가볍고 매끈해질 수 있음
  • 드론도 더 작은 카메라의 영향을 받을 수 있음
    • 정찰 같은 군사용 목적이나 배송 같은 민간 목적 모두 카메라가 필요함
    • 훨씬 작은 카메라는 더 가벼운 드론과 더 낮은 배터리 소비로 이어질 수 있음

표면 전체를 카메라로 만드는 가능성

  • 연구진의 작은 카메라는 큰 카메라를 소금 알갱이 크기 카메라의 평면 배열로 다시 생각하게 함
  • 이런 배열은 표면 자체를 카메라로 바꾸는 방식으로 이어질 수 있음
  • 더 큰 metasurface는 망원경에 필요한 렌즈를 대체할 가능성이 있음
    • 망원경 제작이 쉬워질 수 있음
    • 더 강력한 렌즈를 우주로 보내는 일도 쉬워질 수 있음

제조 방식과 재료

  • metasurface는 컴퓨터 칩 생산에 쓰이는 성숙한 기술과 같은 방식으로 만들 수 있음
  • 오늘날 컴퓨터 칩은 웨이퍼 위에서 생산되며, 하나의 웨이퍼에는 동일한 칩 사본이 수백 개 들어감
  • metasurface도 같은 방식으로 생산되므로 개별 metasurface당 비용을 크게 낮출 가능성이 있음
  • 연구진은 장착 표면에 silica wafer, nano-antenna에는 silicon nitride를 사용함
  • 두 재료 모두 현재 컴퓨터 칩을 생산하는 반도체 제조 기술과 호환됨

더 읽을거리

댓글과 토론

Hacker News 의견들
  • “일반 카메라와 동등한 품질의 풀컬러 이미지를 만든다”는 문구는 기사에 나노 카메라 촬영 예시가 없어서 꽤 회의적이었는데, 원 논문에는 꽤 인상적인 예시가 있음
    https://www.nature.com/articles/s41467-021-26443-0/figures/2

    • 이미지가 인상적인 건 맞지만 “일반 카메라와 동등한 품질”이라는 표현에는 동의하기 어려움
      선명도와 색이 확실히 부족해 보임
    • “초박형 메타광학은 하위파장 나노 안테나로 입사광을 조절해 기존 회절 광학 소자보다 설계 자유도와 공간-대역폭 곱을 높인다”는 설명이면, 기본적으로 가시광 파장대 빔 조향 위상 배열 같은 것인지 궁금함
    • 흥미롭게도 이 논문은 2021년 논문임
    • 이게 어떻게 동작하는지 궁금함
      단순히 신경망으로 이미지를 복원하는 것이라면, Samsung이 흰 원반을 감지했을 때 달 사진을 붙여 넣던 식과 비슷해서 별로 인상적이지 않음
  • 몇 년 전 한 미래학자 인터뷰에서 이런 얘기를 들었음: 언젠가 아이들이 장난감 가게에서 스티커 한 장을 사는데, 각 스티커가 사실 IPv6 주소가 붙은 카메라라는 내용이었음
    어딘가에 스티커를 붙이고 브라우저에서 그 주소를 열면 실시간 카메라 영상을 볼 수 있다는 것임
    이런 기술을 구성하는 요소는 이미 존재하지만, 아직 대량 시장에 풀릴 만큼 싸지지 않았을 뿐이고, 규모의 경제가 작동하면 사회가 물리적 프라이버시의 의미를 크게 다시 다뤄야 한다는 얘기였음

    • 가능할지는 몰라도, 직사광선 없이 그런 시스템에 맞는 에너지 수확 방식은 잘 떠오르지 않음
    • 이 기술이 이미 존재한다는 말에는 매우 회의적임
      “스티커”의 의미를 크게 바꾼다면 가능할지도 모름
  • Vernor Vinge에게 또 하나를 추가해야 할 듯함
    이 기술은 _A Deepness in the Sky_의 보편적 감시를 직접 가능하게 만들 수 있어 보여서 주의 깊게 봐야 함

    • 그의 또 다른 훌륭한 소설 'The Peace War'에 나오는 흩뿌릴 수 있는 감시 카메라도 떠오름
      기억이 맞다면 씨앗 정도 크기였음
      https://en.wikipedia.org/wiki/The_Peace_War
    • 예전부터 스마트 더스트에 관심이 있었는데, 최근에는 관련 소식이 줄어든 듯함
      다른 주제들이 관심과 투자금을 가져갔기 때문일 수도 있지만, 이제 충분히 흥미로운 수준에 도달해서 많은 연구개발팀이 정부 비밀유지계약 아래로 들어갔을 가능성도 있어 보임
    • 누군가 위치 추적기를 만들려고 했다면 실제로 얼마나 작게 만들 수 있을지 궁금함
      덧붙이면 이름은 “Vernor”가 맞음
    • _A Deepness in the Sky_는 읽지 않았지만, 많은 과학소설이 이 부분을 꽤 틀렸다는 점이 흥미로움
      카메라는 항상 모래알보다 훨씬 크게 그려졌음
    • Rudy Rucker의 _Postsingular_도 떠오름
      거기서는 orphidnet 유틸리티 포그가 보편적 지각과 시각화를 가능하게 함
  • 여기서는 다들 프라이버시와 감시를 생각하지만, 나는 이 기술이 나노 카메라를 레이저로 상대론적 속도까지 가속해 다른 태양계를 가까이서 촬영하게 해줄지 궁금함

    • 한동안 Starshot 프로젝트 얘기를 못 들었는데, 이 기술이 다시 활기를 불어넣는 데 도움이 될지도 모름
      Proxima Centauri까지 가지 않더라도, 우리 태양계 안에 더 많은 카메라가 있으면 좋겠음
      https://en.wikipedia.org/wiki/Breakthrough_Starshot
    • 그 이미지를 되돌려 보내려면 같은 수준으로 작은 송신기와 에너지원도 필요함
  • 크기가 매우 작고 시야가 넓다면, 배열 위에 일반 렌즈를 얹어서 스마트폰 카메라에 160×160도급 초광각을 만들 수 있을 듯함
    아주 작은 360×180도 독립형 카메라도 가능하고, AR 안경에 카메라 몇 개를 넣으면 360×160도 범위에서 주변 상황을 매우 잘 파악할 수 있음
    또 다른 응용은 작은 라이트 필드 카메라일 수 있음
    이 기술이 바로 적용 가능한지, 혹은 변형이 필요한지는 잘 모르지만, 작고 저렴한 라이트 필드 카메라가 나오면 촬영 후 초점 조정과 스테레오보다 나은 3D 감지·장면 재구성에 유용할 것임

  • “카메라에서 고품질 이미지를 만들기 위해 독자적인 AI 기반 이미지 후처리를 구현한다”는 설명을 보면, 직관적인 의미에서 일반 카메라와 비교 가능하다고 보긴 어려움

    • 그렇지 않나? 현대 카메라는 모두 같은 일을 함
      업스케일링, 노이즈 제거, 디블러링, 색 조정, 그림자와 하이라이트 보정까지, 처리 파이프라인을 거친 뒤에는 센서가 본 그대로 남는 부분이 거의 없음
      휴대폰 카메라가 전문가용 카메라보다 훨씬 더 극단적으로 할 뿐, 전부 그런 처리를 함
  • 새 소식은 아닌 듯함
    2021년에 공개된 논문이고, 여기에도 올라왔었음
    https://news.ycombinator.com/item?id=29399828

  • 사실이라면 스마트폰에 10,000개 카메라 배열(100×100)을 넣고 계산 사진학으로 흥미로운 일을 할 수 있을지도 모름

    • 대략 계산해 보면, 논문에서는 센서의 원시 데이터에서 실제 이미지를 복원하는 데 약 58ms가 걸린다고 함
      10,000개 센서에 단순 적용하면 약 10분이 걸리지만, 최적화와 병렬화 여지는 분명 있을 것임
      센서는 720×720px 이미지를 만들기 때문에 100×100 배열이면 72,000×72,000px, 즉 약 5기가픽셀 이미지가 됨
      스마트폰이 처리하고 저장하기에는 엄청난 픽셀 수임
    • 결과물 품질에는 센서 크기가 매우 중요함
      그래서 전문가들이 아직도 휴대폰이 아니라 큰 풀프레임 카메라를 들고 다님
      스포츠 촬영 같은 속도 문제도 있지만, 단순화해서 말하면 속도 역시 처리해야 할 데이터 양과 해상도에 영향을 받음
      고해상도 센서는 파일이 지나치게 커지는 문제가 있고, 작은 고품질 사진보다 처리 속도가 느려지고 저장 공간도 훨씬 많이 차지함
      영상에서는 더 심해짐
      Apple이 오랫동안 메인 카메라를 12메가픽셀로 유지한 이유도 그 때문일 가능성이 큼
  • 멋져 보이는 광학 장치 설명은 있지만, 이미지를 실제로 어떻게 기록하는지는 잘 나오지 않음
    여기에 “신경망” 부분까지 있음
    생성형 AI가 통계적으로 가장 그럴듯한 픽셀을 바탕으로 흐릿한 부분을 채워 넣어 “향상”하는 것인지 궁금함
    기사가 꽤 별로임

    • 보기로는 빛의 간섭 패턴에서 이미지를 도출하기 위해 신경망을 쓰는 듯함
      표준 계산 모델로도 할 수는 있겠지만 연산량이 매우 클 것 같음
      그래서 JPEG이 이미지를 손실 형식으로 저장하는 것과 비슷한 의미의 “향상”일지도 모름
  • (2021) 실제 원문은 여기임: https://light.princeton.edu/publication/neural-nano-optics/