Show HN: Fill 3D - AI 기반 가상 스테이징을 위한 3D Generative Fill

 (github.com/fill3d)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Fill 3D API를 보여주는 스타터 프로젝트이며, AI 기반 가상 스테이징을 위한 3D Generative Fill 구현 예시임
  • 실행 전 .env.example을 .env.local로 바꾸고, fill3d.ai에서 생성한 API key를 FILL3D_API_KEY에 입력해야 함
  • 의존성 설치와 개발 서버 실행은 npm install과 npm run dev로 진행함
  • 개발 서버 실행 후 웹페이지는 http://localhost:3000에서 열 수 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 기술 자체는 인상적이지만, 그 가능성은 꽤 섬뜩함
    내가 사는 곳에서는 부동산 ‘중개인’들이 매물 사진을 포토샵으로 손봐서 완전히 리노베이션되고 가구까지 갖춘 집처럼 보이게 만드는 일이 이미 흔함
    실제로는 집이 비어 있고 상태도 매우 나쁜 경우가 많아서, 이런 기술이 있으면 직접 보지 않고는 부동산 상태를 판단하기가 더 어려워질 듯함
    이제 이런 기술이 광고에 쓰이는 걸 막기는 어렵고, 매물 목록도 사실상 광고가 되었으니 가짜 사진을 부동산 플랫폼에 올리지 못하게 하는 정책·법률이 유일한 해법처럼 보임
    다만 제작자는 이 기술을 구독 모델로 중개업자에게 팔면 큰돈을 벌 수 있을 것 같음

    • 이미 판매 물건을 허위로 표시하는 것에 대한 법은 있는 것 같음
      가구 포함 여부는 계약서에 명확히 적히는 부분이고, 지역마다 다르겠지만 우리 지역에서 가장 흔히 보이는 건 창문이나 집 뒤쪽 사진에 노을을 합성하는 정도임
      다만 중개인이 곰팡이나 누수 피해 같은 걸 지웠는지는 알아차리기 어려울 수 있음
    • 스테이징 포토샵은 예전부터 계속 있었음

  • 예시는 아주 좋아 보임. 더 많은 이미지를 공유할 수 있으면 좋겠음
    다양한 방 종류와 인테리어처럼, 이 도구가 어디까지 처리할 수 있는지 보여주는 예시가 더 있으면 좋겠음
    반대로 무엇을 못 하는지도 궁금함. 망가지는 상황이 있는지 궁금함

  • 놀라움. 삽입된 객체는 확산 모델 + ControlNet으로 생성한 게 아니라, 텍스처가 입혀진 3D 모델을 렌더링한 것임?
    사용할 수 있는 텍스처 3D 모델 세트가 고정되어 있는지, 아니면 프롬프트를 바탕으로 즉석에서 생성되는지도 궁금함

    • 맞음. 지금은 Blenderkit 대화창을 쓰고 있지만, 그 밖으로도 확장할 수 있음
      프롬프트를 입력하고 검색할 때는 실제로 다중 모달 검색이 돌아가서, 예를 들어 ‘red painting’을 요청하면 실제로 빨간 그림을 찾아줌
      그래서 일반 검색보다 말도 안 되게 정확함. 어디에나 AI가 들어가는 중임

  • 내 사용처라면 아파트 꾸미기일 듯함
    침대와 소파는 이미 산 큰 빈 원룸이 있는데, 나머지 빈 공간에 무엇을 채울지 정해야 함
    커피 테이블, 미디어 콘솔, TV나 초단초점 프로젝터, 바, 책장, 책상 같은 것들임
    순수한 콘셉트가 아니라 실제로 구매 가능한 제품들로 채울 수 있으면 좋겠음

    • 맞음, 이건 실제로 로드맵에 있는 기능임
      3D로 생성하기 때문에 사용자가 자기 3D 모델을 가져와 카탈로그에 추가할 수 있음
      Apple의 객체 캡처 같은 것(https://developer.apple.com/augmented-reality/object-capture...)을 붙이면, 소파를 그대로 스캔해서 Fill 3D에 업로드하고 배치한 뒤 생성하는 것도 가능함
      앞으로가 기대됨
    • 아직 써보진 않았지만, 며칠 전에 이런 사용처에 맞는 사이트를 봤음: https://aihomedesign.com
      관계자는 아님

  • 부동산 회사들이 집을 가구 없이 비워둔 뒤, 잠재 구매자가 AR 고글을 쓰고 자기 가구를 놓았을 때 어떻게 보일지 보게 하는 방식을 고려해봤을까?

    • 그냥 휴대폰이나 태블릿을 뷰포트로 써도 될 듯함
      몰입감은 덜하겠지만, 도입 장벽은 훨씬 낮아짐
    • 단일 프레임을 경로 추적으로 렌더링하는 데 1분 이상 걸린다면, 이 정도의 사실감은 현재 AR에서는 불가능해 보임

  • 데크와 현관 포치에도 작동할까?
    건설회사 웹사이트용으로 스테이징이 필요한 데크와 포치 사진들이 있음

  • 데모를 써봤는데 버그가 있는 것 같고, 미리 정의된 데이터베이스의 기존 아이템만 고를 수 있는 듯함

    • 어떤 버그를 만났는지 궁금함
      그리고 맞음. 실제 3D 모델을 쓰고 있기 때문에 모델 세트가 고정되어 있음. 지금은 300개 조금 안 됨
      우선순위가 초현실적 결과라서, 현재 최신 3D 모델 확산 기술로는 부족함. OpenAI Point-e 참고: https://github.com/openai/point-e

  • Fill3D의 ‘경로 추적으로 초현실적 결과를 렌더링’하는 아키텍처와 fxn.ai의 투명 배포 기능을 같이 보니 정말 인상적임
    현재 프로젝트에서 둘 다 쓸 수 있어서 살펴볼 예정임

  • 비즈니스 모델은 어떻게 생각하고 있음?
    나는 작은 MLS의 시스템 관리자인데, 어디에 통합할 수 있을지 고민 중임
    스테이징당 2달러라면 아마 Realtor에게 직접 청구해야 할 것 같음. 우리는 대납 청구를 하지 않는 것으로 알고 있음
    다만 Realtor당 월 몇 건의 스테이징을 포함하는 방식은 가능할지도 모름
    소비자가 직접 스테이징해보는 재미있는 사용처도 떠오르지만, 소비자가 그렇게 하도록 스테이징당 2달러를 내줄 Realtor는 거의 없을 것 같음

    • 이건 제대로 대화해보고 싶음
      대량 가격이면 가격을 꽤 많이 낮출 수 있음
      최종 목표는 사용자가 귀사의 부동산 웹사이트나 MLS 안에서 직접 스테이징할 수 있게 하는 것임
      yusuf@fill3d.ai 로 연락 부탁함

  • https://www.fill3d.ai/에 있는 스크린캐스트는 무엇으로 만들었음?

    • https://www.screen.studio인 것 같음
    • 나도 궁금함
      최근 같은 스타일의 스크린캐스트를 많이 봤는데, 별로 좋아하지 않음
      녹화 영역이 계속 움직여서 꽤 산만함
    • Screen Studio임
답변달기