▲

뉴욕시 내 모든 텍스트 검색

 (alltext.nyc)
4P by GN⁺ 1일전 | ★ favorite | 댓글 2개
  • 뉴욕시 내의 모든 텍스트를 검색할 수 있는 플랫폼 제공임
  • 사용자는 특정 키워드를 입력하여 다양한 공공 또는 민간 데이터 내에서 텍스트 검색 가능함
  • 도시 전역의 문서, 보고서, 계약서 등 다양한 형식의 텍스트 정보를 지원함
  • 서비스는 빠른 검색 접근성과 자동 인덱싱 기능을 특징으로 함
  • 스타트업 및 IT 전문가에게 의사결정 및 정보 수집 과정에 이점이 있음

서비스 개요

  • 본 서비스는 New York City와 관련된 모든 텍스트 데이터를 통합적으로 검색할 수 있는 도구임
  • 다양한 공공 데이터, 행정 문서, 민간 발행물을 포함하여, 도시 내 정보를 하나의 플랫폼에서 탐색 가능함
  • 사용자는 검색창에 키워드 입력만으로 원하는 주제의 정보를 신속하게 찾을 수 있음
  • 해당 시스템은 도시 규모의 방대한 데이터를 빠르고 정확하게 인덱싱 및 검색하는 기능을 제공함
  • 정보 접근성이 크게 향상되어, 리서치, 분석, 스타트업 아이디어 도출 등 다양한 업무에 활용 이점이 있음

활용 및 대상

  • 본 플랫폼은 뉴욕 내 스타트업, IT 전문가, 데이터 분석가를 주요 대상으로 함
  • 도시 현황 파악, 시장 동향 조사, 정책 분석 등에 유용하게 사용 가능함
  • 복잡한 데이터 소스를 하나로 모아, 중복 검색이나 자료 탐색의 어려움을 크게 해소함

주요 특징

  • 전체 텍스트 검색 및 빠른 결과 제공으로 업무 효율성 증대
  • 데이터 형식이나 출처에 구애받지 않는 포괄적 검색 환경 지원
  • 자동 인덱싱 및 지속적인 데이터 업데이트로 최신 정보 검색 가능

종합 평가

  • 뉴욕시 관련 정보를 한 플랫폼에서 다루는 강력한 통합 검색 도구임
  • 신속한 정보 수집과 객관적 데이터 기반 의사결정에 효과적인 지원 플랫폼임
▲
crawler 1일전  [-]

정말 재밌는데 이걸 만든 곳이 정부도 아니고 구글 같은 기업도 아니란 걸 생각하면 좀 무섭네요
세상에 데이터가 넘치는 걸 느껴요

답변달기
▲
GN⁺ 1일전  [-]
Hacker News 의견

  • 이 사이트에 관한 이 글도 정말 흥미로움 The Pudding의 Street View 프로젝트임

    • The Pudding은 요즘 인터넷에서 볼 수 있는 최고의 콘텐츠 중 하나임

    • 최상단에 추가함

  • 유튜브에는 여러 도시를 도보로 이동하는 영상을 찍는 사람들이 있음. 개인적으로는 도쿄/일본을 걷는 영상이 특히 마음에 듦. 저런 영상으로부터 3D 지도를 만들어 보는 것도 멋질 것 같다고 생각함. 이 분야는 내 전문이 아니지만, 이미 해본 회사들도 있을 것 같음. 저런 영상 속에는 데이터가 엄청나게 많음. 혹시 로봇 훈련용(군중 속을 걷는 배달로봇 등)으로도 무료로 사용할 수 있을지도 모름

    기술적으로는 SLAM, 포토그래매트리, VIO의 조합일 것 같은데 IMU가 없으니 해당 부분은 영상에서 추정해야 함. 프레임과 조명 깜빡임까지 너무 빠를 듯함

    예시 링크: 도쿄 길거리 산책, 또 다른 예시

    • 비슷하게, 부동산 사진 같은 스틸 이미지로부터 평면도를 복원하는 도구가 있다면 정말 유용할 것임. 부분적으로 수동 입력이 필요하더라도 쓸만할 것임

    • 예전에 도쿄 전자상가를 돌며 유튜브 영상을 찍던 분이 있었음. 의외로 스마트폰이나 로봇 부품을 구입하기 좋은 최고의 장소들이 전혀 눈에 띄지 않는 건물들에 있었고, 정말 현지 지식이 없다면 모를 곳이었음. 만약 제안한 대로 진짜 구현된다면 여행자들이 이런 곳을 찾을 때 엄청 도움이 될 것임. 꼭 보고 싶음

  • Google Maps 검색에 이런 기능이 추가된다면 정말 흥미로울 것 같음. 구글맵에서 정보를 찾기가 미흡하다고 느끼는 경우가 흔함. 최근 Gran Canaria 남부에서 수제 커피를 파는 곳을 찾아봤는데, 결국 호텔 안에 있는 한 군데만 있었고 찾는데 30분이나 걸림. "pourover"나 "v60"같이 내가 주로 쓰는 필터 단어로 검색하지만, 카페에서 설명이나 리뷰에 이를 명확히 언급하지 않으면 찾기 힘듦. 고객이 찍은 사진 속 텍스트(예: 메뉴판)가 아예 인덱스되지도 않는 것 같음

    • V60 검색하면 대부분 볼보 차량이 나올 것 같은데, 실제로 카페에서 이런 단어를 찍은 사진이 얼마나 있을지 궁금함

    • 커피숍들이 그런 단어들을 의식하지 않았다면, 이젠 생각해보면 좋을 것임. 솔직히 나도 이 사이트 다시 찾아볼 것 같음

  • 데이터 준비한 사람의 GitHub이 궁금해서 남김. 뉴욕 데이터 분석에 어느 정도 컴퓨팅 자원이 들었는지 궁금함. 내 도시에서도 해보고 싶지만 예산이 너무 부족할 것 같음 yz3440 GitHub 참고 (밑에 댓글들 말이 맞음. 사실 걱정해야 하는 건 컴퓨팅보다 Google Maps API 요금임. 무료로 하면 저자도 몇 년은 걸렸을 거임. 저자의 예산이 부러움)

    • OCR 컴퓨팅 비용은 저렴할 것으로 예상함. 성능 좋은 개인 PC면 밤새 혹은 일주일 정도면 충분하다고 생각함. 문제는 Google Maps API 사용료임. 아트 프로젝트로 인정받아 요금이 면제되지 않는 한 부담이 심함 Maps Platform 가격 보기 대도시에 파노라마 수가 많은 경우 무료티어 이상이면 수천 달러임

    • 기사에 따르면 800만 개의 파노라마를 사용했다는데, Street View API만으로도 약 3만 달러가 들었을 것임 (정적 이미지 API는 해상도가 낮아서 아마 2배로 더 비쌀 것임). OCR은 급하지 않다면 훨씬 저렴할 듯. 예를 들어 PaddlePaddle 서버 돌리는 일반 GPU면 초당 4MP 지원 가능. 몇 천 달러짜리 하드웨어로 3~6개월 정도 작업하면 될 것으로 보임 (해상도, 모델 크기에 따라 다름)

    • 800만 장이라 해서, 일주일간 초당 13.2장 계산임. 궁금한 건 데이터를 Google API를 써서 긁은 건지, 아니면 Google과 협업한 건지임

    • Claude와 계산해 본 결과, 타이베이 거리 사진 전체를 gmap api로 3m 간격으로 긁으면 약 8,000달러 정도 든다고 나옴. 비싸지만 불가능하진 않은 금액임

  • "fuck" 같은 욕설을 검열하는 게 흥미로움. 일부러 완전히 쓴 걸 읽는다고 두뇌가 영향을 받는지는 모르겠음

    • 실제 사진에서 그 단어를 찾아볼 수 있음. 혹시 StreetView 버전에서 어딘가 따로 검열된 거라면 모르겠음

    • 아마도 SEO나 가족 친화 정책(혹은 둘 다) 때문일 것임. 참고로, 유튜브 영상 첫 1분 동안 욕설 금지도 있음

  • "Fool"을 검색하면 OCR 오류가 엄청 많이 나옴. 가려짐 등 이유임 예시 검색 결과 "Surgery of the Fool"이 베스트임

    • "fart" 검색도 마찬가지고 훨씬 더 재미있음 fart 검색 결과 "Fart bird special"이 꽤 웃김. "staff farting only"가 제일 맘에 듦. "BECAUSE THE FART NEEDS", "Juice Fart", "WHOLESALE FARTS"도 있음

  • OSINT(공개 소스 정보 분석)에 아주 유용할 것 같음. 정보기관에서 이미 이런걸 세계 단위로 갖고 있지 않을까 궁금함

  • 정말 멋진 프로젝트임. 만약 CLIP 같은 임베딩까지 넣어서 텍스트 뿐 아니라 "사람 싸움", "고양이와 개", "빨간 테슬라", "광대", "아이와 강아지" 등 의미 기반 벡터 검색도 되었으면 10배 더 멋졌을 것임

  • 관련 프로젝트로 All Text in NYC와 All text in Brooklyn도 있음

  • NY Cerebro라는 서비스가 생각남. 뉴욕 시내 공공 거리 카메라 수백 대로 의미 기반 검색이 가능함 nycerebro.vercel.app (예: "scaffolding" 검색)

    • 공공 거리 카메라 해상도가 너무 낮아 놀랐음. 차량 라이트 반사까지 더해져서 만족스럽지 않음

    • 이 서비스는 예전에 NVIDIA와 Vercel 해커톤에서 1등한 프로젝트임

답변달기