- Marginalia Search는 “멋진 인터넷”을 찾기 위한 작은 실험에서 출발해 3년 만에 전업 프로젝트가 되었고, 검색 엔진도 지금까지 가장 안정적인 상태에 가까워짐
- 올해의 핵심 작업은 운영 부담을 낮추고 다른 운영자·개발자가 다루기 쉽게 만드는 코드베이스 정리와 애플리케이션 단순화였음
- 예전에는 인덱스 전환에 며칠간 중단이 필요했지만, 이제는 전환 중단이 사라졌고 최근에는 무중단 업그레이드도 가능해짐
- 검색 품질은 앵커 텍스트 키워드 지원 이후 개선됐으며, 관련성 신호가 자리 잡으면서 결과를 찾는 능력이 크게 좋아짐
- 10억 개 문서 인덱싱 목표는 계속 진행 중이지만 웹의 신호 대 잡음비가 낮아 예상보다 어렵고, 다음 초점은 쿼리 파싱과 실행 개선임
실험에서 전업 프로젝트로 바뀐 3년
- Marginalia Search는 3년 전 작은 실험으로 시작했고, 지금은 전업으로 작업하는 프로젝트가 됨
- 검색 엔진은 아직 개선할 점이 남아 있지만, 현재까지의 상태 중 가장 잘 작동하는 수준으로 평가됨
- 가장 큰 이정표 중 하나는 검색 엔진이 거실을 벗어나 엔터프라이즈 서버로 옮겨간 일임
- 올해는 운영 부담을 감당 가능한 수준으로 낮추고, 다른 운영자와 개발자가 접근하기 쉽도록 코드베이스와 애플리케이션을 정리하는 데 집중함
- 운영 방식도 크게 달라짐
- 예전에는 인덱스 전환 때 며칠간 서비스 중단이 필요했음
- 이제 인덱스 전환 중단은 사라짐
- 최근에는 무중단 업그레이드도 가능해짐
- 과거 몇 주짜리 수동 프로세스였던 작업 중 많은 부분이 GUI에서 버튼을 누르는 방식으로 바뀜
검색 품질과 인덱스 확장
- 검색 관련성에는 앵커 텍스트 키워드 지원이 큰 영향을 줌
- 변경 직후에는 통합이 충분하지 않아 효과가 바로 분명하지 않았음
- 새 관련성 신호가 자리 잡은 뒤 검색 엔진이 관련 결과를 찾는 능력이 크게 좋아짐
- 프로젝트는 NLnet의 지원 덕분에 약 8개월 전부터 전업 작업이 됨
- 너무 많이 일하지 않는 것이 어려운 부분으로 남아 있음
- 최소 주 1일 휴식을 시도하고 있으며, 잘 쉬었을 때 더 똑똑하게 일할 수 있다고 봄
- 10억 개 인덱싱 문서 목표는 계속 진행 중임
- 어려움은 소프트웨어 처리 능력보다 웹의 신호 대 잡음비가 좋지 않다는 점에 있음
- 검색 엔진이 상대적으로 잘 작동하는 큰 이유 중 하나는 무엇을 인덱싱하지 않느냐에 있음
- 인덱스 규모는 1년 전 5,000만~1억 개에서 지난 크롤 기준 2억 2,000만 개로 늘어남
- 다음 크롤 라운드가 끝나면 이미 완료된 두 파티션의 성장세를 기준으로 2억 9,000만~3억 개가 될 가능성이 있음