Show GN: 시맨틱 모델 레지스트리를 만들어보았습니다.

안녕하세요. 처음 뵙는 자리라 글을 작성하는 손이 떨리네요.

목적

이 서비스는 https://news.hada.io/topic?id=26967 [ AI 이후의 데이터 엔지니어링 ] 글을 보고 떠올라 제작하게 되었습니다.
osi포맷을 중심으로, 여러 시맨틱 모델 양식을 import, export, search 할 수 있게 만들려고 하는 서비스입니다.

만든 이유

현재 시맨틱 모델에 관한 이야기가 점점 늘어나고 있는 추세라고 생각했습니다. 그 과정에서 여러 기업들이 합의한 양식이 OSI(Open Semantic Interchange)라는 양식인데, 얼마전에 1.0이 릴리즈 되었습니다.

이것이 정말로 표준이 될지는 미지수입니다만, 수요가 생기기 이전에 공급망부터 해결하여 국제적인 프로젝트에 기여해보고 싶다는 생각으로 만들게 되었습니다. (다만, 시맨틱 자산 공유라는 부분에 있어서 이것이 정말로 수요가 있는지에 대한 판단은 살짝 접어둔 상태입니다.)

기능

기능은 python sdk, cli, 웹 세 영역으로 나눠서 개발하였으며, 모두 같은 기능을 가지고 있습니다.

• dbt metric flow와 같은 기성 시맨틱 모델을 import하여 osi 형식으로 만들거나, 그 역도 가능하게 하려고 합니다.
  물론 변환 과정에 유실되는 맥락을 어떻게 보충할까도 고민중에 있습니다.
• 또한 단순 검색에서 끝내는게 아니라 검색 이후 프리뷰 확인, measure, dimension등을 쉽게 확인할 수 있도록 편의성 기능도 추가할 예정입니다.
• 그리고 깃허브에서 이미 존재하는 시맨틱 레이어가 인덱싱 됐을 때에는, 원작자와 깃허브 아이디가 같을 시 claim하여 자신의 배포건으로 가져오는 기능이 있습니다.

스택

검색에는 opensearch를 사용하였고, 인프라 관리는 terraform, 백엔드는 fastapi 사용하였습니다.

---

잘 부탁 드립니다.