LANISTR: 구조화 및 비구조화 데이터로부터 학습하기 위한 새로운 프레임워크

• LANISTR은 비정형(이미지, 텍스트) 및 정형(시계열, 표) 데이터를 섭취하고 정렬 및 융합을 수행하며 궁극적으로 예측을 생성함으로써 다중 모드 학습을 가능하게 하는 새로운 프레임워크이다.

• 특히 제한된 규모의 데이터 세트에서 훈련할 때 과적합 및 차선 일반화와 같은 문제와 두 개 이상의 양식이 있는 다중 양식 데이터에 일부 양식이 없는 문제를 해결한다.

• LANISTR의 아키텍처는 모달리티별 인코더와 융합 메커니즘 역할을 하는 다중 모달 인코더-디코더 모듈로 구성되며 교차 주의를 사용하여 교차 모달 관계를 캡처한다.

• LANISTR 방법론의 핵심은 유니모달 및 멀티모달 수준 모두에 적용되는 마스킹 기반 훈련에 뿌리를 두고 있으며, 두 가지 유형의 사전 훈련 목표, 즉 유니모달 마스킹 목표와 유사성 기반 멀티모달 마스킹 손실이 있다.

• LANISTR은 몇 가지 어려운 작업에 대한 최첨단 결과를 달성하여 MIMIC-IV 의료 데이터 세트와 아마존 리뷰 데이터 모두에서 경쟁 기준선을 능가한다.

• 라벨링되지 않은 데이터와 라벨링된 데이터를 함께 사용하여 구조화된 데이터와 비정형 데이터를 학습하는 것의 중요성과 모든 양식을 그대로 적극적으로 섭취하고 감독되지 않은 사전 훈련 동안 많은 양의 라벨링되지 않은 데이터를 활용하며 누락된 양식을 원활하게 처리할 수 있는 능력을 보여준다.

• LANISTR은 의료 진단 및 소매 수요 예측을 포함한 다양한 영역에서 잠재적인 응용 프로그램을 보유하고 있다.