- 'FontoGen'이라는 폰트 생성을 위한 생성형 머신러닝(ML) 모델 구축
- 모델은 폰트 설명을 입력으로 받아 폰트 파일을 출력으로 제공
- 저자는 2023년 AI의 부상에 영감을 받아 텍스트에서 SVG 생성을 탐색하게 되었고, 이로 인해 폰트 생성 아이디어를 얻음
- IconShop2 논문을 참고하여 모델을 구축하였고, SVG 생성과 비슷하게 폰트 생성이 가능함을 발견
- 모델은 텍스트 임베딩 다음에 폰트 임베딩이 이어지는 시퀀스로 훈련된 시퀀스-투-시퀀스 모델
- 텍스트 임베딩은 사전 훈련된 BERT 인코더 모델을 사용하여 생성되었고, 폰트 임베딩은 폰트를 토큰 시퀀스로 변환하여 생성
- 모델은 16개의 레이어와 8개의 블록으로 구성된 자동 회귀 인코더 전용 트랜스포머로, 총 73.7백만 개의 파라미터를 가짐
- 저자는 BigBird3 주의를 사용하여 초기 프롬프트에 집중하고 N개의 이전 토큰을 관찰하여 여러 이전 글리프의 스타일을 포착
- 모델은 GPT-3.5를 사용하여 다양한 유형의 설명을 몇 가지 키워드로 요약한 71k개의 고유 폰트 데이터셋에서 훈련
- 훈련 과정은 127시간 소요되었으며, 검증 손실이 거의 개선되지 않을 때 중단
- 저자는 데이터셋 전처리 단계로 가능한 한 많이 이동함으로써 성능을 세 배 향상
- 저자는 디자이너가 생성한 단일 글리프를 기반으로 모든 다른 글리프를 생성하기 위해 모델을 기존 폰트 편집기에 통합하는 등의 잠재적인 미래 응용을 제안