이게 https://github.com/openai/openai-chatkit-advanced-samples 이런걸 쉽게 만들 수 있는 Framework이라 보면 되나요?

혹시 Next.js 사용도 문제 없나요?

이해하신 것이 맞습니다. 그런데, FastApps는 파이썬 기반 백엔드라서요.
프론트엔드는 React로 구성되어 있어서 Next.js와 기술적으로 호환은 가능하지만,
FastApps 내부에서 Next.js를 사용하는 구조는 아닙니다.