몇달째 sqlite로. 일자별. 200만건, 5GB 수준의 데이터를 처리하는 작업을 수행하고 있습니다.

처리속도는 만족하는데.. 이 녀석을 가공후 다시 엑셀로 만들어서 이해당사자들에게 제공하는 시간이 너무 오래걸리고 있습니다.

OpenPyXl을 사용하는 방식에 연구를 좀 해야할거 같습니다.

무슨 매직이 있는지 몰라도 duckDB + sqlite 조합을 쓴다고 하네요.