На документах, книгах и т.д. нужно не дообучать, а RAG делать. Делал, работает. Доучивать есть смысл только под какую-то специфическую предметную область, если этого нет в базовой модели. Например в первом посте здесь, у меня есть пример дообучения Stable Diffision генерации картинок для ZX Spectrum.