Yallax | чат-боты
02.04
ГОЛАЯ ПРАВДА О FINE-TUNING: КАК Я ПРОСРАЛ 50 КОСАРЕЙ И ВЫУЧИЛ 3 УРОКАОбучение моделей - это как свидание с горячей цыпой из Tinder. На фотках - Марго Робби, а на встрече - хер пойми что с манией величия и запросами на 5 звездочные рестораны.
Год назад я встретил клиента-мечту с жирным бюджетом. "Нам нужна своя модель для медицинских текстов," - говорит. Я уже мысленно на Бали, потягиваю коктейль. А в итоге?
Сижу в ахуе, смотрю на базовую GPT, которая делает всё то же самое, но бесплатно.
Вместо лутать чужие ошибки, я лутанул свои. Тучу данных собрали, кастомные датасеты, месяц препроцессинга, настройка параметров как у девственника в первую брачную ночь - и всё вп*зду.
Результат просто охуенно посредственный.
Конкуренты тоже прошли по этим граблям. Недавний ресерч показал, что 68% компаний в нашей сфере, доебавшихся до fine-tuning, в итоге вернулись к более дешевым решениям.
Крупняк с их миллионными бюджетами получили прирост качества всего на 8-12%.
Уроки, которые я вынес:
Первый: Не делай из fine-tuning культ. Иногда хорошо настроенные промпты с правильным контекстом дают тот же результат за 0.1% стоимости.
Второй: Если уж ебашишь fine-tuning, то фокусируйся на данных, а не на гиперпараметрах. 80% успеха зависит от качества данных, а не от твоей виртуозности в настройке модели.
Третий: Начинай с малого. RAG-системы и эмбеддинги часто решают те же задачи без ебли мозга с обучением моделей.
Я теперь даю клиентам пруф концепт на базовых моделях перед тем, как предлагать кастомные решения. Сохраняет деньги, нервы и репутацию.
Пишите "тюнинг" в личку, ничего не скину, но посочувствую, если вы попадали в такие же ситуевины👌🏻
еще контент в этом сообществе
еще контент в этом соообществе
Yallax | чат-боты
02.04
войдите, чтобы увидеть
и подписаться на интересных профи