Как и 60 лет назад, нейронки начали часто сравнивать с мозгом, а у мозга есть психологи (хотя и у нейронов уже появляются исследователи настроений). И как и в любой другой области знаний, у психологов есть свой собственный глоссарий, и я решил составить первый словарь по переводу с психологического на язык MLE.
Меня осенило когда читал статью Kahneman-Tversky Optimisation — это же идея обесценивание в чистом виде)
Итак, первый в мире словарь Psychologist — Machine Learning Engineer:
Выборочное внимание (selective attention) — Attention // комментарии излишни, эту статью знают все
Выгорание — Vanishing Gradients // градиент ещё где-то есть, но до полезного обновления уже не доходит
Газлайтинг — Label Corruption Attack // истинные метки подменены, модель больше не доверяет собственному датасету
Гиперконтроль — Hard Attention // фокус в точку
Границы личности — Constrained Attention // у каждого входа есть предел влияния на твой hidden state
Диссоциация — Stop-Gradient Operation // событие вроде обрабатывается, но связь с чувством “это происходит со мной” разорвана
Защитная реакция — Robustness Patch Under Distribution Shift // не исправляет внутреннюю модель, но помогает не развалиться на новых входах
Избегание — Early Stopping // обучение прекращается ровно перед тем батчем, где могло стать полезно, но неприятно
Катастрофизация — Worst-Case Data Augmentation // из каждого обычного примера генерируем самый страшный out-of-distribution сценарий
Накопленная обида — Gradient Accumulation // градиенты копятся несколько шагов, а параметры не обновляются
Навязчивые мысли — Neural Text Degeneration // модель застревает в повторяющихся нежелательных продолжениях
Низкая самооценка (почти то же что и Синдром самозванца) — In-Distribution Underconfidence // даже на знакомых примерах модель отвечает “вероятно, я ошибаюсь”
Обесценивание — Kahneman-Tversky Optimisation // минимум наград за успехи, максимум штрафов за ошибки
Отрицание — Missing Data Imputation // значения нет, но система подставляет приемлемую замену и продолжает как ни в чём не бывало
Пассивная агрессия — Low-Rank Hostility Adapter // базовая модель вежливая, но маленькая LoRA добавляет токсичный стиль
Перфекционизм — Overfitting // модель не готова к деплою, пока loss не станет метафизически равен нулю
Потребность в одобрении — RLHF // модель учится через внешнюю человеческую оценку того, “хороший” ли был ответ
Прокрастинация — Learning Rate Warmup // Начнем с раскачки
Проекция — Transfer Learning (negative transfer) // модель переносит старое представление на новый домен, хотя там оно уже искажает реальность
Психологическая устойчивость — Robust Generalization Under Distribution Shift // мир вокруг меняется
Рационализация — Post-hoc Explainability // сначала модель выдала странный ответ, потом уверенно объяснила, что так и было задумано
Ревность — Triplet Loss // держи чужого подальше от семьи)
Руминация — Repetition Loops in Neural Text Generation // модель застревает в повторяющемся цикле и снова генерирует то же самое содержание
Самокритика — есть Self-critical Sequence Training и еще Adversarial Self-Supervised Contrastive Learning // Модель сравнивает сэмплированный ответ со своим же baseline-выводом
Самосаботаж — Reward Hacking // агент нашёл reward, но выбрал действие, которое ломает собственную функцию полезности
Созависимость — Co-adaptation // один feature detector становится полезным только в присутствии других и теряет самостоятельность
Травматический опыт — Outlier-weighed Layerwise Sampling for LLM Fine-tuning // один пример получил слишком большой вес и теперь портит всю функцию потерь
Тревожность — Noise Memorization // Система начинает видеть значимый сигнал в шуме и переобучается на случайные паттерны
Эмоциональное подавление — Gradient Clipping // слишком сильные эмоции обрезаются до допустимой нормы
Эмоциональные качели — Training Instability // обучение нестабильно: сигнал то исчезает, то взрывается.
Продолжение следует
