💬 «Когда ты веришь в статистику, как в гороскоп»
👩💼 Руководитель: У нас A/B тест — рост 12%. Что делаем? 👨💻 Менеджер: Запускаем на всю страну! Красивые цифры — успех. 👩💼 Руководитель: Откуда эти пользователи? Есть ли выбросы? Как ведёт себя p‑value при ресемплинге? 👨💻 Менеджер: Эм… я верю в статистику. 👩💼 Руководитель: Отлично. Верь в данные, но сначала их проверь. Вера без проверки — это маркетинг, не наука.
• 95% — это не гарантия, это вероятность. Никогда не читай число как обещание. • Проверь источник данных: кто, где, когда, почему — это меняет всё. • Ищи смещения и выбросы — они портят даже «идеальные» A/B‑тесты. • p‑value и одна метрика не спасут. Делай бутстрэп, sensitivity analysis. • Покажи бизнес‑значимость, а не только статистическую значимость.
Практический чек‑лист вопросов:
1. Кто и как собрал выборку? 2. Есть ли смещения и выбросы? 3. Повторяется ли эффект на других срезах? 4. Как ведёт себя p‑value при ресемплинге/бутстрэппинге? 5. Это бизнес‑значимо или только статистически заметно?
• A/B тест дал +12%, но 80% трафика пришло из одного аэропорта — итог провал на всём рынке. • Красивый lift, но эффект исчез после удаления трёх выбросов — значит, не масштабируемо.
Статистика — не магия. Это как бывший: сначала кажется надёжной, потом начинаешь сомневаться. Проверяй всё: кто, где, когда, почему. И не забудь — выбросы не только в данных, но и в решениях.
#DataScience #Глава7 #РазберисьВДанных #MLHumor #Сетка #МенеджерПротивСтатистики #ГороскопДляАналитика