В пятницу я проводил для студентов мастер-класс по аналитике контента. Звучит довольно просто: берем выгрузку постов, смотрим на просмотры, лайки и комментарии, находим лучший контент и расходимся довольные.

Мы взяли реальные данные студенческих VK-сообществ СКС, РСО и РСМ за восемь месяцев. Только у СКС получилось 170 постов. Медианный пост набирал 9,7 тысячи просмотров при ER 2,2%. При этом в анти-топ по вовлеченности попали посты с 34–48 тысячами просмотров и ER ниже 0,8%. То есть просмотров много, но люди почти не реагируют. Это хороший контент или плохой?

Правильный аналитический ответ: смотря какая была задача!

Если пост должен был охватить как можно больше людей, то все может быть отлично. Если хотелось вызвать обсуждение — уже не очень. А если задачей были регистрации на мероприятие, то мы вообще ничего не можем сказать: данных по регистрациям и явке в выгрузке не было. Собственно, в этом и была одна из главных идей мастер-класса: метрика без контекста довольно легко создает красивую, но бесполезную картину.

Еще несколько мыслей, которые мы разбирали: - сначала очищаем данные, потом строим графики. В выгрузке были чужие посты, неполный месяц и совсем свежие публикации, которые еще продолжали собирать реакции; - используем медиану. Один вирусный пост может сделать среднее красивым, хотя обычные публикации показывают совсем другой результат; - смотрим метрики в совокупности. Просмотры без ER (и наоборот) показывают только половину картины; - любимая причинно-следственная связь! Если просмотры выросли, а ER упал, это еще не значит, что контент стал хуже. Возможно, публикацию продвигали и привели холодную аудиторию. Возможно, изменился формат. А возможно, это был информационный пост, от которого никто и не ждал комментариев.

Поэтому на каждую найденную аномалию студенты должны были предложить парочку гипотез. А потом придумать, что именно нужно изменить, какую метрику смотреть и что заранее считать успехом. В финале получилась простая цепочка:

аномалия → гипотеза → изменение → метрика успеха.

Я считаю что качественный анализ должен заканчиваться понятным следующим действием, которое можно проверить. Вот ради этого и был мастер-класс. Не чтобы научить студентов строить еще одну сводную таблицу, а чтобы учиться видеть за цифрами решения.