Определить ботов на сайте

Поиск ботов с помощью Google Analytics

Статья в первую очередь для тех, кто работает с платными каналами трафика. Соответственно, чем больше ваш рекламный бюджет, тем выше необходимость отслеживать ботов в закупаемом трафике. Эти отчеты не дадут вам возможность выследить абсолютно каждую сессию каждого бота, но вы сразу сможете находить крайне наглых партнеров, которые гонят откровенный шлак. Настройка отчетов в Google Analytics занимает 10 минут времени, и столько же в последствии ежедневная проверка.

Настраиваем новый отчет в разделе Customisation. На рис. 1 показан данный отчет.

Antibot Report
Рис.1. Отчет для поиска ботов в трафике по техническим параметрам.
Для вкладки версии браузеров вторым параметром задаем Browsers, см. рис. 2. Тут сразу видно, кто под подозрением.

Боты в платном трафике
Рис.2. Боты выделены красным и синим.
Видим, что у нас часть трафика с 31 и 40 версии Chrome, а сейчас 47 и 48, до которых обновляется подавляющее большинство пользователей автоматически. Плюс видим, что «среднее время сессии» и «показатель отказов» не могут быть правдой для живых пользователей. А вот с Yandex Browser и Internet Explorer ситуация интереснее, версии нормальные, а показатели такие же неправдоподобные. Т.е. смотрим и на метрики, и на сочетание параметров.
Тоже самое для Screen Resolution и Operating System — рис.3 и рис. 4.

Определение ботов по Screen Resolution
Рис.3. Боты, определенные по разрешениям экранов.

Определение ботов по OS
Рис.4. Боты, определенные по версиям операционных систем.

Теперь когда мы знаем, что точно есть боты, сделаем отчет с привязкой к каналу трафика. Структура следующая — дефолтная группировка каналов, версия браузера, Source|Medium, см. рис. 5.

Боты в Source|Medium
Рис.5. Отчет для определения Source|Medium, где есть боты.

Заходим в канал Paid Search или другой канал, где есть платный трафик. Добавляем второе измерение Browser или ищем крайне странные значения метрик, проваливаемся на следующий уровень и видим откуда идет этот подозрительны трафик — см. рис. 6 и 7.

Paid Search Bots
Рис. 6. Версии браузеров. Второй уровень отчета.

Bots by Source
Рис. 7. Source|Medium. Третий уровень. Наша цель.

С помощью таких нехитрых отчетов можно отсеять бо́льшую часть трафика ботов. На рисунках 6 и 7 копеечные цифры, это был GDN трафик, так что не нужно паниковать, что в сетке Google куча ботов, но они присутствуют. Ну и, конечно, это можно использовать для поисков ботов в любом канале, а не только для платных. Просто за платными нужен глаз да глаз, это ведь ваши расходы на привлечение пользователей, не стоит их тратить впустую.