В последнее время некоторые сервисы стали все чаще использовать перерасчет данных у своих пользователей «задним» числом. Кроме этого, они могут проводить мероприятия по коррекции данных из-за сбоев различного рода. Усложняется это все тем, что нет информации ни об интервалах, ни о самом алгоритме перерасчета. В связи с этим, вы могли наблюдать расхождения в значениях некоторых показателей, хранящихся в базе данных нашего сервиса и в значениях, отображаемых в интерфейсе источника. Чтобы решить эту проблему, необходимо было самостоятельно выяснить наличие такого расхождения и его период, а затем запустить перезагрузку данных. По этой причине мы разработали новый функционал, который способен справиться с этой задачей без вашего постоянного участия.

Принцип работы

В основе работы данного функционала лежит коэффициент отклонения, который отражает «качество» соответствия данных. Он вычисляется путем сравнения набора данных, который мы получаем из сервиса-источника, без дополнительных обработок с набором, который ранее уже был загружен в базу данных. Сумма абсолютных значений данного коэффициента используется для определения необходимости запуска перезагрузки данных в хранилище.

Подобный подход удается использовать только для тех сервисов, которые имеют необходимые методы API. На данный момент у нас предусмотрена поддержка следующих сервисов:

  • Google AdWords
  • Google Analytics
  • Calltracking.ru
  • Яндекс.Директ

Настройка

Для настройки проверки ваших данных необходимо в разделе «Планировщик заданий» создать новое задание с соответствующим типом:

В следующем окне вам нужно указать ряд параметров:

  • Название обработчика;
  • Интервал проверки. Количество дней, за которые будет происходить сверка данных. На данный момент вы можете выбрать 7, 14 или 21 день;
  • Допустимое отклонение. Это значение в интервале от 0 до 1 000 000, выше которого отклонение в данных будет считаться критичным;
  • Тип источника;
  • Аккаунт, данные которого будут проверяться.

Особое внимание необходимо обратить на опцию «Перезагружать данные», которая позволяет запустить перезагрузку базовой выгрузки в случае если отклонение за день превышает допустимое:

После того, как вы нажмете на кнопку «Продолжить», в таблице раздела появится новое задание, которое будет запускаться каждую ночь после базовых загрузок и сверять данные.

Более детальные сведения по отклонениям можно посмотреть в настройках задания:

Для различных сервисов у нас используются разные наборы параметров и показателей для сравнения, что позволяет получать более детальные сведения по отклонениям. В данной таблице вы увидите, какие показатели участвуют в анализе. Для нашего примера это — Клики, Показы и Расход.

Кроме числовых значений существует также более наглядный вариант отображения в виде диаграммы, на которой показаны общее отклонение за день и уровень допустимого отклонения:

На приведенной выше диаграмме видно, что есть один день, в котором уровень отклонения превышает допустимый. В этом случае, если мы включим опцию перезагрузки данных в данном задании, то данные за этот день будут автоматически перезагружены:

и диаграмма изменит свой вид:

на которой видно, что «всплески» отклонения за 2-е мая были устранены.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *