В последнее время некоторые сервисы стали все чаще использовать перерасчет данных у своих пользователей «задним числом». Кроме этого, они могут проводить мероприятия по коррекции данных из-за сбоев различного рода. Усложняется это все тем, что нет информации ни об интервалах, ни о самом алгоритме перерасчета. В связи с этим, вы могли наблюдать расхождения в значениях некоторых показателей, хранящихся в базе данных нашего сервиса и в значениях, отображаемых в интерфейсе источника. Чтобы решить эту проблему, необходимо было самостоятельно выяснять наличие такого расхождения и его период, а затем запускать перезагрузку данных. По этой причине в сервисе разработан функционал, который способен справиться с этой задачей без вашего постоянного участия.
Принцип работы
В основе работы данного функционала лежит коэффициент отклонения, который отражает «качество» соответствия данных. Он вычисляется путем сравнения набора данных, который мы получаем из сервиса-источника без дополнительных обработок с набором, который ранее уже был загружен в базу данных. Сумма абсолютных значений данного коэффициента используется для определения необходимости запуска перезагрузки данных в хранилище.
Подобный подход удается использовать только для тех сервисов, которые имеют необходимые методы API. Режим механизма проверки может быть настроен независимо для каждого источника данных и отображается в списке источников:
Возможны следующие статусы сверки данных:
- Нет данных – сверка активна, но по каким-то причинам не запустилась
- Корректно – сверка активна, отклонения в данных отсутствуют
- Отклонения – сверка активна и обнаружила отклонения в данных
- Отключено – для данного источника сверка отключена. Возможные причины:
– источник не поддерживает сверку данных
– источник отключен
– сверка отключена пользователем
– необходимые таблицы отключены или для них настроен фильтр
– опция тарифа не активирована
Если сверка отключена пользователем, то включить её можно в настройках источника. Там же можно включить необходимые для работы сверки таблицы:
Если сверка отключена из-за неактивной опции тарифа, то настроить ее работу можно на странице тарифа
Активное задание запускается каждую ночь после базовых загрузок и сверяет данные. Период сверки данных зависит от пакета опций тарифного плана.
Для различных сервисов у нас используются разные наборы параметров и показателей для сравнения, что позволяет получать более детальные сведения по отклонениям. Для нашего примера это:
- клики;
- показы;
- расходы.
Результаты проверки загруженных данных вы можете найти в журнале событий (колонка “Действия” -> Журнал событий -> Сверка) в виде диаграммы, на которой показаны общее отклонение за день и уровень допустимого отклонения:
На приведенной выше диаграмме видно, что есть один день, в котором уровень отклонения превышает допустимый. В этом случае данные за день будут автоматически перезагружены:
и диаграмма изменит свой вид:
На диаграмме видно, что «всплески» отклонения за 2-е мая были устранены.
Диаграмма сверки недоступна, если сверка отключена