В последнее время некоторые сервисы стали все чаще использовать перерасчет данных у своих пользователей «задним числом». Кроме этого, они могут проводить мероприятия по коррекции данных из-за сбоев различного рода. Усложняется это все тем, что нет информации ни об интервалах, ни о самом алгоритме перерасчета. В связи с этим, вы могли наблюдать расхождения в значениях некоторых показателей, хранящихся в базе данных нашего сервиса и в значениях, отображаемых в интерфейсе источника. Чтобы решить эту проблему, необходимо было самостоятельно выяснять наличие такого расхождения и его период, а затем запускать перезагрузку данных. По этой причине в сервисе разработан функционал, который способен справиться с этой задачей без вашего постоянного участия.
Принцип работы
В основе работы данного функционала лежит коэффициент отклонения, который отражает «качество» соответствия данных. Он вычисляется путем сравнения набора данных, который мы получаем из сервиса-источника без дополнительных обработок с набором, который ранее уже был загружен в базу данных. Сумма абсолютных значений данного коэффициента используется для определения необходимости запуска перезагрузки данных в хранилище.
Подобный подход удается использовать только для тех сервисов, которые имеют необходимые методы API.
Задание запускается каждую ночь после базовых загрузок и сверяет данные. Период сверки данных зависит от пакета опций тарифного плана.
Для различных сервисов у нас используются разные наборы параметров и показателей для сравнения, что позволяет получать более детальные сведения по отклонениям. Для нашего примера это:
- клики;
- показы;
- расходы.
Результаты проверки загруженных данных вы можете найти в журнале событий (колонка “Действия” -> Журнал событий -> Сверка) в виде диаграммы, на которой показаны общее отклонение за день и уровень допустимого отклонения:
На приведенной выше диаграмме видно, что есть один день, в котором уровень отклонения превышает допустимый. В этом случае данные за день будут автоматически перезагружены:
и диаграмма изменит свой вид:
На диаграмме видно, что «всплески» отклонения за 2-е мая были устранены.
Диаграмма сверки доступна только для источника в состоянии “ON”