Источник – внешний онлайн-сервис, позволяющий по API выгружать из него данные. Таким сервисом может быть CRM-система, рекламный кабинет, счетчик статистики, система коллтрекинга или даже простая Google-таблица. Раздел “Источники данных” предназначен для настройки параметров и отслеживания состояния выгрузки, добавления и удаления источников. Здесь можно ознакомиться с примером добавления и настройки на основе источника Яндекс.Директ. Добавление и настройка каждого источника описана в разделах справки по типам источников. Также источники имеют различные статусы, каждый из которых также имеет свои особенности.
После добавления источников окно раздела имеет следующий вид:
Колонка “Название” отображает произвольное наименование источника так, как оно задано пользователем при его добавлении. Колонка “Сервис” – тип источника.
Переключатель “Состояние” имеет два состояния – ON и OFF. Когда источник находится в состоянии ON, для него ежесуточно (с 1 до 7 часов по московскому времени) выполняются основные задания – базовая выгрузка и проверка данных. Также от состояния переключателя зависят дополнительное обновление и удаление устаревших данных, если эти задания настроены пользователем. Когда источник в состоянии OFF, данные остаются в хранилище, но его обработка остановлена за исключением пользовательских отчетов. Если по источнику более месяца не поступает данных, он переключается в статус OFF автоматически.
Колонка “Дата загрузки” отображает метку даты – окончание интервала последней выгрузки данных. Эта дата будет считаться отправной точкой при работе ежесуточной выгрузки данных, следует учитывать этот фактор при ручной перевыгрузке прошлых периодов. Если в этой колонке дата не отображается, то это означает, что после добавления источника выгрузка исторических данных не запускалась и следующая ежесуточная выгрузка пройдёт за 2 прошедших суток
Колонка “Статус загрузки” может принимать следующие значения:
- В очереди – задание на выгрузку поставлено в очередь и будет выполнено по мере освобождения ресурсом серверов
- Загрузка – данные выгружаются, следует дождаться смены статуса. Остановить запущенное задание по выгрузке данных нельзя.
- Успешно – выгрузка закончена, данные находятся в хранилище
- Остановлено – выгрузка не произведена или произведена частично из-за превышения предусмотренного тарифом лимита строк либо окончанием вычислительной мощности
- Ошибка – выгрузка завершилась ошибкой. В случае типовой ошибки её краткое описание можно увидеть во всплывающем сообщении. Более подробную информацию, а также в случае, если сообщение не отображает ошибку, можно получить в журнале событий (Выбрать -> Журнал событий)
Рассмотрим подробно Журнал событий:
- Дата создания – дата/время постановки задания на выгрузку в очередь. Может отличаться от времени непосредственного старта работы выгрузки
- Тип выгрузки может принимать значения Базовая, Отчет (пользовательская) либо Вебхук
- Начало и окончание интервала отображают соответственно даты, с которой и по которую прошла выгрузка. В случае, если вручную был задан большой интервал, сервис автоматически делит его на меньшие отрезки, выгрузка которых происходит последовательно
- Значения Статуса выгрузки аналогичны статусам источника (см. выше)
- Продолжительность отображает длительность работы сеанса выгрузки в секундах. Это значение учитывается при расчете потраченной вычислительной мощности
Последние колонки содержат числа добавленных, измененных и удаленных строк суммарно по всем таблицам. Более подробную информацию с разбивкой по каждой таблице можно увидеть, нажав [+] в первой колонке
В случае же ошибки выгрузки в этом поле отобразится подробная информация по ней
Кроме табличного представления, журнал событий может отображаться также в виде графика (переключатель “По дням” справа сверху), в виде гистограммы, позволяющей выявить, какие таблицы порождают основной расход строк (переключатель “По таблицам”), а также отображать результат проверки данных (переключатель “Сверка”)
Вернёмся к списку источников. Кроме открытия журнала событий, по кнопке Действия – Выбрать можно произвести следующие операции:
- Настройки источника – выбор таблиц и установка фильтров
- Редактировать – изменение названия, а также установка различных опций, уникальных для каждого типа источника
- Загрузить – запуск выгрузки данных вручную. Потребуется указать период выгрузки (начальную и конечную даты)
- Удалить – удаление источника. Источник удаляется вместе со всеми данными в хранилище, операция необратима. Удаление данных проходит в фоновом режиме, источник при этом пропадает из списка сразу
Кроме списка источников, модуль можно переключить на отображение аккаунтов, закладки справа сверху от списка:
Аккаунт можно описать как набор параметров авторизации для получения данных. К одному аккаунту может быть привязано несколько источников. Например, аккаунтом может быть ваш логин в Яндекс или Google, а источниками – рекламные кабинеты, счетчики статистики или отдельные таблицы. Для аккаунта отображаются источники, привязанные к нему (кнопка [+] в первой колонке), дата подключения и дата обновления параметров авторизации (токенов). При необходимости токены можно актуализировать кнопкой “Обновить” – потребуется переавторизоваться в источнике. В отличие от источника, аккаунт из проекта удалить нельзя