Можно заметить, что базовая выгрузка выгружает не все данные, имеющиеся в сервисе-источнике. Основная причина – объем результирующих данных. Увеличение объема влечет за собой, во-первых, увеличение времени, необходимого для получения данных: каждый онлайн-сервис имеет определенные мощности, выделенные для обработки запросов API, поэтому чем больше данных, тем дольше сервис-источник их будет отдавать. Но наиболее важная проблема это сам объем данных: чем он больше, тем больше требуется места для его хранения в базе, тем больше потребуется ресурсов для его обработки. В связи с этим для некоторых сервисов, которые в потенциале содержат большое количество данных и имеют хорошо развитое API, мы осознанно ограничили базовую выгрузку наиболее используемыми данными. В то же время, мы добавили возможность выгрузки произвольных отчетов из этих сервисов.
Пользовательские отчеты можно создать самостоятельно с любым набором параметров и показателей и в любом количестве. Каждый отчет создаётся один раз и затем обновляется сервисом автоматически аналогично тому, как обновляются данные в базовых выгрузках. Для примера рассмотрим использование выгрузки отчетов из Яндекс.Директ, выгрузка отчетов из других сервисов работает аналогично.
После того, как в разделе «Источники» вы подключили аккаунт Яндекс.Директ, переходим в раздел «Планировщик заданий» и нажимаем кнопку «Добавить новое+»
Далее в выпадающем списке выбираем тип задания «Выгрузка отчетов из Яндекс.Директ»
На следующей странице необходимо указать параметры отчета, которые мы хотим выгрузить. В первую очередь указываем его название, далее выбираем необходимый источник данных (подключенный аккаунт Яндекс.Директ), тип отчета и указываем необходимые поля. Для примера на скриншоте показан отчет по блокам показа объявлений:
Опция «Увеличивать интервал» позволить выбрать глубину выгрузки, т.е. количество дней, за которые будут обновляться данные. Например, вариант «один день» прибавит к выгрузке за текущий день еще один (вчерашний).
Далее необходимо выбрать интервал обновления из предложенных или задать самому. Задание может запускаться до 24 раз в сутки. Формат, в котором задается произвольное время, описан в отдельной статье.
После того, как указали все необходимые параметры отчета, нажимаем кнопку «Продолжить» и запускаем загрузку исторических данных:
После того, как выполнение задания завершено, вы можете просмотреть пример того, как выглядит отчет в настройках задания:
Здесь же необходимо посмотреть и запомнить идентификатор отчета:
Отличительной особенностью данной выгрузки отчетов было то, что в настройках задания мы не указывали галочку «Зафиксировать структуру».
Это приводит к тому, что все выгружаемые отчеты с подобной настройкой сохраняются в одну и ту же таблицу «Выгруженные отчеты», а данные хранятся в формате JSON. Поэтому в редакторе запросов нужно использовать фильтр по идентификатору отчета, а затем преобразовать содержимое полей из JSON и развернуть их. Подобный способ позволяет вносить изменения в структуру отчета после его создания – добавлять новые поля в отчет или удалять лишние.
Если же структура отчета однозначно известна, то тогда можно смело отметить галочку «Зафиксировать структуру», и в этом случае данные отчета будут выгружаться в отдельную таблицу, которая будет иметь имя, начинающееся с префикса сервиса (в случае с Яндекс.Директ это «ЯД») и названия задания. В данной таблице уже будет содержаться отчет в развернутом виде, поэтому в редакторе запросов необходимо будет лишь удалить лишние поля и проверить типы данных.
Дополнительно в поле “Описание таблиц” можно добавить специальное правило, описывающие каким образом полученные сведения должны обрабатываться mybi connect. Это даст возможность сохранять данные в удобном виде в нескольких таблицах. Для выгрузки данных в одну “плоскую” таблицу поле заполнять не нужно
Обратите внимание! Выгрузка данных в формате JSON требует значительно больше ресурсов для хранения данных. Поэтому ее мы рекомендуем использовать для тестирования выгрузки на небольшом промежутке в 2-5 дней, а после определения нужных вам полей – переходить к фиксации структуры и работе с историческими данными. В случае, если нужно зафиксировать структуру готового отчета, то необходимо создать его копию (“Выбрать” – “Создать копию”) и повторить выгрузку исторических данных для отчета.
В качестве примера создавалось задание «Статистика по блокам показа», и при фиксации структуры в базе данных создается таблица «ЯД Статистика по блокам показа».
