 |
Выгрузка данных из пользовательских файлов на Яндекс Диск может быть удобным инструментом при использовании других источников в mybi connect. К примеру, вы можете выгрузить данные из Директа, а после этого добавить к ним справочник расшифровки названий кампаний, который находится у вас в отдельном файле. В отличие от источника “Файл”, при размещении файла на Яндекс Диске данные из него обновляются только при изменении файла. В этой статье мы рассмотрим функционал mybi connect для получения данных этого источника.
Для того, чтобы добавить новый источник данных, в интерфейсе mybi connect необходимо в левом боковом меню сервиса выбрать пункт “Источники данных” и нажать на кнопку “Добавить новый+”, после чего перейти в раздел “ПРОЧЕЕ” и выбрать источник Яндекс Диск, нажав на кнопку “подключить”:
В открывшейся форме необходимо заполнить поля настройки источника:
Поле “Название источника” может быть любым и необходимо для того, чтобы вы могли однозначно идентифицировать этот источник среди других. Также необходимо выбрать аккаунт Яндекс. Если вы ранее уже подключали аккаунт, то сервис его запоминает и позволяет повторно использовать без предварительной авторизации в нем и предоставления доступа.
После нажатия кнопки “Продолжить” сервис подключится к аккаунту, в котором вы на данный момент авторизованы и перенаправит вас на следующий шаг настройки.
Следующий экран настройки содержит список доступных для импорта данных файлов на вашем Яндекс Диск. Поддерживаются следующие типы:
- CSV (текстовый файл с разделителями);
- Excel;
- JSON;
- ORC;
- Parquet;
- XML.
Выберите файл и нажмите “Продолжить”.
В зависимости от типа файла будет отображен разный набор настроек.
В поле “Кодировка” укажите кодировку файла, например “utf-8” или “windows-1251”.
В полях “Пропустить строк” и “Загрузить строк” указываются соответственно строки с данными для загрузки. В самом простом случае, если данные идут с первой строки, то пропускается 0 строк и загружаются строки до указанной, либо все строки с данными, если поля не заполнены.
Флажок “Названия колонок” следует отметить, если первая строка данных содержит заголовок таблицы. В этом случае она загрузится не как данные, а из нее будут считаны названия колонок для отображения на следующем экране. Нажмите “Продолжить”.
На окне настройки структуры данных можно указать параметры будущей таблицы данных: название поля таблицы (алиас), название поля в представлении (описание), тип исходных данных в поле, агрегацию для числовых полей для модуля визуализации (если агрегация не указана, то поле считается параметром, если указана – показателем). Также при необходимости можно заполнить поле “Опция”, где указывается:
- для строковых полей – длина строки (по умолчанию 256);
- для чисел с плавающей точкой – формат (по умолчанию 18,2);
- для дат и даты/времени – формат исходной даты в формате Python.
При желании можно загружать не все поля, выбрав нужные флажками слева. Если файл содержит несколько листов, то переключение между листами осуществляется справа сверху. В этом случае для каждого листа создается отдельная таблица.
После ввода всех необходимых данных необходимо завершить настройку источника, нажав на кнопку “Сохранить”.
После завершения подключения в таблице “Источники” появится новый источник данных с указанным в ходе настройки названием. Если вы используете Триал, то автоматически запустится выгрузка данных за 2 последних дня. Далее можно запустить загрузку данных, выбрав в колонке “Действия” в строке добавленного источника пункт меню “Загрузить”:
По завершению загрузки данные появятся в базе в таблице, структура которой отображается в настройке источника:
Кроме возможности выбора полей при настройке источника в базовой выгрузке также существует функционал фильтрации, позволяющий ограничить данные, загружаемые в те или иные таблицы. Вот пример использования фильтра:
Этот фильтр позволяет хранить в БД только, например, продажи в рублях.
На этом настройка базовой выгрузки закончена. В дальнейшем данные из файла будут автоматически выгружаться в базу данных, доступ к которой вы можете найти в разделе “Хранилище данных“. При выгрузке все строки из таблицы удаляются и заполняются из файла заново. Перевыгрузка данных происходит только при изменении файла на Яндекс Диске.
Мы будем рады вашим вопросам и рациональным комментариям относительно функционала сервиса в чате нашего телеграм-канала @mybi connect