Для хранения ваших данных мы используем реляционную БД. Если говорить простым языком, то она представляет собой набор связанных между собой таблиц. Поэтому, когда мы говорим “строка”, то имеется в виду строка в какой-либо таблице этой БД.
Для хранения сервис использует схему “звезда”, поэтому при выгрузке одна строка в источнике может трансформироваться в несколько строк в хранилище. Для примера, рассмотрим сущность “сделка” CRM-системы. Одна карточка в CRM после выгрузки будет храниться в БД в следующем виде:
- 1 строка в таблице фактов “Сделки” с исчисляемой информацией (сумма), датами (создания, открытия, закрытия) и ссылками на другие сущности
- 1 строка в таблице “Параметры сделок” с текстовой информацией (наименование, комментарий) и классификаторами (тип, состояние)
- X строк в таблице “Дополнительные параметры сделок” по каждому пользовательскому полю сделки в CRM
- Y строк в таблице “Теги сделок” по каждому тегу сделки
- и т.д.
В зависимости от типа таблицы записи при выгрузке могут как обновляться, так и удаляться и добавляться заново. Для таблиц параметров используется обновление, а для таблиц фактов, дополнительных параметров и любой датируемой информации – удаление и добавление
Как результат, количество обработанных строк может существенно превышать количество записей в источнике