Для оптимизации разработки и сопровождения систем доставки данных в хранилища данных, компанией EasyData был разработан ряд продуктов, позволяющих автоматизировать типовые задачи сбора и обработки данных с множества источников.
Одним из таких продуктов является инструмент загрузки данных EasyLoader Framework, который представляет собой продвинутый обработчик, а не просто ETL-инструмент, и позволяет автоматизировать выполнение SQL-скриптов в базе данных на уровне языка хранимых процедур и автоматизировать работу с файловыми хранилищами данных.
EasyLoader представляет собой модульный workflow-инструмент, в который встроены функции работы с базами данных, хранилищем Vertica и файлами, это полноценный инструмент разработчика, который занимается загрузкой и выгрузкой данных.
Три основных направления использования EasyLoader:
- Перемещение данных между источниками: источниками выступают как реляционные базы данных, так и плоские файлы. EasyLoader может быть соединен с любым хранилищем данных. EasyLoader позволяет перемещать данные из файлов в файл, из плоских файлов в базу данных, из базы данных в базу данных, из базы данных в файл – то есть, любые типы перемещения данных. Фактически, это копирование файлов, для которых можно указать маппинг полей источника и приемника, а также конвертацию типов полей. В данном случае, это чистый ETL, который позволяет переносить данные из источника в приемник.
- Использование EasyLoader как продвинутого инструмента работы с хранилищем данных Vertica - интеллектуальной загрузки данных по разным алгоритмам, зависящим от поставленной задачи. Например, не просто добавить новые записи, а объединить их с существующими, добавить в виде дельты, как изменения от прошлого состояния, или поднять лог операций, обработать и наложить его, получив в Vertica новую картину изменения данных.
- EasyLoader как инструмент работы с файлами и файловыми хранилищами данных.
Продукт
EasyLoader тесно интегрирован с Vertica.
Посмотрите презентацию: "Загрузка данных в ХД Vertica. Технологии захвата и загрузки данных из первичных источников" >>
Задачи по загрузке данных в хранилище данных Vertica выполняются наиболее оптимальными способами, с учетом особенностей этого сервера данных. Используя все возможности штатного механизма пакетной загрузки, EasyLoader позволяет описать в конфигурации трансформацию загружаемых данных, которая будет произведена сервером Vertica прямо на лету во время загрузки данных. Это значительно ускоряет загрузку данных, минимизирует использование ресурсов и дает возможность при трансформации данных использовать всю функциональную мощность Vertica.
EasyLoader позволяет автоматизировать типовые операции по управлению файлами и данными на различных источниках и решает ряд следующих задач:
- Перемещение файлов по заданным правилам между файловыми системами FS/FTP/SFTP с вызовом команд ОС на источниках перемещаемых файлов;
- Перемещение данных по заданным правилам между файловыми CSV- и реляционными JDBCисточниками;
- Автоматизация формирования нарастающих данных (инкрементов) из JDBC-источников по нарастающим timestamp и числовым полям;
- Выполнение SQL параметризированных скриптов на JDBC-источниках данных;
- Захват изменений из логов Oracle для выявления изменений с выгрузкой результата в формате flat-файлов Oracle Golden Gate;
- Пакетная загрузка данных из CSV-файлов по заданным правилам в таблицы БД Vertica, в том числе с применением алгоритмов деперсонализации (маскировки) значений полей;
- Оботка flat-файлов Oracle Golden Gate и наложение полученных изменений на таблицы Vertica.
|
EasyLoader зарегистрирован в Едином реестре российского программного обеспечения. Страница продукта: https://reestr.minsvyaz.ru/reestr/100436/
Дата регистрации:
10 Февраля 2017
Рег. номер ПО:
2860
Дата решения уполномоченного органа:
10 Февраля 2017
Решение уполномоченного органа:
Приказ Минкомсвязи России от 09.02.2017 №51