Лаборатория
БОЛЬШИХ данных

EasyScheduler внесен в Единый реестр российского программного обеспечения! 
Читать подробнее

EasyLoader

Для оптимизации разработки и сопровождения систем доставки данных в хранилища данных, компанией EasyData был разработан ряд продуктов, позволяющих автоматизировать типовые задачи сбора и обработки данных с множества источников.
Одним из таких продуктов является инструмент загрузки данных EasyLoader Framework, который представляет собой продвинутый обработчик, а не просто ETL-инструмент, и позволяет автоматизировать выполнение SQL-скриптов в базе данных на уровне языка хранимых процедур и автоматизировать работу с файловыми хранилищами данных.

EasyLoader представляет собой модульный workflow-инструмент, в который встроены функции работы с базами данных, хранилищем HP Vertica и файлами, это полноценный инструмент разработчика, который занимается загрузкой и выгрузкой данных.

Три основных направления использования EasyLoader:

  1. Перемещение данных между источниками: источниками выступают как реляционные базы данных, так и плоские файлы. EasyLoader может быть соединен с любым хранилищем данных. EasyLoader позволяет перемещать данные из файлов в файл, из плоских файлов в базу данных, из базы данных в базу данных, из базы данных в файл – то есть, любые типы перемещения данных. Фактически, это копирование файлов, для которых можно указать маппинг полей источника и приемника, а также конвертацию типов полей. В данном случае, это чистый ETL, который позволяет переносить данные из источника в приемник.
  2. Использование EasyLoader как продвинутого инструмента работы с хранилищем данных HP Vertica - интеллектуальной загрузки данных по разным алгоритмам, зависящим от поставленной задачи. Например, не просто добавить новые записи, а объединить их с существующими, добавить в виде дельты, как изменения от прошлого состояния, или поднять лог операций, обработать и наложить его, получив в Vertica новую картину изменения данных.
  3. EasyLoader как инструмент работы с файлами и файловыми хранилищами данных.

Продукт EasyLoader тесно интегрирован с HP Vertica.

Задачи по загрузке данных в хранилище данных HP Vertica выполняются наиболее оптимальными способами, с учетом особенностей этого сервера данных. Используя все возможности штатного механизма пакетной загрузки, EasyLoader позволяет описать в конфигурации трансформацию загружаемых данных, которая будет произведена сервером HP Vertica прямо на лету во время загрузки данных. Это значительно ускоряет загрузку данных, минимизирует использование ресурсов и дает возможность при трансформации данных использовать всю функциональную мощность HP Vertica.

EasyLoader позволяет автоматизировать типовые операции по управлению файлами и данными на различных источниках и решает ряд следующих задач:

  • Перемещение файлов по заданным правилам между файловыми системами FS/FTP/SFTP с вызовом команд ОС на источниках перемещаемых файлов;
  • Перемещение данных по заданным правилам между файловыми CSV- и реляционными JDBCисточниками;
  • Автоматизация формирования нарастающих данных (инкрементов) из JDBC-источников по нарастающим timestamp и числовым полям;
  • Выполнение SQL параметризированных скриптов на JDBC-источниках данных;
  • Захват изменений из логов Oracle для выявления изменений с выгрузкой результата в формате flat-файлов Oracle Golden Gate;
  • Пакетная загрузка данных из CSV-файлов по заданным правилам в таблицы БД HP Vertica, в том числе с применением алгоритмов деперсонализации (маскировки) значений полей;
  • Оботка flat-файлов Oracle Golden Gate и наложение полученных изменений на таблицы HP Vertica.

EasyLoader зарегистрирован в Едином реестре российского программного обеспечения. Страница продукта: https://reestr.minsvyaz.ru/reestr/100436/

Дата регистрации:
10 Февраля 2017

Рег. номер ПО:
2860

Дата решения уполномоченного органа:
10 Февраля 2017

Решение уполномоченного органа:
Приказ Минкомсвязи России от 09.02.2017 №51

ДОКУМЕНТАЦИЯ

Мы являемся единственной в России компанией, получившей экспертную сертификацию HP Accredited Solutions Expert Vertica Big Data Solutions Administrator. В 2017 году мы получили статус Gold Big Data Platform Specialist.