Продукты EasyData

EasyPortal

Модульный workflow-инструмент для автоматизации работы с различными источниками данных,
управления задачами, создания аналитических витрин данных.

Позволяет полностью автоматизировать работу с файловыми источниками, снизить сложность разработки проектов хранилищ данных и ускорить их пилотный запуск.

Документация

Скачать

История изменений

Особенности

Cкорость

Ускорение запуска пилотных проектов хранилищ данных. Быстрое получение структуры источников, генерация структуры таблиц, организация захвата, очистки и консолидации данных, создание аналитических витрин данных.

Простота

Снижение сложности разработки проектов хранилищ данных. Удобная организация командной работы, уменьшение объема кода благодаря шаблонизации, простая настройка стендов разработки, тестирования и промышленной эксплуатации.

Автоматизация

Автоматизация работы с файловыми источниками и веб сервисами. Захват и многопоточное копирование файлов, парсинг разнообразных файловых форматов с буферзацией для пакетной загрузки в базы данных.

Управление

Возможность совершенствования собственного программного обеспечения на Java совместимых платформах. Полноценный функционал управления объектами данных и процессами с визуальным интерфейсом, запуск и контроль выполнения процессов.

Преимущества

Кроссплатформенная среда разработки для Windows, Linux и Mac OS

Централизованный репозиторий структур данных, моделей и процессов

Low-code подход с шаблонизацией решений

Онлайн и оффлайн командная работа с помощью Git

Интеграция с Java приложениями

Центр управления работой задач по расписанию на серверах

ETL язык работы с источниками данных на базе Java и Groovy

Командная работа в EasyPortal

Для обеспечения командной работы в EasyPortal все метаданные хранятся в централизованном файловом репозитории.

Для работы сотрудников с порталом можно развернуть серверную инсталляцию или установить локальную инсталляцию на машины сотрудников. Репликация изменений репозитория производиться с помощью системы контроля версий Git. Интерфейс EasyPortal реализован в парадигме тонкого клиента и поддерживает работу на базе любого браузера.

Для удобства пользователей EasyPortal дополнительно предоставляет приложение в виде рабочего места, с помощью которого можно работать с локальным и удаленным репозиторием без необходимости использовать браузер. Рабочее место поддерживается для ОС Windows, Linux X-Server и Mac OS.

Возможности EasyPortal позволяют команде вместе решать множество ряда задач:

Аналитикам – подключаться к источникам, исследовать их структуры данных, конвертировать описание данных в структуры таблиц баз данных и разрабатывать модели маппинга и трансформации данных;
ETL специалистам – проектировать процессы захвата, очистки и консолидации данных, разрабатывать процедуры расчета аналитических витрин;
Специалистам тестирования – генерировать эталонные данные для тестирования, разрабатывать юнит тесты проверки работы процессов, проводить нагрузочное и функциональное тестирование на выделенных стендах;
DevOps инженерам – выпускать патчи изменений и документацию репозитория проекта, контролировать запуск задач по заданному расписанию и правилам на серверах промышленной среды.

Работа с источниками данных

С помощью EasyPortal можно автоматизировать работу с различными источниками данных:

РСУБД: PostgreSql, MySql, MS SQLServer, Oracle, IBM DB2, H2 database, FireBird, SQLite
ХД: Vertica, Green Plum, Netezza, ClickHouse
Hadoop: Hive, Impala
Файловые: CSV, Excel, DBF, JSON, YAML, XML
Другие: Kafka, Web services, HDFS

Для файловых источников поддерживается работа со следующими файловыми системами:

Локальные
FTP
SFTP
HDFS

Для обеспечения работы процессов на серверах стендов разработки, тестирования и промышленной эксплуатации в EasyPortal обеспечивается раздельное хранение параметров подключения к источникам для объявленных в репозитории стендов. В зависимости от той среды, в которой запущен процесс, будут автоматически использоваться подключения источников к серверам востребованного стенда.