EasyLoader является консольным JAVA-приложением, что позволяет использовать его как приложение в Windows и Linux системах или как JAR-модуль, интегрируемый в другие JAVA- приложения или сервера. Для описания доступа к источникам, метаданным структур источников и правил работы с данными и файлами используется DSL язык, описываемый в JSON- формате. Для выполнения задачи EasyLoader читает все указанные для задачи конфигурационные файлы, проверяет корректность заполнения параметров и правил в них. После необходимых проверок, EasyLoader компилирует для поставленной задачи план работ и запускает его на выполнение. Трассировка всех действий выдается в консольный лог приложения, ход работ фиксируется в текстовом лог-файле, а возникающие предупреждения и ошибки после выполнения задачи также могут быть использованы в email-рассылке заданным адресатам. В случае необходимости бизнес-логику работы задачи можно расширить, дописав собственный класс обработки потоков данных в задаче. Для случаев, когда архитектура решения требует применения новых типовых алгоритмов обработки задач, возможно написание таких собственных алгоритмов и подключение их как плагин-модулей, которые наравне с базовыми будут использованы в продукте.
Три основных направления использования EasyLoader:
Перемещение данных между источниками: источниками выстыпают как реляционные базы данных, так и плоские файлы. EasyLoader может быть соединен с любым хранилищем данных. EasyLoader позволяет перемещать данные из файлов в файл, из плоских файлов в базу данных, из базы данных в базу данных, из базы данных в файл – то есть, любые типы перемещения данных. Фактически, это копирование файлов, для которых можно указать маппинг полей источника и приемника, а также конвертацию типов полей. В данном случае, это чистый ETL, который позволяет переносить данные из источника в приемник.
Использование EasyLoader как продвинутого инструмента работы с хранилищем данных HP Vertica - интеллектуальной загрузки данных по разным алгоритмам, зависящим от поставленной задачи. Например, не просто добавить новые записи, а объединить их с существующими, добавить в виде дельты, как изменения от прошлого состояния, или поднять лог операций, обработать и наложить его, получив в Vertica новую картину изменения данных.
EasyLoader как инструмент работы с файлами и файловыми хранилищами данных.