+7 499 390-88-92
  info@easydata.ru
 

Лаборатория
БОЛЬШИХ данных
 
×
Меню
Индекс

Архитектура и принцип работы EasyLoader

 
 
EasyLoader является консольным JAVA-приложением, что позволяет использовать его как приложение в Windows и Linux системах или как JAR-модуль, интегрируемый в другие JAVA- приложения или сервера.  Для описания доступа к источникам, метаданным структур источников и правил работы с данными и файлами используется DSL язык, описываемый в JSON- формате. Для выполнения задачи EasyLoader читает все указанные для задачи конфигурационные файлы, проверяет корректность заполнения параметров и правил в них. После необходимых проверок, EasyLoader компилирует для поставленной задачи план работ и запускает его на выполнение. Трассировка всех действий выдается в консольный лог приложения, ход работ фиксируется в текстовом лог-файле, а возникающие предупреждения и ошибки после выполнения задачи также могут быть использованы в email-рассылке заданным адресатам. В случае необходимости бизнес-логику работы задачи можно расширить, дописав собственный класс обработки потоков данных в задаче. Для случаев, когда архитектура решения требует применения новых типовых алгоритмов обработки задач, возможно написание таких собственных алгоритмов и подключение их как плагин-модулей, которые наравне с базовыми будут использованы в продукте.
 
 
 
Три основных направления использования EasyLoader: