+7 499 390-88-92
  info@easydata.ru
 

Лаборатория
БОЛЬШИХ данных
 
×
Меню
Индекс

Задачи, решаемые EasyLoader

 
 
EasyLoader –это инструмент разработчика, который занимается загрузкой и выгрузкой данных. Он представляет собой модульный workflow-инструмент, в который встроены функции работы с базами данных, хранилищем HP Vertica и файлами.
 
EasyLoader – не просто ETL-инструмент, а продвинутый обработчик, который позволяет автоматизировать выполнение SQL-скриптов на уровне языка хранимых процедур в базе данных и автоматизировать работу с файловыми хранилищами данных. EasyLoader является расширяемой платформой, так как написан на расширении JAVA-языка GROOVY.
 
EasyLoader позволяет автоматизировать типовые операции по управлению файлами и данными на различных источниках и решает ряд следующих задач:
 
 
Класс ETL-продуктов позволяет реализовывать примерно схожий круг задач, однако EasyLoader на их фоне является более высокоуровневым средством доставки и обработки данных, позволяющим задать правила, что нужно сделать, но не описывать алгоритмы решения, как это требуется реализовать. Фактически, EasyLoader является декларативным ETL-средством, не требующим описания цепочек движения данных, маппинга полей источников и приемников, указания преобразования типа данных, реализации способов оптимальной массированной пакетной загрузки данных в хранилище данных или алгоритмов выделения изменений у источников. Все эти возможности уже изначально присутствуют в продукте. Использование языка DSL для описания постановки задачи позволяет гибко указать различные нюансы и индивидуальные правила перемещения данных, расширяя возможности продукта. Используемые возможности динамической типизации Java позволяют не привязываться к жестким схемам данных источников и на лету в момент обращения к ним, получать из существующих структур данных требуемые данные, перемещая их в приемники данных. Это позволяет быстро и легко разрабатывать задачи по выгрузке, загрузке и перемещению данных и файлов без затрат на кодирование множества исполняемых задач (job-ов) на различные источники данных или разработке сложных в сопровождении и понимании шаблонов обработки разных типов данных для типовых задач, что широко распространено в ETL-продуктах различных компаний.
 
EasyLoader тесно интегрирован с HP Vertica. Задачи по загрузке данных в хранилище данных HP Vertica выполняются наиболее оптимальными способами, с учетом особенностей этого сервера данных. Используя все возможности штатного механизма пакетной загрузки, EasyLoader позволяет описать в конфигурации трансформацию загружаемых данных, которая будет произведена сервером HP Vertica прямо на лету во время загрузки данных. Это значительно ускоряет загрузку данных, минимизирует использование ресурсов и дает возможность при трансформации данных использовать всю функциональную мощность HP Vertica. Так же EasyLoader подключает к HP Vertica собственную библиотеку, позволяющую непосредственно в момент загрузки производить маскировку загружаемых данных. Поддерживаются различные алгоритмы маскировки данных, как в зависимости от типов полей, так и по бизнес-значениям (например:  адрес, ФИО, номер счета, номер телефона и т.д.).