|
Процессы извлечения данных обеспечивают выполнение задачи извлечения данных из источников данных – автоматизированных информационных систем, файлов данных, форм ввода и т.п.
Полученные из источников данные сохраняются без трансформации в таблицах области извлечения данных (Source Area).
Процессы преобразования данных
Процессы преобразования данных выполняют задачи наполнения таблиц области преобразования данных и области загрузки данных. Эти процессы реализуют следующие функции:
· захват изменений, то есть выделение подмножества записей, которые являются новыми или измененными по отношению к множеству записей, обработанному ранее;
· формирование суррогатного ключа, который содержит каждая запись каждой таблицы области преобразования данных;
· преобразование записей, сохранённых в таблицах области извлечения данных или в области преобразования данных, в записи, состав полей которых соответствует таблицам области оперативного и постоянного хранения описанных моделью данных;
· формирование записей в таблицах-копиях справочников систем-источников, обеспечивающих реализацию алгоритма захвата изменений;
· формирование записей в таблицах соответствия;
· формирование записей в перекодировочных таблицах (включая формирование суррогатных ключей);
· формирование записей во временных таблицах, предназначенных для обогащения данных записей предметными экспертами (при необходимости).
Процессы загрузки данных
Процессы загрузки данных выполняют перенос данных из области временного хранения в область постоянного хранения.
Прежде всего переносится нормативно-справочная информация (справочники), затем загружаются данные в таблицы фактов и формируются агрегаты.
Программные средства ETL
Самыми популярными коммерческими программными средствами, реализующими функции ETL-подсистемы в корпоративном хранилище данных, являются:
· IBM WebSphere DataStage
· Informatica PowerCenter
· Oracle Data Integrator
· SAP BusinessObjects Data Integrator
· SAS Data Integration Server
· и другие.
25)
26)
Многомерная база данных (MDB, Multidimensional Database)
Мощная база данных со специальной организацией хранения - кубами, позволяющая пользователям анализировать большие объемы данных. Многомерная база данных позволяет обеспечивать высокую скорость работы с данными, хранящимися как совокупность фактов, измерений и заранее вычисленных агрегатов.
В специализированных СУБД, основанных на многомерном представлении данных, данные организованы не в форме реляционных таблиц, а в виде упорядоченных многомерных массивов:
· Гиперкубов
Дата добавления: 2015-09-12; просмотров: 13 | Поможем написать вашу работу | Нарушение авторских прав |