Студопедия  
Главная страница | Контакты | Случайная страница

АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатика
ИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханика
ОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторика
СоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансы
ХимияЧерчениеЭкологияЭкономикаЭлектроника

Процессы извлечения данных

Процессы извлечения данных обеспечивают выполнение задачи извлечения данных из источников данных – автоматизированных информационных систем, файлов данных, форм ввода и т.п.

Полученные из источников данные сохраняются без трансформации в таблицах области извлечения данных (Source Area).

Процессы преобразования данных

Процессы преобразования данных выполняют задачи наполнения таблиц области преобразования данных и области загрузки данных. Эти процессы реализуют следующие функции:

· захват изменений, то есть выделение подмножества записей, которые являются новыми или измененными по отношению к множеству записей, обработанному ранее;

· формирование суррогатного ключа, который содержит каждая запись каждой таблицы области преобразования данных;

· преобразование записей, сохранённых в таблицах области извлечения данных или в области преобразования данных, в записи, состав полей которых соответствует таблицам области оперативного и постоянного хранения описанных моделью данных;

· формирование записей в таблицах-копиях справочников систем-источников, обеспечивающих реализацию алгоритма захвата изменений;

· формирование записей в таблицах соответствия;

· формирование записей в перекодировочных таблицах (включая формирование суррогатных ключей);

· формирование записей во временных таблицах, предназначенных для обогащения данных записей предметными экспертами (при необходимости).

Процессы загрузки данных

Процессы загрузки данных выполняют перенос данных из области временного хранения в область постоянного хранения.

Прежде всего переносится нормативно-справочная информация (справочники), затем загружаются данные в таблицы фактов и формируются агрегаты.

Программные средства ETL

Самыми популярными коммерческими программными средствами, реализующими функции ETL-подсистемы в корпоративном хранилище данных, являются:

· IBM WebSphere DataStage

· Informatica PowerCenter

· Oracle Data Integrator

· SAP BusinessObjects Data Integrator

· SAS Data Integration Server

· и другие.

25)

26)

Многомерная база данных (MDB, Multidimensional Database)

Мощная база данных со специальной организацией хранения - кубами, позволяющая пользователям анализировать большие объемы данных. Многомерная база данных позволяет обеспечивать высокую скорость работы с данными, хранящимися как совокупность фактов, измерений и заранее вычисленных агрегатов.

В специализированных СУБД, основанных на многомерном представлении данных, данные организованы не в форме реляционных таблиц, а в виде упорядоченных многомерных массивов:

· Гиперкубов


Дата добавления: 2015-09-12; просмотров: 10 | Нарушение авторских прав

Концепция витрин данных | Для быстрой загрузки информации из оперативной базы данных, освобождая его как можно скорее. Все необходимые преобразования могут происходить без вмешательства в работу. | Использование | Структурные компоненты CIF | Хранилища данных с архитектурой шины данных | ПОДХОД СВЕРХУ ВНИЗ | ПОДХОД СНИЗУ ВВЕРХ | Пользовательские иерархии | Неоднородные иерархии | Определение гранулярности данных таблиц фактов |


lektsii.net - Лекции.Нет - 2014-2019 год. (0.008 сек.) Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав