Читайте также:
|
Вариант № 14
1. Сравните технологии использования систем управления базами данных и информационных хранилищ данных. Каковы их особенности, преимущества и недостатки?
Хранилище данных имеет преимущества в сравнении с использованием оперативных систем или баз данных, в приведены следующие из них:
• В отличие от оперативных систем, хранилище данных содержит информацию за весь требуемый временной интервал -вплоть до нескольких десятилетий -в едином информационном пространстве, что делает такие хранилища идеальной основой для выявления трендов, сезонных зависимостей и других важных аналитических показателей.
• Как правило, информационные системы предприятия хранят и представляют аналогичные данные по-разному. Например, одни и те же показатели могут храниться в различных единицах измерения. Одна и та же продукция или одни и те же клиенты могут именоваться по-разному. В системах хранилищ несоответствия в данных устраняются на этапе сбора информации и погружения ее в единую базу данных. При этом организуются единые справочники, все показатели в которых приводятся к одинаковым единицам измерения.
• Очень часто оперативные системы вследствие ошибок операторов содержат некоторое количество неверных данных. На этапе помещения в хранилище данных информация предварительно обрабатывается. Данные по специальной технологии проверяются на соответствие заданным ограничениям и при необходимости корректируются (очищаются). Технология обеспечивает построение аналитических отчетов на основе надежных данных и своевременное оповещение администратора хранилища об ошибках во входящей информации.
• Универсализация доступа к данным. Хранилище данных предоставляет уникальную возможность получать любые отчеты о деятельности предприятия на основе одного источника информации. Это позволяет интегрировать данные, вводимые и накапливаемые в различных оперативных системах, легко и просто сравнивать их. При этом в процессе создания отчетов пользователь не связан различиями в доступе к данным оперативных систем.
• Ускорение получения аналитических отчетов. Получение отчетов при помощи средств, предоставляемых оперативными системами, -способ неоптимальный. Эти системы затрачивают значительное время на агрегирование информации (расчет суммарных, средних, минимальных, максимальных значений). Кроме того, в текущей базе оперативной системы находятся только самые необходимые и свежие данные, в то время как информация за прошлые периоды помещается в архив. Если данные приходится получать из архива, продолжительность построения отчета возрастает еще в два-три раза. Следует также учитывать, что сервер оперативной системы зачастую не обеспечивает необходимую производительность при одновременном построении сложных отчетов и вводе информации. Это может катастрофически сказываться на работе предприятия, так как операторы не смогут оформлять накладные, фиксировать отгрузку или получение продукции в то время, когда выполняется построение очередного отчета. Хранилище данных позволяет решить эти проблемы. Во-первых, работа сервера хранилища не мешает работе операторов. Во-вторых, в хранилище помимо детальной информации содержатся и заранее рассчитанные агрегированные значения. В-третьих, в хранилище архивная информация всегда доступна для включения в отчеты. Все это позволяет значительно сократить время создания отчетов и избежать проблем в оперативной работе.
• Построение произвольных запросов. Информацию в хранилище данных недостаточно только централизовать и структурировать. Аналитику нужны средства визуализации этой информации, инструмент, с помощью которого легко получать данные, необходимые для принятия своевременных решений. Одно из главных требований любого аналитика -простота формирования отчетов и их наглядность. В случае оперативных систем построение отчетов часто лишено гибкости; чтобы создать новый отчет, приходится задействовать специалистов ИТ-отдела, которые объединяют данные нескольких систем. В случае же использования хранилища данных решение проблемы предоставляет технология OLAP (On-Line Analytical Processing). Эта технология обеспечивает доступ к данным в терминах, привычных для аналитика. Технология OLAP базируется на концепции многомерного представления данных. Действительно, каждое числовое значение, содержащееся в хранилище данных, имеет до нескольких десятков атрибутов (например, количество продаж определенным менеджером в определенном регионе на определенную дату и т.п.). Таким образом, можно считать, что работа идет с многомерными структурами данных (многомерными кубами), в которых числовые значения расположены на пересечении нескольких измерений. Именно этот подход используется в OLAP-системах. Они предоставляют гибкие средства навигации по многомерным структурам -так называемые OLAP-манипуляции. С их помощью аналитик может получать различные срезы данных, "крутить" данные.
Как видно из перечисленных преимуществ использования технологии хранилищ данных, большая их часть может существенно упростить, повысить скорость и качественно улучшить процесс Data Mining. Таким образом, комплексное внедрение этих технологий дает разработчикам и пользователям неоспоримые преимущества перед использованием разрозненных баз данных различных информационных систем при создании систем поддержки принятия решений.
Процесс Data Mining является своего рода исследованием. Как любое исследование, этот процесс состоит из определенных этапов, включающих элементы сравнения, типизации, классификации, обобщения, абстрагирования, повторения. Процесс Data Mining неразрывно связан с процессом принятия решений. Процесс Data Mining строит модель, а в процессе принятия решений эта модель эксплуатируется. Рассмотрим традиционный процесс Data Mining. Он включает следующие этапы:
• анализ предметной области;
• постановка задачи;
• подготовка данных;
• построение моделей;
• проверка и оценка моделей;
• выбор модели;
• применение модели;
• коррекция и обновление модели.
Технология iSCSI (ныне входит в употребление термин IP-SAN) — метод для организации SAN-сети через обычную сетевую инфраструктуру Ethernet. Она прошла ратификацию в IETF в конце 2003 года (RFC3720) и на сегодняшний день является широко распространенной и стандартной.
iSCSI является функциональным эквивалентом известного протокола FibrеChannel, также как FC, технология iSCSI позволяет организовывать сеть хранения данных, подключать к серверам или рабочим станциям диски и иные устройства хранения (например, ленточные устройства для бэкапа) с тем, чтобы использовать их так, как будто они подключены непосредственно к этим компьютерам. Технически это осуществляется путем инкапсулирования («заворачивания») команд и блоков данных обычного SCSI в IP-пакеты. Это достаточно обычная и традиционная для IP технология, используемая не только в iSCSI. «Обернутые» в IP пакеты SCSI («SCSI-over-IP») могут пересылаться по обычной сети Ethernet или даже Интернету. Попадая к получателю, они извлекаются из «обертки» IP и в дальнейшем, с точки зрения конечного пользователя, это те же самые SCSI-пакеты, словно они прошли не через Ethernet, а через обыкновенный SCSI-кабель. Строго говоря то, что мы привыкли называть FibreChannel (FC), есть на самом деле «SCSI-over-FC», то есть точно таким же образом пакеты FC переносят блоки и команды SCSI, и разница с iSCSI тут на «транспортном уровне». А существует, например, «Video-over-FC», ограниченно применяется в высокопроизводительных системах видеообработки, например в «боевых» авиационных симуляторах.
Преимуществом-же iSCSI является то, что он работает всюду, где пройдет обычный IP, что на практике означает «вообще всюду». Хоть по модему, хоть через всю планету. На практике же обычно используется уже достаточно широко распространенный Gigabit Ethernet, обеспечивающий «скорость провода» около 1GBit в секунду (около 100 мегабайт в секунду), не считая возможности объединить провода в «агрегированные каналы», пропорционально увеличивающие эту скорость. Широкая доступность Ethernet-инфраструктуры означает в том числе и ее дешевизну в практической реализации. В наше время, когда стоимость порта Gigabit Ethernet снижается на 30 % ежемесячно, и дешевые GigE switch доступны уже даже для домашнего использования, это является довольно значимым и существенным аспектом.
Преимущества: Это дешево, зачастую бесплатно. И это работает, причем уже сейчас.Программный модуль для использования iSCSI имеется для большинства существующих сегодня на рынке OS (MS Windows, Solaris, Linux, AIX и.т.д). Где-то он бесплатно скачивается и устанавливается, где-то включен в поставку. Но, так или иначе, он у вас уже есть.Его можно просто взять и начать использовать.Поскольку носителем iSCSI является «вездеходный» IP, то автоматически решается проблема, связанная с передачей SAN-сети на большие расстояния — то, для чего в случае FC создаются разнообразные конвертеры, бриджи и DWDM-директоры. С iSCSI нет проблем осуществить резервное копирование или репликацию через SAN на устройство, расположенное в удаленном датацентре. При этом не нужны никакой бридж для преобразования SAN-сети в вид пригодный для передачи по IP-сети «общего пользования» или наличие оптической магистрали для передачи траффика FC между сегментами SAN.
Недостатки: Это все же IP, и тот факт, что изначально IP не создавался для целей массированной передачи данных с низкой латентностью и гарантированностью доставки, в принципе, является некоей «родовой проблемой» для iSCSI. Однако далеко не всюду эта проблема на самом деле проявляется. Существует множество применений, где этого недостатка вы не почувствуете, и где применение без сомнения гораздо более «продвинутого» FibreChannel будет просто пустой и бессмысленной тратой денег, не дающей никаких дополнительных возможностей и преимуществ.Когда говорят о «бесплатности», то имеют ввиду софтверный initiator, тот самый модуль, который позволяет использовать функциональность iSCSI и осуществляет рассмотренную выше инкапсуляцию и декапсуляцию SCSI в IP. Однако, как любое софтверное решение, это потребляет какое-то количество процессорной мощности. В реальной жизни, на доступных сегодня процессорах, эта величина стремится к единицам процентов. Но, тем не менее, в ряде случаев она может играть свою роль.
Конечно, существуют и «аппаратные» реализации в виде iSCSI HBA (пример: QLogic QLA4050), снимающие эти проблемы, однако они уже отнюдь не бесплатные, и, хоть и стоят дешевле большинства FC HBA, все же существенно увеличивают бюджет проекта.
Однако, в реальной жизни, в практических задачах применимость и безусловная нужность iSCSI HBA вовсе не настолько бесспорна. Если идти не от абстрактной «производительности системы хранения», а от производительности информационной системы в целом, то беспокоить скорость передачи данных между дисковой системой и сервером должна, пожалуй, в последнюю очередь. Обычно прикладной задаче, например ERP или CRM-системе, всегда есть где потормозить и не упираясь в канал передачи данных между дисками и процессором. Скорость iSCSI не использующего «агрегирование каналов» (объеднение вместе нескольких портов для увеличения пропускной способности) в настоящий момент равна 1Gb/s. Несмотря на то, что уже появились сетевые устройства стандарта 10G Ethernet со скоростью до 10Gb/s, цена на них пока все еще высока, что не позволяет говорить о них как о среде для iSCSI. Скорость FC для наиболее распространенных FC-устройств равна 2 и 4Gb/s, что формально вдвое-вчетверо выше. Однако в условиях «реальной жизни» наличие на устройстве порта 4Gb/s не делает скорость работы устройства вчетверо выше, чем с портом 1Gb/s.
Виды систем хранения данных:
Direct-attached storage (DAS) -Под DAS принято понимать непосредственно подключенные к вычислительной системе диски. Обычно как DAS квалифицируются варианты только непосредственного прямого подключения. Так, например, подключение дисков системы хранения данных по каналу FC в режиме «точка-точка» (то есть без «сети хранения», порт системы хранения в порт сервера), несмотря на то, что формально является DAS, тем не менее считается частным, «вырожденным» случаем SAN.
Network-attached storage (NAS) -NAS хорошо знаком большинству пользователей, использующих в локальной сети своей организации файловый сервер. Файловый сервер — это NAS. Это устройство, подключенное в локальную сеть и предоставляющее доступ к своим дискам по одному из протоколов «сетевых файловых систем», например CIFS (Common Internet File System) для Windows-систем (раньше называлась SMB — Server Message Blocks) или NFS (Network File System) для UNIX/Linux-систем. Остальные варианты встречаются исчезающе редко.
Storage area network (SAN) -SAN-устройство, с точки зрения пользователя, есть просто локальный диск. Обычные варианты протокола доступа к SAN-диску это протокол FibreChannel (FC) и iSCSI (IP-SAN). Для использования SAN в компьютере, который хочет подключиться к SAN, должна быть установлена плата адаптера SAN, которая обычно называется HBA — Host Bus Adapter. Этот адаптер представляет собой с точки зрения компьютера такую своеобразную SCSI-карту и обращается он с ней так же, как с обычной SCSI-картой. Отсылает в нее команды SCSI и получает обратно блоки данных по протоколу SCSI. Наружу же эта карта передает блоки данных и команды SCSI, завернутые в пакеты FC или IP для iSCSI.
Отличия и конвергенция SAN и NAS:
Каковы же плюсы и минусы обеих этих моделей доступа к данным системы хранения?
NAS работает поверх локальной сети, используя обычное сетевое оборудование.
Он работает преимущественно с файлами и информацией, оформленной как файлы (пример: документы общего пользования, word- и excel-файлы).
Он позволяет коллективное использование информации на дисках (одновременный доступ с нескольких компьютеров).
SAN работает в собственной сети, для использования которой нужен специальный Host Bus Adapter (HBA).
Он работает на уровне блоков данных. Это могут быть файлы, но это могут быть и нефайловые методы хранения. Например база данных Oracle на т. н. raw-partition.
Для компьютера это локальный диск, поэтому коллективное использование информации на SAN диске обычно невозможно (или делается очень сложно и дорого).
Плюсы NAS: дешевизна и доступность его ресурсов не только для отдельных серверов, но и для любых компьютеров организации; простота коллективного использования ресурсов.
минусы NAS: невозможно использовать «нефайловые» методы;доступ к информации через протоколы «сетевых файловых систем» зачастую медленнее, чем как к локальному диску.
Плюсы SAN: можно использовать блочные методы доступа, хранение «нефайловой» информации (часто используется для баз данных, а также для почтовой базы Exchange); «низкоуровневый» доступ к SAN-диску обычно более быстрый, чем через сеть. Гораздо проще сделать очень быстрый доступ к данным с использованием кэширования.
Некоторые приложения работают только с «локальными дисками» и не работают на NAS (пример — MS Exchange)
Минусы SAN: трудно, дорого или вовсе невозможно осуществить коллективный доступ к разделу с двух и более компьютеров.Стоимость подключения к FC-SAN довольно велика (около 1000—1500$ за плату FC HBA). Подключение к iSCSI (IP-SAN) гораздо дешевле, но требует поддержки iSCSI на дисковом массиве.
Итак, что же общего между этими двумя методами? Оба этих метода используются для «сетевого хранения данных» (networking data storage). Что из них лучше? Единственного ответа не существует. Попытка решить задачи NAS с помощью SAN-системы, как и обратная задача, зачастую есть кратчайший путь потратить большие деньги без видимой выгоды и результата. Каждая из этих «парадигм» имеет свои сильные стороны, каждая имеет оптимальные методы применения.
Content-addressable storage (CAS) -
CAS так как статья (автор StarMarine) на которую дана сслылка возможно будет удалена, ее содержимое на 03.02.2008 скопировано сюда: Content-addressable storage (CAS) — архитектура хранения, в которой адресация осуществляется образом хранимых данных. Образ данных хэшируется и хэш используется для его нахождения на устройствах или системах хранения. По сути данные записываются в BLOB-поля специализированной базы данных, а вычисленный хэш используется как индексный ключ базы, по которому осушествляется быстрый поиск содержимого. Построение системы хранения как базы данных позволило применять к процессам доступа и хранения данных методы работы с базами (версионность хранения, дедупликация). Справедливости ради следует также упомянуть, что ранее такие формы организации информации уже применялись на практике, например файловая система OS VMS (применявшаяся на DEC VAX, впоследствии OpenVMS) была организована как своеобразная база данных.
Архитектура обладает большой устойчивостью к дубликатам, а так же может быть выполнена децентрализованно, что дает ей существенную надежность. Однако серьезным недостатком такого способа организации хранения следует назвать невысокое быстродействие, не позволяющее применять CAS в качестве primary storage. В настоящий момент CAS заняли свое место в системах архивного, долговременного и неизменяемого хранения. Наиболее известным производителем CAS-систем на рынке является компания EMC и ее системы серии Centera.
2. Создайте в среде Microsoft Word как можно более точную копию документа, подобрав шрифты, «затенение» ячеек и выделение текста.
В ячейки документа под названиями «Первый взнос» (First Premium), «Издержки за обработку» (Fix First Premium Fee) и «Дополнительная предоплата» (Additional Deposit) внесите числовую информацию.
В ячейку «3% сбор за открытие счета Flex-Account» внесите формулу для расчета: сумма предоплаты умножается на 0,03.
В ячейку «Общая сумма» (Total) внесите формулу, в которой производится суммирование четырех предыдущих чисел.
Анализ инвестиций с помощью функций MS Excel.
Какой должна быть минимальная процентная ставка, чтобы произошло удвоение вклада за год при начислении процентов: а) поквартально, б) ежемесячно.
4. Задача оптимизации (с помощью «Поиск решения» MS Excel):
Найти оптимальный план, имеющий минимальную стоимость перевозок от нескольких заводов ЖБИ к строительным объектам.
| Заводы ЖБИ | Объекты строительства | Мощности поставщиков | |||
| Потребность |
Вариант № 54
Дата добавления: 2015-01-30; просмотров: 45 | Поможем написать вашу работу | Нарушение авторских прав |