Система управления данными. Что такое управление данными? Управление доступом к данным

Логический уровень (формализованное/модельное описание)

Логический уровень информационной технологии представляется комплексом взаимосвязанных моделей, формализующих информационные процессы при трансформации информации в данные. Формализованное в виде моделей представление информационной технологии позволяет связать параметры информационных процессов и дает возможность реализации управления информационными процессами и процедурами. На рис. 2.12 приведена логическая модель базовой информационной технологии, которая отражает схему взаимосвязи моделей информационных процессов.

На основе модели предметной области, характеризующей объект управления, создается общая модель управления, по которой, в свою очередь, формируются модели решаемых задач. Так как для решения задач управления применяют различные информационные процессы, то необходимо строить модель их организации, которая на логическом уровне увязывает применяемые при решении задач процессы управления.

Рис. 2.12.

При обработке данных формируются все основные информационные процессы: обработка, обмен и накопление данных, преставление знаний.

Модель обработки данных включает в себя формализованное описание процедур организации вычислительного процесса (операционные системы), преобразования (алгоритмы и программы сортировки, поиска, создания и преобразования статических и динамических структур) и логического вывода (моделирования).

Модель обмена данными содержит формальное описание процедур, выполняемых в вычислительной сети: передачи (кодирование, модуляция в каналах связи), коммутации и маршрутизации (протоколы сетевого обмена) и описывается с помощью международных стандартов: OSI (взаимодействие отрытых систем), локальных сетей (IEEE 802) и спецификации сети Интернет (см. гл. 18).

Модель накопления данных описывает как систему управления базой данных (СУБД), так и саму информационную базу, которая может быть определена как база данных и база знаний. Процесс перехода от смыслового (информационного) представления к физическому осуществляется трехуровневой системой моделей информационной базы: концептуальной (какая и в каком объеме информация должна накапливаться при реализации информационной технологии), логической (структура и взаимосвязь элементов информации) и физической (методы размещения данных и доступа к ним на машинных носителях). Функции управления базами данных регламентируют (см. гл. 19): язык баз данных SQL (Structured Query Language); информационно-справочную систему IRD (Information Resource Dictionary System); протокол удаленного доступа операций RDA (Remote Data Access), PAS (Publicly Available Specifications) Microsoft на открытый прикладной интерфейс доступа к базам данных ODBC (Open Data Base Connectivity) API (Application Program Interface).

Модель представления знаний выбирается в зависимости от полноты воспроизведения и содержания предметной области, а также вида решаемых задач. В настоящее время используют такие модели представления знаний, как логические, алгоритмические, семантические, фреймовые и интегральные.

Модель получения информации строится с учетом стандартов, регламентирующих структуры данных и документов, а также форматы данных:

  • o средств языка ASNl (Abstract Syntax Notation One), предназначенного для спецификации прикладных структур данных - абстрактного синтаксиса прикладных объектов;
  • o форматов метафайла для представления и передачи графической информации CGM (Computer Graphics Metafile);
  • o спецификации сообщений и электронных данных для электронного обмена в управлении, коммерции и транспорте EDIFACT (Electronic Data Interchange for Administration, Commence and Trade);
  • o спецификации документов и их структур ODA (Open Document Architecture);
  • o спецификации структур документов для производства, например SGML (Standard Generalized Markup Language);
  • o языков описания документов гипермедиа и мультимедиа, например: HyTime, SMDL (Standard Music Description Language), SMSL (Standard Multimedia/Hypermedia Scripting Language), SPDS (Standard Page Description Language), DSSSL (Document Style Semantics and Specification Language), HTML (HyperText Markup Language);
  • o спецификации форматов графических данных, например форматов JPEG, JBIG и MPEG.

Модель отображения информации строится с учетом стандартов X Windows, MOTIF, OPEN LOOK, VT, CGI, PHIGS, машинной графики GKS, графического пользовательского интерфейса GUI.

Модели управления информацией, данными и знаниями увязывают базовые информационные процессы, синхронизируют их на логическом уровне.

Так как базовые информационные процессы оперируют с информацией, данными и знаниям и, то управление информацией происходит через процессы получения (сбор, подготовка и ввод) и отображения (построение графики, текста и видео, синтез речи); управление данными осуществляется через процессы обработки (управление организацией вычислительного процесса преобразования), обмена (управление маршрутизацией и коммутацией в вычислительной сети, передачей сообщений по каналам связи) и накопления (системы управления базами данных), а управление знаниями - через представление знаний (управление получением и генерацией знаний).

Физический уровень (программно-аппаратная реализация)

Физический уровень информационной технологии представляет ее программно-аппаратную реализацию. На физическом уровне информационная технология рассматривается как система, состоящая из крупных подсистем: обработки, обмена, накопления данных, получения и отображения информации, представления знаний и управления данными и знаниями (рис. 2.13). С системой, реализующей информационные технологии на физическом уровне, взаимодействуют пользователь и разработчик системы.

Рис. 2.13.

Подсистемы обработки данных строятся на базе электронных вычислительных машин различных классов и отличаются как по вычислительной мощности, так и по производительности. В зависимости от потребности решаемых задач используются как большие универсальные ЭВМ (мейнфреймы) для обработки громадных объемов информации, так и персональные компьютеры (ПК). В сети используются как серверы, так и клиенты (рабочие станции).

Подсистемы обмена данными включают в себя комплексы программ и устройств (модемы, усилители, коммутаторы, кабели и др.), создающих вычислительную сеть и осуществляющих коммутацию, маршрутизацию и доступ к сетям.

Подсистема накопления данных реализуется с помощью байков и баз данных на внешних устройствах компьютера, который ими управляет. Возможна организация как локальных баз и банков, реализуемых на отдельных компьютерах, так и распределенных банков данных, использующих сети ЭВМ и распределенную обработку данных.

Подсистемы получения , отображения информации и представления знаний используют для формирования модели предметной области из ее фрагментов и модели решаемой задачи. На стадии проектирования разработчик формирует в памяти компьютера комплекс моделей решаемых задач. На стадии эксплуатации пользователь обращается к подсистеме отображения информации и представления знаний и, исходя из поставленной задачи, выбирает соответствующую модель решения, после чего через подсистему управления данными включаются другие подсистемы.

Подсистема управления данными и знаниями , как правило, частично реализуется на тех же компьютерах, на которых реализуются соответствующие подсистемы, а частично с помощью систем управления организацией вычислительного процесса и систем управления базами данных. При больших потоках информации создаются специальные службы администраторов сети и баз данных.

Управление данными – это процесс, который подразумевает сбор, хранение, обработку и интерпретацию накопленных данных. Сегодня для многих компаний управление данными – это отличная возможность понять данные, которые уже собраны, «узнать» конкурентов, выстроить предикативную аналитику (прогнозирование), ответить на многие вопросы бизнеса.

Управление данными

Что включает управление данными? Перечислим основные процессы:

  • Управление базами данных
  • ETL-процессы (извлечение, преобразование и загрузка данных)
  • Сбор данных
  • Защита и шифрование данных
  • Моделирование данных
  • Собственно анализ данных

Исходя из вышеперечисленного становится ясно, что для успешного управления данными необходимо:

  • Решить технические вопросы (выбрать базу данных, определить, где будут храниться данные – в облаке, на сервере и т.д.)
  • Найти грамотные человеческие ресурсы 🙂

Основные проблемы при управлении данными

Среди самых распространенных ошибок и трудностей, которые возникают при сборе, хранении и интерпретации данных, называют:

  • Неполные данные
  • «Задваивание» данных (причем нередко противоречащих друг другу)
  • Устаревшие данные

Во многих вопросах на этапе сбора загрузки данных может помочь такой продукт, как , который помогает соединять данные из разных источников, обогащать и готовить их к использованию в системах Business Intelligence.

Анализ данных

У вас уже есть подходящий объем нужных и важных данных? Теперь, помимо хранения, их нужно анализировать. Анализ данных поможет ответить на многие вопросы бизнеса, принять взвешенные решения, «увидеть» своего покупателя, оптимизировать складские и логистические процессы. В общем, анализ данных важен и нужен в любой сфере, любой компании, на любом уровне.

Решение для анализа данных состоит из трех основных блоков:

  • Хранилище данных;
  • ETL-процедуры (извлечение, преобразование и загрузка данных);
  • Система отчетности и визуальной аналитики.

Все это кажется достаточно сложным, но на самом деле не все так страшно.

Современные аналитические решения

Что делать компаниям, у которых нет штата аналитиков? И нет программиста-разработчика? Но есть желание делать аналитику!

Конечно, решение есть. Сейчас на рынке представлено достаточно автоматизированных систем для аналитики и – что важно! – визуализации ваших данных.

В чем плюсы таких систем (типа ):

  • Возможность быстро внедрить (скачивайте программу и устанавливаете хотя бы к себе на ноутбук)
  • Нет необходимости в сложных IT- или математических знаниях
  • Невысокая стоимость (от 2 000 руб. в месяц за лицензию на март 2018 года)

Таким образом, внедрить такой аналитический продукт может любая компания: неважно, сколько сотрудников в ней работает. Tableau подходит и индивидуальным предпринимателям, и крупным компаниям. В апреле 2018 года ООН выбрала Tableau в качестве аналитической платформы для всех своих офисов по всему миру!

Компании, которые работают с такими автоматизированными системами аналитики, отмечают, что табличные отчеты, которые раньше строились за 6 часов, в Tableau собираются буквально за 10-15 минут.

Не верите? Попробуйте сами – скачайте бесплатную пробную версию Tableau и получите обучающие материалы по работе с программой:

Скачать Tableau

Скачайте БЕСПЛАТНО полную версию Tableau Desktop, 14 дней и получите в ПОДАРОК обучающие материалы по бизнес-аналитике Tableau

Какие бывают данные

Прежде чем перейти непосредственно к системам управления мастер-данными, давайте определим, какого рода вообще бывают данные.

Ниже представлены 5 ключевых типов:

1. Метаданные (Metadata);
2. Референс-данные (Reference data);
3. Мастер-данные (Master data);
4. Транзакционные данные (Transactional data);
5. Исторические данные (Historical data).

Метаданные – это данные о данных. Они нужны для понимания и определения, какими данными оперирует предприятие. Метаданные определяют структуры, типы данных, доступы к ним и т.д. Существуют различные схемы для описания метаданных. Например, для описания структуры XML-документа может применяться XSD-схема, для описания веб-сервиса – WSDL-схема.

Референс-данные – это относительно редко меняющиеся данные, которые определяют значения конкретных сущностей, используемых при выполнении операций в рамках всего предприятия. К таким сущностям чаще всего относятся: валюты, страны, единицы измерения, типы договоров/счетов и т.д.

Мастер-данные – это базовые данные, которые определяют бизнес-сущности, с которыми имеет дело предприятие. К таким бизнес-сущностям обычно относятся (в зависимости от предметной отраслевой направленности предприятия) клиенты, поставщики, продукция, услуги, договора, счета, пациенты, граждане и т.п. Кроме информации непосредственно о той или иной мастер-сущности, в мастер-данные входят взаимосвязи между этими сущностями и иерархии. Например, с точки зрения поиска дополнительных возможностей продаж, может быть очень важно выявлять явные и неявные взаимосвязи между физическими лицами. Мастер-данные распространяются по всему предприятию и участвуют во всех бизнес-процессах. Обычно мастер-данные воспринимаются как ключевой нематериальный актив предприятия, т.к. от их качества и полноты зависит эффективность его работы. В России часто вместо термина «мастер-данные» используют термин «нормативно-справочная информация».

Транзакционные данные – это данные, которые образовались в результаты выполнения предприятием каких-либо бизнес-транзакций. Например, для коммерческого предприятия: продажи продуктов и услуг, закупки, поступления/списания денежных средств, поступления на склад и т.п. Обычно такие данные базируются в системе управления ресурсами предприятия (ERP) или других отраслевых системах. Естественно, транзакционные системы широко используют мастер-данные при выполнении транзакций.

Исторические данные – это данные, которые включают в себя исторические транзакционные и мастер-данные. Чаще всего такие данные аккумулируются в ODS и DWH системах и служат для решения различных аналитических задач и поддержки принятия управленческих решений.

Cистемы управления мастер-данными

Прежде чем перейти к системе управления мастер-данными, определим, что такое управление мастер-данными вообще.

Управление мастер-данными (Master Data Management, MDM) – дисциплина, которая работает с мастер-данными в целях создания «золотой записи», то есть целостного и всестороннего представления о мастер-сущности и взаимосвязях, эталона мастер-данных, который используются всем предприятием, а иногда и между предприятиями для упрощения обмена информацией.

Специализированные системы управления мастер данными (MDM-системы) автоматизируют все аспекты этого процесса и являются «авторитетным» источником мастер-данных масштаба предприятия. Часто MDM-системы управляют также и референс-данными.

Ситуация, когда MDM-система является единственным источником мастер-данных, все изменения вносятся в MDM-систему и только потом передаются в системы-потребители, называется «системой записей». Это идеальная ситуация для управления мастер-данными. Однако в реальной жизни все не так просто: MDM-система не всегда будет являться «системой записей». Из-за особенностей бизнес-процессов конкретного предприятия, технических сложностей конкретных систем и т.д., приходится создавать «копии» мастер-записей. Система, в которой содержится копия мастер-данных, называется «системой ссылок». Чтобы не терять управляемости, «система ссылок» обязательно должна находиться под управлением и синхронизироваться с «системой записей».

Три измерения MDM-систем

Рассмотрим MDM–систему в трех измерениях:

Обычно MDM-системы не внедряются «с наскоку», т.к. их внедрение – это сложный процесс последовательных преобразований масштаба всего предприятия, от ведения разрозненных данных до создания целостного всестороннего представления о мастер-сущности. Поэтому внедрение MDM-систем выполняется последовательно с постепенным приближением к целевому результату в трех указанных измерениях.

Рассмотрим подробнее эти измерения.

Домены

В контексте управления мастер-данными под доменом понимается конкретная область мастер-данных. Самые распространённые домены мастер-данных – это домен клиентов и домен продуктов. В западной литературе сложились устоявшиеся термины для управления мастер-данными в рамках этих доменов: Customer Data Integration (CDI) – для домена клиентов и Product Information Management (PIM) – для домена продуктов.

К CDI традиционно относятся не только клиенты, но и организации или физические лица, которые могут называться по-разному в зависимости от отрасли предприятия: клиенты, поставщики, банки, фонды, пациенты, граждане и т.д.

К PIM традиционно относятся: продукция, товары, материалы, услуги, работы и т.д.
Есть много общего в подходах к управлению мастер-данными CDI и PIM, но есть также и много отличий. Например, при дедубликации клиентских сущностей в большинстве случаев выполняется простой синтаксический анализ атрибутов сущностей и их сопоставление на основе вероятностных алгоритмов, в то время как в продуктовом домене проводится семантический/онтологический анализ атрибутов с подключением механизмов самообучения. Кроме того, в продуктовом домене у сущностей в зависимости от выбранной категории могут сильно различаться атрибуты (например, у ноутбуков свой набор атрибутов, а у стиральных машинок – свой). Все эти особенности различных доменов должны поддерживаться MDM-системами.

В последнее время имеет место тенденция создания мультидоменных MDM¬-систем с возможностью гибкой настройки структуры метаданных. Такая гибкость дает предприятию возможность описать мастер-данные конкретно под себя с учетом всех особенностей и нюансов, но при этом требует немалого времени и знаний, чтобы грамотно спроектировать и настроить такую систему. Также на рынке присутствуют системы с «жесткой» структурой мастер-сущностей, которые имеют уже корректно настроенные механизмы, но использование такой системы возможно только теми предприятиями, которые смогут подстроиться под нее. Обычно такие системы хорошо применимы для решения задачи управления мастер-данными в рамках какой-то узкой отрасли. По моему мнению, наиболее перспективными являются системы с гибкой моделью метаданных, но имеющие при этом преднастроенные для предприятий разных отраслей модели, которые можно быстро перенастраивать.

Методы использования

Методы использования MDM (Method of use) определяют то, для чего MDM система будет использоваться на предприятии. Иными словами, кто будет потребителем мастер-данных (естественно, их может быть несколько).

Основных методов использования три:

1. Аналитический (Analytical)
2. Операционный (Operational)
3. Коллективный (Collaborative)

Аналитический метод использования поддерживает бизнес-процессы и приложения, которые используют мастер-данные преимущественно для анализа эффективности бизнеса, предоставляют необходимые отчеты и выполняют аналитические функции. Часто это происходит посредством взаимодействия MDM с инструментами и продуктами BI. Обычно аналитическая MDM-система работает с данными только в режиме чтения, она не изменяет данные в системах-источниках, но занимается их очисткой и обогащением.

Операционный метод использования позволяет собирать, изменять и использовать мастер-данные в процессе выполнения бизнес-транзакций (операций) и служит для поддержки семантической согласованности мастер-данных в рамках этих операций внутри всех операционных приложений. Фактически, в этом случае MDM функционирует как OLTP-система, которая отрабатывает запросы от других операционных приложений или пользователей. Работа в таком режиме зачастую требует построения единого интеграционного ландшафта с использованием принципов сервис-ориентированной архитектуры (SOA) и применением инструментария сервисной шины предприятия (ESB). Идеально, если такие инструменты или входят непосредственно в MDM-систему, или являются ее продолжением (есть вендоры, которые имеют в своей линейке и MDM и ESB-решения, глубоко интегрированные между собой).

Коллективный метод использования позволяет создавать мастер-сущности в случаях, когда требуется коллективное взаимодействие между различными группами пользователей в процессе этого создания. Такое согласование обычно имеет сложные «ветвящиеся» бизнес-процессы, состоящие из различных автоматических и ручных задач. Ручные задачи выполняются различными специалистами по работе с данными (дата-стюардами) в порядке, определенном бизнес-процессом. Чаще всего коллективный метод использования применяется в продуктовом домене. Например, при создании нового продукта, когда существуют несколько ответственных за ввод разных данных, много ручной работы и финальное согласование. Важно, чтобы MDM-система позволяла настраивать произвольные бизнес-процессы для быстрой поддержки бизнес-процессов конкретного предприятия.

Стили внедрения

Обычно выделяют три основных стиля внедрения (implementation style):

1. Реестровый (registry);
2. Сосуществующий (coexistence);
3. Транзакционный (transactional).

Реестровый стиль внедрения предполагает создание источника мастер-данных как «системы ссылок» на нижестоящие источники данных. Реестровая MDM содержит только ключевые атрибуты, необходимые для идентификации и сопоставления сущностей. Реестровая MDM работает в режиме «только чтение», данные вводятся в системах-источниках и передаются в MDM для разрешения сущностей. Также в реестровой MDM могут храниться ссылки на источники неключевых данных, но сами эти данные обычно в MDM не передаются. Реестровый стиль внедрения обычно применяется в случае выбора операционного метода использования MDM (см. выше).

Сосуществующий стиль внедрения предполагает наличие распределенного ввода данных в нескольких источниках (бизнес-приложениях и MDM-системе). MDM-система в данном случае может являться «системой записей» только для части атрибутов. Тем не менее, в MDM-системе формируется полноценная мастер-сущность, изменения которой транслируются в другие системы (возможно, не все). Сосуществующий стиль внедрения довольно прост и часто применяется как первый шаг к следующему - транзакционному стилю, т.к. не требует глубокой переработки систем, взаимодействующих с MDM-системой.

Транзакционный стиль внедрения предполагает создание полноценной «системы записей», в которой хранятся все данные по мастер-сущностям. MDM-система в этом случае является «единственным источником правды» для всех систем-потребителей. Все операции по созданию и обработке данных выполняется на уровне MDM-системы. Ввод данных на уровне систем-потребителей запрещен. Такой подход обычно довольно сложен для внедрения, т.к. требует существенного изменения бизнес-процессов и систем-подписчиков.

Заключение

На практике, выбор той или иной стратегии внедрения MDM определяется многими факторами: целями предприятия в области управления мастер-данными, степенью зрелости предприятия, степенью готовности IT-инфраструктуры, наличием инвестиций на реализацию проекта и многими другими параметрами. Чтобы определиться со стратегией внедрения, нужно провести тщательный анализ всех этих факторов и составить подробное технико-экономическое обоснование проекта и детальный план-график с указанием фаз развития проекта. Но это уже другая обширная тема, требующая отдельного рассмотрения.

Одно можно сказать точно, что к внедрению MDM-системы нужно подходить очень взвешенно и поступательно. Большинство проектов внедрения MDM-систем проваливаются именно из-за недооценки сложности и объема изменений, с которыми приходится сталкиваться в MDM-проектах.

  • DFSMSdfp (data facility product) - базовый элемент z/OS, реализующий основные функции управления данными и устройствами хранения данных, включая распределение внешней памяти, организацию доступа к данным, поддержку операций над наборами данных, ведение каталогов наборов данных.
  • DFSMSdss ( data set service) - средства администрирования данных и устройств внешней памяти на магнитных дисках (резервное копирование, восстановление, дефрагментация );
  • DFSMShsm ( hierarchical storage manager ) - средства оптимизации хранения наборов данных на различных носителях в зависимости от интенсивности использования и обеспечения сохранности данных;
  • DFSMSrmm ( removable media manager) - средства управления сменными носителями (ленточные и оптические устройства);
  • DFSMStvs (transactional VSAM service) - поддержка параллельной обработки наборов данных VSAM для пакетных заданий и транзакций CICS .

Последние четыре модуля являются опциональными.

В z/OS реализованы и параллельно существуют две различные технологии управления данными, условно называемые MVS и SMS . Технология MVS (иногда говорят non-SMS ) базируется на применении классических возможностей и методов управления данными, основы которых были заложены еще в OS/360 . Главной особенностью данной технологии является непосредственный контроль пользователя над параметрами распределения наборов данных во внешней памяти при их создании. Технология SMS (от System Managed Storage ) представляет собой программную надстройку, обеспечивающую комплексное автоматизированное управление наборами данных, включая их создание, размещение и администрирование на основе специально определяемых классов данных. Каждому такому классу приписывается фиксированный набор атрибутов, включая устройство размещения (том), объем выделяемой памяти, характеристики набора данных (тип, структура), параметры обслуживания и защиты и т.п. Использование технологии SMS требует особой системной настройки и специальным образом сконфигурированных томов внешней памяти.

В данном разделе вначале будут представлены базовые понятия и средства, реализованные в технологии MVS , а затем описаны особенности технологии SMS .

Характеристика наборов данных

Операционная система z/OS поддерживает работу с наборами данных, различающимися по типу логической организации: последовательными, индексно-последовательными, прямого доступа, библиотечными ( PDS и PDSE), наборами данных, использующими метод доступа на основе виртуальной памяти ( VSAM ), а также наборами данных файловой системы UNIX ( HFS , zFS) [ 5.11 ] . Для поддержки наборов данных различных типов в составе DFSMSdfp представлены компоненты, получившие название методы доступа и описанные в п. 5.1.3. Каждый метод доступа ориентирован на работу с наборами данных определенного типа и обеспечивает поддержку необходимых операций для организации ввода-вывода.

Операционная система z/OS обеспечивает обработку наборов данных на уровне логических записей и блоков . Это означает, что набор данных представляется в виде совокупности логических записей, а приложения получают доступ к логическим записям и обрабатывают их как единое целое. В то же время обмен данными между периферийными устройствами и основной памятью (ввод-вывод) осуществляется блоками (или физическими записями). В блоке объединяется некоторое количество логических записей. Таким образом, для каждого набора данных необходимо установить согласованные размеры логических записей и блоков.

В z/OS поддерживаются три формата логических записей: записи фиксированной длины, записи переменной длины, записи неопределенной длины. Записи фиксированной длины имеют постоянный размер и в языке управления заданиями идентифицируются символами F или FB в зависимости от выбранного способа блокирования записей:

  • F - в каждом блоке содержится только одна логическая запись ;
  • FB - каждом блоке может содержаться более одной логической записи.

Записи переменной длины могут иметь различный размер внутри одного набора данных, поэтому помимо данных они включают в себя дополнительное поле ( дескриптор ), где указывается длина текущей записи. Используемый для обозначения записей переменной длины идентификатор V означает, что в каждом блоке содержится только одна логическая запись , включая дескриптор записи. Идентификатор VB применяется в тех случаях, если в каждом блоке может содержаться более одной логической записи, при этом для каждого блока дополнительно формируется дескриптор , содержащий длину блока .

Записи неопределенной длины ( идентификатор U ) характеризуются только размером блока и не содержат никакой информации о делении на логические записи.

Каждый набор данных характеризуется уникальным именем. Имена бывают простые и составные. Простое имя может содержать не более 8 символов (латинские буквы A-Z, цифры 0-9, спецсимволы #,@,$,-), причем первым символом имени не может быть цифра. Например, РАRTS01 , B1934-1 , $$$$A .

Составное имя набора данных складывается из нескольких простых, разделенных символом "." ("точка"). Например, D.USER1. JCL , А.VERY.LONG. DATASET .NАМЕ , $PARTS.DАTА2 .

Максимальная длина составного имени - 44 символа, включая разделительные точки.

Простые имена в составном имени принято называть квалификаторами .

Далее будут рассмотрены основные типы организации наборов данных, за исключением индексно-последовательных и наборов данных прямого доступа (не рекомендованы IBM к использованию как устаревшие) и HFS (будут рассмотрены в п. 5.1.6).

Последовательные наборы данных

Последовательные наборы данных ( Physical Sequential , PS) рассматриваются как совокупность логических записей, которые обрабатываются в том порядке, в каком они были помещены в набор данных (т.е. последовательно). Корректировка последовательного набора данных возможна либо путем полной перезаписи всей информации, либо путем добавления новых логических записей в конец набора данных. Последовательные наборы данных используются чаще всего для хранения относительно больших объемов информации (отчетов о выполненных заданиях, журналов сеанса и т.д.) на любых типах устройств внешней памяти. Причем на ленточных накопителях могут использоваться исключительно последовательные наборы данных. Для обработки последовательных наборов данных в z/OS поддерживается два метода доступа: "базисный"

Управление данными – основа администрирования БД.

Основная концепция управления данными.

Организация управления данными.

Администрирование БД.

Заключение.

Управление данными – основа администрирования базами данных

Управление данными включает в себя процессы переработки данных, начиная от сбора данных и заканчивая их архивацией и доведением до пользователей. При этом рассматриваются как технологические, так и организационные вопросы сбора, обработки данных. Администрирование БД – это компонент управления данными, связанный с СУБД.

Управление данными можно рассматривать на уровне источника данных, центра данных, проекта (программы). Каждый уровень может включать предыдущие уровни управления данными. Например, управление данными на уровне центра обязательно включает сбор данных от источников данных. Крупная научная программа может включать несколько экспериментов, каждый из которых может иметь свой план управления данными.

План управления данными – это организационный документ, в котором определены все этапы переработки данных, а также средства их реализации.

Целями создания плана управления данными является улучшение сбора, доступа и использования информации; развитие БД; стандартизация процедур сбора и обмена данными.

Основная концепция управления данными

Создание плана управления данными должно учитывать долгопериодные решения по

    развитию и стандартизации общих технологий сбора и обмена данными, позволяющих уменьшить временной лаг между сбором и доступом к данным;

    увеличению кооперации при сборе, архивации, обработке и картированию данных;

    созданию распределенных БД;

    объединению новых и исторических данных для получения соответствующих временных рядов;

    совместимости БД за счет использования общих протоколов форматирования и контроля качества для отдельных дисциплин;

    доступу к архивным данным.

Методология управления данными должна быть основана на применении наиболее эффективных средств:

    создания многоуровневых каталогов данных;

    использования каталогов для поиска и оценки дубликатов;

    поиска и обмена данными;

    конвертирования данных в общие форматы;

    контроля данными на различных этапах переработки данных;

    создания новых методов обработки данных;

    доступ к данным на компактных дисках, Интернет и др.

План управления данными способствует лучшему пониманию всеми участниками проекта, объединения научных интересов, общественных потребностей и правовых вопросов. Управление данными начинается с проектирования измерительной программы экспедиции или проекта, создания БД и заканчивается доступом пользователей к качественно проконтролированным и хорошо задокументированным БД. План управления данными должен быть ключевым элементом всех крупных проектов и программ. План управления данными поможет максимизировать возврат инвестиций, сделанных в проект с помощью финансирования для целей всестороннего использования получаемых данных, т.е. план управления данными есть механизм распространения и использования результатов проекта, специальная активность, выполняемая в рамках национальной и международной или корпоративной политики, основанной на лучшей практике обработки данных.

Этот план должен описывать работу, технологические требования и соответствующие результаты в проектировании измерительной активности, отчетности по сбору данных, документировании, контроле качества и создании БД, доступа к данным.

Одной из главных задач любого проекта, а особенно центра данных, является создание баз метаданных. Общие подходы в управлении данными позволяют получить пользу как специалистам, работающим в этих проектах, так и обществу в целом (более быстрое использование данных); сделать эффективнее использование большинства источников данных; хорошо задокументировать и проконтролировать данные, предназначенные для общего использования по окончании проекта.

Адекватное управление данными определяется возможностями национальных организаций политическими аспектами, техническими проблемами, условиями финансирования проектов, хорошей координацией всех участников проекта, наличием соответствующего квалифицированного штата.