Студопедия  
Главная страница | Контакты | Случайная страница

АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатика
ИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханика
ОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторика
СоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансы
ХимияЧерчениеЭкологияЭкономикаЭлектроника

Оптимальное статистическое кодирование сообщений

Читайте также:
  1. A)& Кодированием
  2. III. Регистрация, учет и статистическое наблюдение случаев заболеваний гриппом
  3. III. Регистрация, учет и статистическое наблюдение случаев заболеваний гриппом
  4. Адаптивное кодирование Хаффмана
  5. Арифметическое кодирование
  6. В теме 16 сообщений
  7. ГЛАВА 6. Канальное кодирование (часть 1).
  8. ГЛАВА 7. Канальное кодирование (часть 2).
  9. Двоичное кодирование в компьютере
  10. Двоичное кодирование графической и звуковой информации.

Для дискретных каналов без помех справедлива следующая теорема Шеннона:

Если производительность источника меньше пропускной способности канала ( ), то всегда существует способ кодирования, позволяющий передавать по каналу все сообщения источника. Передачу всех сообщений при осуществить невозможно.

Таким образом при , все сообщения могут быть переданы по каналу -независимо от величины избыточности источника.

Рациональное использование пропускной способности канала требует разработки и применения эффективных способов кодирования сообщений.

Наиболее эффективны с точки зрения скорости передачи информации методы статистического или оптимального кодирования. В методах этого типа скорость передачи информации по каналу без помех приближается к пропускной способности канала благодаря согласованию источника с каналом.

Пример. Пусть требуется достичь согласования двоичного источника информации с каналом без помех. В процессе кодирования сообщения источника преобразуются в двоичные кодовые комбинации. Между сообщениями источника и комбинациями кода существует однозначное соответствие, вследствие чего энтропия кодовых комбинаций равна энтропии источника

Скорость передачи информации по каналу определяется с помощью (6.6)

Здесь - средняя длительность кодовой комбинации, которая
в случае неравномерного кода (т.е. в случае, когда элементы алфавита сообщения кодируются различным числом двоичных символов) имеет вид

где - длительность одного элемента кода и - число элементов
в комбинации, присваиваемой сообщению .

Подстановка в формулу (6.11) выражений для энтропии

и (6.12) дает соотношение

числитель которого определяется статистическими свойствами источника, а - характеристиками канала.

Анализ формулы (6.13) позволяет определить условие, реализация которого позволит закодировать сообщение так, что скорость передачи достигнет пропускной способности двоичного канала .

Это условие достигается тогда, когда длина символов выбирается с учетом вероятности генерации сообщений источником

что соответствует максимуму R.

Условию (6.14) удовлетворяют коды Шеннона – Фано и Хаффмена.

Следует отметить, что при оптимальном кодировании избыточность отсутствует и процесс декодирования очень чувствителен к воздействию помех - особенно в случае зависимых сообщений (одна ошибка может вызвать неправильное декодирование всех последующих символов). Поэтому оптимальные коды могут использоваться лишь в случае каналов
с достаточно низким уровнем помех.

 

Скорость передачи информации и пропускная способность дискретных каналов с помехами

 

В каналах без помех количество принятой на выходе информации равно количеству информации, переданной источником сообщений. При этом регистрируемый на выходе сигнал однозначно определяет входной сигнал.

В каналах с помехами происходит необратимая потеря части информации. При этом принятому сигналу может соответствовать один из нескольких переданных сигналов (после приема остается неопределенность).

В качестве примера рассмотрим функционирование двоичного канала с помехами, по которому передаются независимые дискретные сигналы и с априорными вероятностями и .

В случае канала без помех на выходе регистрируются сигналы , идентичные сигналам . В реальных каналах возникают ошибки, характеризуемые при передаче условной вероятностью , а - .

Пропускная способность симметричного канала, для которого вероятности переходов (ошибок) одинаковы , равна (рис. 6.1)

 

Рис. 6.1. Зависимость пропускной способности двоичного канала от вероятности ошибки (в единицах )

 

Анализ данной зависимости показывает, что увеличение вероятности ошибки приводит к уменьшению пропускной способности вплоть до нуля при (т.е. это значение для бинарного симметричного двоичного канала является предельным).

 


Дата добавления: 2014-12-20; просмотров: 23 | Нарушение авторских прав




lektsii.net - Лекции.Нет - 2014-2019 год. (0.012 сек.) Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав