Читайте также:
|
Для дискретных каналов без помех справедлива следующая теорема Шеннона:
Если производительность источника меньше пропускной способности канала (
), то всегда существует способ кодирования, позволяющий передавать по каналу все сообщения источника. Передачу всех сообщений при 
осуществить невозможно.
Таким образом при , все сообщения могут быть переданы по каналу -независимо от величины избыточности источника.
Рациональное использование пропускной способности канала требует разработки и применения эффективных способов кодирования сообщений.
Наиболее эффективны с точки зрения скорости передачи информации методы статистического или оптимального кодирования. В методах этого типа скорость передачи информации по каналу без помех приближается к пропускной способности канала благодаря согласованию источника с каналом.
Пример. Пусть требуется достичь согласования двоичного источника информации с каналом без помех. В процессе кодирования сообщения источника преобразуются в двоичные кодовые комбинации. Между сообщениями источника и комбинациями кода существует однозначное соответствие, вследствие чего энтропия кодовых комбинаций равна энтропии источника
Скорость передачи информации по каналу определяется с помощью (6.6)
Здесь 
- средняя длительность кодовой комбинации, которая
в случае неравномерного кода (т.е. в случае, когда элементы алфавита сообщения кодируются различным числом двоичных символов) имеет вид
где 
- длительность одного элемента кода и 
- число элементов
в комбинации, присваиваемой сообщению 
.
Подстановка в формулу (6.11) выражений для энтропии
и (6.12) дает соотношение
числитель которого определяется статистическими свойствами источника, а - характеристиками канала.
Анализ формулы (6.13) позволяет определить условие, реализация которого позволит закодировать сообщение так, что скорость передачи достигнет пропускной способности двоичного канала 
.
Это условие достигается тогда, когда длина символов выбирается с учетом вероятности генерации сообщений источником
что соответствует максимуму R.
Условию (6.14) удовлетворяют коды Шеннона – Фано и Хаффмена.
Следует отметить, что при оптимальном кодировании избыточность отсутствует и процесс декодирования очень чувствителен к воздействию помех - особенно в случае зависимых сообщений (одна ошибка может вызвать неправильное декодирование всех последующих символов). Поэтому оптимальные коды могут использоваться лишь в случае каналов
с достаточно низким уровнем помех.
Скорость передачи информации и пропускная способность дискретных каналов с помехами
В каналах без помех количество принятой на выходе информации равно количеству информации, переданной источником сообщений. При этом регистрируемый на выходе сигнал однозначно определяет входной сигнал.
В каналах с помехами происходит необратимая потеря части информации. При этом принятому сигналу может соответствовать один из нескольких переданных сигналов (после приема остается неопределенность).
В качестве примера рассмотрим функционирование двоичного канала с помехами, по которому передаются независимые дискретные сигналы 
и 
с априорными вероятностями 
и 
.
В случае канала без помех на выходе регистрируются сигналы 
, идентичные сигналам 
. В реальных каналах возникают ошибки, характеризуемые при передаче 
условной вероятностью 
, а 
- 
.
Пропускная способность симметричного канала, для которого вероятности переходов (ошибок) одинаковы 
, равна (рис. 6.1)
Рис. 6.1. Зависимость пропускной способности двоичного канала от вероятности ошибки 
(в единицах 
)
Анализ данной зависимости показывает, что увеличение вероятности ошибки 
приводит к уменьшению пропускной способности вплоть до нуля при 
(т.е. это значение для бинарного симметричного двоичного канала является предельным).
Дата добавления: 2014-12-20; просмотров: 115 | Поможем написать вашу работу | Нарушение авторских прав |