Главная страница | Контакты | Случайная страница Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

Синтаксические меры информации

Объем данных в сообщении измеряется количеством символов в нем. Часто информация кодируется числовыми кодами в той или иной системе счисления. Естественно, что одно и то же количество разрядов в разных системах счисления способно передать разное число состояний отображаемого объекта.

Действительно, N = m", где N — число всевозможных отображаемых состояний; т — основание системы счисления (разнообразие символов, применяемых в ал­фавите); п — число разрядов (символов) в сообщении.

Поэтому в различных системах счисления один разряд имеет различный вес, и соответственно меняется единица измерения данных. Так, в двоичной системе счисления единицей измерения служит бит (binary digit, двоичный разряд), в десятичной системе счисления — дит (десятичный разряд).

ПРИМЕЧАНИЕ ---------------------------------------------------------------------------------------------------

Сообщение, представленное в двоичной системе как 10111011, имеет объем данных У_л" 8 бит; Сообщение 275903, представленное в десятичной системе, имеет объем данных V_a = 6 дит.

В современных компьютерах наряду с битом — минимальной единицей данных — широко используется укрупненная единица байт, равная 8 битам.

Определение количества информации на синтаксическом уровне невозможно без рассмотрения понятия неопределенности состояния (энтропии) системы.

Действительно, получение информации связано с изменением степени неосве­домленности получателя о состоянии системы. До получения информации по­лучатель мог иметь предварительные (априорные) сведения о системе а; мера неосведомленности о системе #(а) и является для него мерой неопределенности состояния системы. После получения некоторого сообщения р получатель при­обрел дополнительную информацию /р(а), уменьшившую его априорную неос­ведомленность так, что апостериорная (после получения сообщения р) неопре­деленность состояния системы стала Я(а/р).

Тогда количество информации /р(ос) о системе а, полученное в сообщении р, бу­дет определено как /_р(а) = //(а) - Я(а/Р).

Таким образом, количество информации измеряется изменением (уменьшени­ем) неопределенности состояния системы.

Если конечная неопределенность Я(а/р) обратится в нуль, то первоначальное неполное знание заменится полным знанием, и количество информации станет равно /_р(а) = #(а).

Иными словами, энтропия системы Я(а) может рассматриваться как мера не­достающей информации.

Энтропия системы #(а), имеющей N возможных состояний, согласно формуле Шеннона, равна

H(a) = -f_tP_l\ogP_i,

где Pj — вероятность того, что система находится в i-u состоянии. Для случая, когда все состояния системы равновероятны, то есть Р, = 1/N, энтропия системы

Рассмотрим пример.

По каналу связи передается я-разрядное сообщение, использующее т различных символов, так что количество всевозможных кодовых комбинаций будет N = т^п.

При равновероятном появлении любой кодовой комбинации количество инфор­мации в правильном сообщении — формула Хартли:

Если в качестве основания логарифма принять т

В данном случае количество информации (при условии полного априорного не­знания получателем содержания сообщения) будет равно объему данных / = Уд.

Для неравновероятных состояний системы всегда

Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут, соответственно, бит и дит.

Степень информативности сообщения У определяется отношением количества информации к объему данных, то есть Y = I/Vⁿ, причем 0 < Y< 1 (Охарактеризу­ет лаконичность сообщения).

С увеличением Y уменьшается объемы работ по преобразованию информации (данных) в системе. Поэтому для повышения информативности сообщений раз­рабатываются специальные методы оптимального кодирования информации.