Студопедия
Главная страница | Контакты | Случайная страница

АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатика
ИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханика
ОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторика
СоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансы
ХимияЧерчениеЭкологияЭкономикаЭлектроника

Приближение разной вероятности встречаемости символов в тексте

Читайте также:
  1. Базовая идея алгоритма кодирования Хаффмена для двоичных кодов заключается в том, чтобы начинать с малого количества символов и переходить к большим количествам символов.
  2. Базовый Основной Иностранный Язык в контексте межкультурной коммуникации
  3. Баховская система символов
  4. Бимо в контексте современного времени
  5. Биология в контексте философии и методологии современной науки. Биофилософия.
  6. Бланковые, опросные, рисуночные и проективные психодиагностические методики. Сущность и частота встречаемости. Понятие об объективно-манипуляционных методиках
  7. В КОНТЕКСТЕ ПАЛОМНИЧЕСКОЙ ЛИТЕРАТУРЫ
  8. В официальном тексте документа, видимо, допущена опечатка: Постановление Правительства РФ N 438 издано 19.06.2002, а не 16.06.2002. 1 страница
  9. В официальном тексте документа, видимо, допущена опечатка: Постановление Правительства РФ N 438 издано 19.06.2002, а не 16.06.2002. 2 страница
  10. В официальном тексте документа, видимо, допущена опечатка: Постановление Правительства РФ N 438 издано 19.06.2002, а не 16.06.2002. 3 страница

В этом приближении учитывается, что в реальном тексте разные символы встречаются с разной частотой. Отсюда следует, что вероятности появления разных символов в определенной позиции текста различны и, следовательно, различаются их информационные веса.

Статистический анализ русских текстов показывает, что частота появления буквы “о” составляет 0,09. Это значит, что на каждые 100 символов буква “о” в среднем встречается 9 раз. Это же число обозначает вероятность появления буквы “о” в определенной позиции текста: p o = 0,09. Отсюда следует, что информационный вес буквы “о” в русском тексте равен:

Самой редкой в текстах буквой является буква “ф”. Ее частота равна 0,002. Отсюда:

Отсюда следует качественный вывод: информационный вес редких букв больше, чем вес часто встречающихся букв.

Информационный объем текста с учетом разных информационных весов символов алфавита вычисляется по следующей формуле:

Здесь N — размер (мощность) алфавита; nj — число повторений символа номер j в тексте; ij — информационный вес символа номер j.

 

 



Дата добавления: 2014-12-19; просмотров: 90 | Поможем написать вашу работу | Нарушение авторских прав


lektsii.net - Лекции.Нет - 2014-2025 год. (0.006 сек.) Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав