Теория информации связана с


Основные положения Теории информации

 

Теория информации — раздел прикладной математики, определяющий понятие информации, её свойства и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, оперирует с математическими моделями, а не с реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.

Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации тесно связана с криптографией и другими смежными дисциплинами.

Теорией информации называется наука, изучающая количественные закономерности, связанные с получением, передачей, обработкой и хранением информации. Возникнув в 40-х годах нашего века из практических задач теории связи, теория информации в настоящее время становится необходимым математическим аппаратом при изучении всевозможных процессов управления.

Черты случайности, присущие процессам передачи информации, заставляют обратиться при изучении этих процессов к вероятностным методам. При этом не удается ограничиться классическими методами теории вероятностей, и возникает необходимость в создании новых вероятностных категорий. Поэтому теория информации представляет собой не просто прикладную науку, в которой применяются вероятностные методы исследования, а должна рассматриваться как раздел теории вероятностей.

Получение, обработка, передача и хранение различного рода информации — непременное условие работы любой управляющей системы. В этом процессе всегда происходит обмен информацией между различными звеньями системы. Простейший случай — передача информации от управляющего устройства к исполнительному органу (передача команд). Более сложный случай — замкнутый контур управления, в котором информация о результатах выполнения команд передается управляющему устройству с помощью так называемой «обратной связи».

Любая информация для того, чтобы быть переданной, должна быть соответственным образом «закодирована», т.е. переведена на язык специальных символов или сигналов. Сигналами, передающими информацию, могут быть электрические импульсы, световые или звуковые колебания, механические перемещения и т.д.

Одной из задач теории информации является отыскание наиболее экономных методов кодирования, позволяющих передать заданную информацию с помощью минимального количества символов. Эта задача решается как при отсутствии, так и при наличии искажений (помех) в канале связи.

Другая типичная задача теории информации ставится следующим образом: имеется источник информации (передатчик), непрерывно вырабатывающий информацию, и канал связи, по которому эта информация передается в другую инстанцию (приемник). Какова должна быть пропускная способность канала связи для того, чтобы канал «справлялся» со своей задачей,  т.е. передавал всю поступающую информацию без задержек и искажений?

Ряд задач теории информации относится к определению объема запоминающих устройств, предназначенных для хранения информации, к способам ввода информации в эти запоминающие устройства и вывода ее для непосредственного использования.

Чтобы решать подобные задачи, нужно прежде всего научиться измерять количественно объем передаваемой или хранимой информации, пропускную способность каналов связи и их чувствительность к помехам (искажениям). Основные понятия теории информации, излагаемые в настоящей главе, позволяют дать количественное описание процессов передачи информации и наметить некоторые математические закономерности, относящиеся к этим процессам.

Основные всеобщие свойства информации (по К.Шеннону):

  1. информация существует только в случайных объектах;
  2. количество информации зависит от неожиданности изменения процесса или сигнала;
  3. количество информации измеряется положительным числом;
  4. информация об объекте А относительно объекта В равна информации в объекте В относительно объекта А – в этом проявляется так называемый информационный морфизм, то есть взаимодействие объектов А и В;
  5. информация в объекте А относительно объекта В не зависит от объекта С, если объекты В и С не влияют друг на друга, проявление чего относится к признакам так называемой хиральной чистоты.

 

Меры полезности информации: семантические меры, энтропия, шум,  тезаурус.

Структурные меры информации: геометрическая, комбинаторная, мера Хартли.

Статистические меры информации: вероятностные оценки, закономерности и законы распределения событий и количественных мер информации, энтропии, соотношение энтропиии и количества информации.

Семантические меры информации: пертинентность, релевантность, когнитивность, описательность, асимметрия, эксцесс, элипсность и другие. См. также «представление информации»

 


Источник: http://koriolan404.narod.ru/tipis/24.htm



Рекомендуем посмотреть ещё:


Закрыть ... [X]

Теория информации Мегаэнциклопедия Кирилла и Мефодия статья Роспись зверева

Теория информации связана с Теория информации связана с Теория информации связана с Теория информации связана с Теория информации связана с Теория информации связана с Теория информации связана с Теория информации связана с Теория информации связана с

Похожие новости