измерение информации

Презентация - Измерение информации - Алфавитный подход - Содержательный подход

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий (ни одно из событий не имеет преимуществ перед другим). Тогда количество информации, заключенное в этом сообщении, - i бит и число N связаны формулой:

Презентация - Измерение информации - содержательный подход

Для человека информация - это знания человека. Рассмотрим вопрос с этой точки зрения.
Получение новой информации приводит к расширению знаний. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.
Отсюда следует вывод, что сообщение информативно (т.е. содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра - информативное сообщение, а сообщение о вчерашней погоде неинформативно, т.к. нам это уже известно.
Нетрудно понять, что информативность одного и того же сообщения может быть разной для разных людей. Например: 2x2=4 информативно для первоклассника, изучающего таблицу умножения, и неинформативно для старшеклассника.

Информативность сообщения
Но для того чтобы сообщение было информативно оно должно еще быть понятно.
Быть понятным, значит быть логически связанным с предыдущими знаниями 

Презентация - Измерение информации - алфавитный подход

Вопрос: Как измерить информацию? очень непростой.
Ответ на него зависит от того, что понимать под информацией. Но поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными

Познакомимся с способом измерения информации, который не связывает количество информации с содержанием сообщения, и называется он алфавитным подходом.
При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.
Применение алфавитного подхода удобно прежде всего при использовании технических средств