Теория информации

       

Способы измерения информации


Понятие количества информации естественно возникает, например, в следующих типовых случаях:

  1. Равенство вещественных переменных , заключает в себе информацию о том, что равно . Про равенство можно сказать, что оно несет меньшую информацию, чем первое, т.к. из первого следует второе, но не наоборот. Равенство несет в себе информацию по объему такую же, как и первое;
  2. Пусть происходят некоторые измерения с некоторой погрешностью. Тогда чем больше будет проведено измерений, тем больше информации об измеряемой сущности будет получено;
  3. М. о. некоторой сл.в., содержит в себе информацию о самой сл.в., Для сл.в., распределенной по нормальному закону, с известной дисперсией знание м. о. дает полную информацию о сл.в.,;
  4. Рассмотрим схему передачи информации. Пусть передатчик описывается сл.в., , тогда из-за помех в канале связи на приемник будет приходить сл.в., , где - это сл.в.,, описывающая помехи. В этой схеме можно говорить о количестве информации, содержащейся в сл.в., , относительно . Чем ниже уровень помех (дисперсия мала), тем больше информации можно получить из . При отсутствии помех содержит в себе всю информацию об .

В 1865 г. немецкий физик Рудольф Клаузиус ввел в статистическую физику понятие энтропии или меры уравновешенности системы.

В 1921 г. основатель большей части математической статистики, англичанин Роналд Фишер впервые ввел термин "информация" в математику, но полученные им формулы носят очень специальный характер.

В 1948 г. Клод Шеннон в своих работах по теории связи выписывает формулы для вычисления количества информация и энтропии. Термин энтропия используется Шенноном по совету патриарха компьютерной эры фон Неймана, отметившего, что полученные Шенноном для теории связи формулы для ее расчета совпали с соответствующими формулами статистической физики, а также то, что "точно никто не знает" что же такое энтропия.

Упражнение 4

Какое из соотношений несет в себе больше информации или ?



Содержание раздела