 |
 |
 |
 |
|
 |
 |
а переменная v заключена между теми же двумя пределами с вероятностью
Сколько мы приобретаем информации об и, если знаем, что u+v=w? В этом случае очевидно, что u=w—
v, где w фиксировано. Мы полагаем, что априорные распределения переменных и и v независимы, тогда
апостериорное распределение переменной и пропорционально величине
,
(3.09)
где c1 и c2 — константы. Обе они исчезают в окончательной формуле.
Приращение информации об и, когда мы знаем, что w таково, каким мы его задали заранее, равно
[c.123]
(3.091)
Заметим, что выражение (3.091) положительно и не зависит от w. Оно равно половине логарифма от
отношения суммы средних квадратов переменных и и v к среднему квадрату переменной v. Если v
имеет лишь малую область изменения, то количество информации об и, которое дается знанием суммы
u+v, велико и становится бесконечным, когда b приближается к нулю.
Мы можем истолковать этот результат следующим образом. Будем рассматривать и как сообщение, а v
–
как помеху. Тогда информация, переносимая точным сообщением в отсутствие помехи, бесконечна.
Напротив, при наличии помехи это количество информации конечно и быстро приближается к нулю по
мере увеличения силы помехи.
Мы сказали, что количество информации, будучи отрицательным логарифмом величины, которую
можно рассматривать как вероятность, по существу есть некоторая отрицательная энтропия. Интересно
отметить, что эта величина в среднем имеет свойства, которые мы приписываем энтропии.
Пусть ?(х) и ?(x) – две плотности вероятностей, тогда
также есть плотность вероятности и
(3.10)
Это вытекает из того, что
