 |
 |
 |
 |
|
 |
 |
(3.11)
Другими словами, перекрытие областей под ?(х) и ?(x) уменьшает максимальную информацию,
заключенную в сумме ?(х)+?(x). Если же ?(х) есть плотность [c.124] вероятности, обращающаяся в нуль
вне (а, b), то интеграл
(3.12)
имеет наименьшее значение, когда
на интервале (а, b) и ?(х)=0 вне этого интервала. Это
вытекает из того, что логарифмическая кривая выпукла вверх.
Как и следовало ожидать, процессы, ведущие к потере информации, весьма сходны с процессами,
ведущими к росту энтропии. Они состоят в слиянии областей вероятностей, первоначально различных.
Например, если мы заменяем распределение некоторой переменной распределением функции от нее,
принимающей одинаковые значения при разных значениях аргумента, или в случае функции
нескольких переменных позволяем некоторым из них свободно пробегать их естественную область
изменения, мы теряем информацию. Никакая операция над сообщением не может в среднем увеличить
информацию. Здесь мы имеем точное применение второго закона термодинамики к технике связи.
Обратно, уточнение в среднем неопределенной ситуации приводит, как мы видели, большей частью к
увеличению информации и никогда – к ее потере.
Интересен случай, когда мы имеем распределение вероятностей с n-мерной плотностью f(х1, …, x
n
) по
переменным (х1, …, x
n
) и m зависимых переменных y1, …, y
m
. Сколько информации мы приобретаем при
фиксации таких т переменных? Пусть они сперва фиксируются между пределами y1
*
, y1
*
+dy1
*
, …, y
m
*
,
y
m
*
+dy
m
*
. Примем х1, x2, …, x
n–m
, у1, y2, ..., у
т
за новую систему переменных. Тогда для новой системы
переменных наша функция распределения будет пропорциональна f1(х1, …, x
n
) над областью R,
определенной условиями
и равна нулю вне ее. Следовательно, количество информации, полученной при наложении условий на
значения у, будет равно
[c.125]
(3.13)
