 |
 |
 |
 |
|
 |
 |
(3.01)
Мы видим, что число сделанных выборов и вытекающее отсюда количество информации бесконечны.
Однако в действительности никакое измерение не производится совершенно точно. Если измерение
имеет равномерно распределенную ошибку, лежащую в интервале длины 0, b1, b2, …, b
n
, …, где b
k
–
первый разряд, отличный от 0, то, очевидно, все решения от а1 до а
k–1
и, возможно, до a
k
будут
значащими, а все последующие – нет. Число принятых решений, очевидно, близко к
(3.02)
[c.120]
и это выражение мы примем за точную формулу количества информации и за его определение.
Это выражение можно понимать следующим образом: мы знаем априори, что некоторая переменная
лежит между нулем и единицей, и знаем апостериори, что она лежит в интервале (а, b) внутри
интервала (0, 1). Тогда количество информации, извлекаемой нами из апостериорного знания, равно
(3.03)
Рассмотрим теперь случай, когда мы знаем априори, что вероятность нахождения некоторой величины
между х и x+dx равна f1(x)dx, а апостериорная вероятность этого равна f2(x)dx. Сколько новой
информации дает нам наша апостериорная вероятность?
Эта задача, но существу, состоит в определении ширины областей, расположенных под кривыми y=f1(x)
и у=f2(x). Заметим, что, по нашему допущению, переменная х имеет основное равномерное
распределение, т.е. наши результаты, вообще говоря, будут другими, если мы заменим х на х³ или на
какую-либо другую функцию от х. Так как f1(x) есть плотность вероятности, то
(3.04)
Поэтому средний логарифм ширины области, расположенной под кривой f1(x), можно принять за
некоторое среднее значение высоты логарифма обратной величины функции f1(x). Таким образом,
(3.05)
Величина, которую мы здесь определяем как количество информации, противоположна по знаку
величине, которую в аналогичных ситуациях обычно определяют как энтропию. Данное здесь
определение не совпадает с определением Р.А. Фишера для статистических задач, хотя оно также
является статистическим определением и может применяться в методах статистики вместо определения
Фишера.
В частности, если f1(x) постоянна на интервале (а, b) и равна нулю вне этого интервала, то
