Онлайн калькулятор: Условная энтропия

Пусть имеются две случайные величины X и Y. Если они зависимые, то значения, принимаемые одной из них, могут оказывать влияние на значения, принимаемые другой. Приведем простейший пример: пусть у нас есть урна с двумя шарами - белым и черным. Случайная величина X - цвет шара, вытащенного первым, случайная величина Y - цвет шара, вытащенного вторым. Понятно, что если мы ЗНАЕМ значение какой-либо одной из этих случайных величин, мы также точно знаем значение и второй. Для описания подобной зависимости и используется условная энтропия.

Для расчета условной энтропии нам нужны вероятности появления всех пар значений случайных величин X и Y. В поле ввода ниже нужно ввести матрицу, элемент которой на пересечении i-ой строки и j-ого столбца равен $p_{(x_i, y_j)}$ - вероятности того, что X и Y примут значения ${x_i, y_j}$ , соответственно. Строки соответствуют значениям случайной величины X - ${x_1, x_2, ... x_n$ а столбцы - случайной величины Y - ${y_1, y_2, ... y_m}$ .

Нажав кнопку "Детали расчета" вы сможете увидеть расчет средних условных энтропий. Формулы расчета в общем виде приведены под калькулятором.

Условная энтропия

Таблица вероятности состояний (X, Y) ~ p

Детали расчета

Точность вычисления

Знаков после запятой: 2

H(Y|X)

H(X|Y)

Файл очень большой, при загрузке и создании может наблюдаться торможение браузера.

Формула условной энтропии

Частная условная энтропия $H(Y|x_i)$ - это количество информации, или энтропия, которая характеризует степень неопределенности значений случайной величины Y, остающуюся после того, как стало известно, что случайная величина X приняла значение $x_i$ .

Средняя или полная условная энтропия H(Y|X) - это количество информации, или энтропия, которая характеризует степень неопределенности значений случайной величины Y, остающуюся после того, как стало известно значение, принятое случайной величиной X.

Средняя условная энтропия Y по X определяется как

$\mathrm {H} (Y|X)\ =-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}$

Предполагается что выражения вида $0\log 0$ и $0\log \frac{c}{0}$ трактуются как ноль.

Значения $p(x)$ для каждой строки вычисляются суммированием ячеек в этой строке, а $p(x,y)$ - даны.

Эта формула, по факту, является взвешенным средним значением частных условных энтропий для каждого из возможных значений X.

$\mathrm {H} (Y|X=x_i)=-\sum _{y\in {\mathcal {Y}}}{P(Y=y|X=x_i)\log _{2}{P(Y=y|X=x_i)}}$

Веса пропорциональны значению p(x), то есть

$\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)}&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)$
$=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}$

PLANETCALC Онлайн калькуляторы

Условная энтропия

Эта страница существует благодаря следующим персонам

Timur

Условная энтропия

Формула условной энтропии

Похожие калькуляторы

Комментарии

PLANETCALC Онлайн калькуляторы

Условная энтропия

Формула условной энтропии

Похожие калькуляторы

Комментарии

Поделиться этой страницей