Математические байки

Теперь, чтобы сказать, "какое изменение приходится [в среднем] на одну итерацию", можно было бы извлечь корень n-й степени.

(T^n)'(x) = T'(T^{n-1}(x)) * ... * T'(T(x)) * T'(x).

В размерности один — а мы будем считать, что мы работаем на отрезке, — это просто значит, что мы берём производную n-й итерации T^n в точке x:

Тогда можно посмотреть, с какой скоростью итерации "соседних" с ней точек с её итерациями сближаются/разбегаются.

И пусть задана начальное состояние системы — некоторая точка x.

Чуть более подробно — вот пусть у нас есть динамическая система, то есть отображение T, которое мы итерируем (можно сказать, что оно сопоставляет текущему состоянию системы её состояние через одну секунду).

А именно — это предел lim_n (1/n) ln (T^n)'(x):

По-хорошему, про скорость растяжения произносятся слова "показатель Ляпунова" (которые для современной теории динамических систем одни из основных).

Там тоже обсуждалась хаусдорфова размерность, но не точек с данной долей 0 и 1, а точек с данной скоростью растяжения для того отображения T, которое канторово множество порождает.

== Ну и возвращаясь к докладу Марка Полликотта (а то я про Безиковича и долю единиц рассказал, а про центральный сюжет ещё нет).

В какой-то из популярных книжек (ещё времён, когда телефоны были проводными) мне попадалось сравнение "Если Вы снимете трубку звонящего телефона и услышите "Алло!", Вы не удивитесь. Гораздо больше Вы удивитесь, если Вас вместо этого ударит током."

Так что можно сказать, что логарифм вероятности пронаблюдённого (случившегося) исхода — это та информация, которую мы в результате эксперимента получаем.

Ещё на эту формулу можно посмотреть так: это математическое ожидание ( = результат усреднения) логарифма вероятности того исхода, которое у нас в результате одного эксперимента получается.

Для аккуратности — если говорить о битах, то логарифм нужно брать двоичным, а в динамических системах и в физике его обычно берут натуральным.

Вот мы и получили знаменитую формулу для энтропии — число бит для передачи результата в расчёте на один эксперимент (или, по-другому, какая пропускная способность канала нам нужна): H = - \sum_i p_i \log p_i.

Опять применив формулу Стирлинга и посмотрев на экспоненциальную часть, мы получим произведение (n/m_i)^(m_i), и его логарифм будет равен n * (-\sum p_i log p_i).

То есть n!/((m_1)!*...*(m_k)!)

Чтобы закончить позавчерашнюю байку — если у нас в эксперименте будут не 0 и 1, а несколько разных исходов 1,...,k — все со своими вероятностями p_1,...,p_k, — то вместо биномиального коэффициента будет мультиномиальный, из n по набору (m_1,...,m_k) того, сколько раз какой исход выпал.

Остаётся передать номер — что мы и сделаем.