qtasep 💛💙

Топология бассейна притяжения Lets switch gears Есть очень красивый чисто топологический сюжет, описанный Ветровым. Вот есть машобуч. В нем как правило надо подогнать какие-то параметры, так чтобы функция, заданная с помощью этих параметров хорошо интерполировала/экстраполировала обучающую выборку. Как правило это решается введением лосса - функции потерь, и минимизации этой функции методом градиентного спуска (или какими-нибудь инженерными свистелками, вроде стохастического градиента). С одной стороны, градиентный спуск - это превосходная вещь, интерпретируемая, легко прогается, связана с хорошей математикой вроде теории Морса. С другой стороны, мы учим студентов быть осторожными: если стоит задача найти глобальный минимум, то градиентный спуск может быть плохим помощником - вдруг мы свалимся в неправильный локальный минимум? И тут приходят машинщики и такие говорят "Мы применяем градиентный спуск, и он прямо очень хорошо работает, лучше, чем ожидается. Мы не сваливаемся в плохие локальные минимумы (где лосс маленький на трейне, и большой на тесте), а те, в которые сваливаемся - они прямо очень похожи на глобальные." Почему так? Полного ответа нет, но есть интересное наблюдение. Для функции f:R^d-->R (стремящейся к +∞ при x-->∞ и с глобальным минимумом 0 для простоты) рассмотрим фильтрацию подуровня LS(t)={x|f(x)<t}, lower set filtration, прямо как в топологическом анализе данных. Затапливаем график функции водой грубо говоря. И вот интуиция из матана, теории Морса и т.д. нам говорит, что при увеличении t вначале - в момент t=0 - возникнет озеро вокруг точки глобального минимума, потом возникнет озеро где-то в другом месте - в неправильном локальном минимуме, возникнут еще сколько-то озер. Потом, когда параметр t начнет проходить через критические значения в седловых точках, наши озера начнут объединяться в озера побольше и т.д. Однако, если размерность d равна 100500 триллионов, то картинка происходящего будет другой. При затоплении за очень малое время возникнут гуголы локальных минимумов, которые в это же самое время слипнутся в связный кластер. Концептуально это довольно понятно: морсовских значений должно быть настолько дохрена, что любой отрезок [0,ε] содержит как кучу значений индекса 0, так и кучу значений индекса 1, перестройки на которых сразу же соединяют болота в минимумах. Математически - есть про это интересные работы, например вот тут https://arxiv.org/abs/1110.5872 злой матан. Обсуждают про связь этих эффектов со спиновыми стёклами. Практически, есть работа Ветрова https://arxiv.org/abs/1802.10026 где показано, что если взять два случайных минимума функции потерь большой модели, то между ними можно проложить путь, целиком проходящий "по минимумам". Говоря иначе, множество LS(ε) при малых ε - связно. Более того, в качестве пути можно тупо взять двузвенную ломаную. Это всё, конечно, не означает, что теория Морса не работает. Но это означает, что на больших размерностях и "компьютерных" порядках малости теория Морса может дать неверные интуиции о происходящем.

Да, еще с 2017 запомнился доклад Бен Аруса про случайные функции большой размерности эта интуиция сильно отличается от функций скажем, двух переменных

“Black holes are just soap bubbles of space-time…” “We’re always trying to prove Einstein wrong” Серьезный физик, вроде, гравитационные волны изучает :)

Соавторы угадывают функции в полете, на телефонном калькуляторе

Вот-вот, говорят «ну конечно надо работать с тем, чтобы женщины при родах умирали меньше», но при этом опираются на фейк-данные. Детали: В 2022-23 году говорили, что смертность при родах растет и стала выше, чем в других развитых странах, до чего Трамп страну развалил. Реальность: штаты стали включать информацию о беременности в свидетельства о смерти. Причем не все штаты сразу, а по очереди. И эти данные стали принимать за смертность именно при родах. Вывод: Даже если цели благие, врать нельзя. Правда - это сама по себе ценность.

вот так даже лучше Великолепнѣйшее И Изрядное Сочиненiе о Несоприкасающихся Макдональдовых Прогулкахъ, Противолежащихъ Непреступной Поглощающей Стѣнѣ: Откровенiе Загадочныхъ Тайнъ Марковскихъ Частицъ во Вселеннѣй Непрестанно Варьирующихся Перемѣнныхъ, Разборъ Дискретныхъ Деформацiй Прославленной Динамiкiи с-ра Дайсона, и Исслѣдованiе Многообразныхъ Прелѣстей Выражаемыхъ вѢ Духовныхъ Пределахъ Тончайшихъ Парáметровъ (q, t), Какъ Изложено Почтеннѣйшимъ Профессоромъ Леони́домъ Петровымъ

Еще один способ бесплатно посмеяться с чатомГПТ - перевести название своей статьи в заглавие книги 18 века A Grand and Elaborate Treatise on the Noncolliding Macdonald Walks Gracefully Confronting a Stalwart Absorbing Wall: Revealing the Enigmatic Mysteries of Markovian Particles within the Infinite Variable Spectrum, Studying Discrete Deformations of the Illustrious Dysonian Dynamics, and Venturing through the Varied and Intriguing Degenerative Limits of the Distinguished (q, t) Parameters, as Articulated by the Esteemed Professor Leonid Petrov

...а если совместить Yang-Baxter equation и Young diagrams, то будет ли в докладах путаница? Ведь Янг и Юнг по-английски читаются одинаково? ...ну неважно, совместить-то уже совместилось - так что проверим

Настолка наверное тупая (не пробовал), но реклама понравилась.

А был бы чернокожий - застрелили бы