Empty Set of Ideas

В мл часто встречается прием, когда к матрице добавляют на диагональ чутка шума, чтобы у нее точно существовала обратная, т.е., произвольная матрица A может быть вырожденной, но если мы хотим решить задачу, в которой необходима A^-1, то можно найти (A+epsilon*I)^-1, которая точно существует для A+epsilon*I, но почему? Теорема Сарда: пусть M и N это гладкие многообразия (с границей или без) и F: M—>N гладкое отобр. Тогда множество критических значений F имеет меру 0 в N (множество образов критических точек из M). Связь с мл-магией следующая: пусть det: M_n(R) —> R, где M_n(R) пространство вещественнозначных матриц n x n (это гладкие многообразия, а det — гладкая функция). Матрица A вырождена, если она является критической точкой det, тогда множество таких матриц имеет меру нуль (по теореме Сарда) и его дополнение GL_n(R) всюду плотно в M_n(R). Поэтому добавление эпсилон-шума почти наверняка (с вероятностью 1) даст нам матрицу из GL_n(R) у которой уже есть обратная.

MLP vs KAN (обучаем не веса, но функции активации) KAN: Kolmogorov–Arnold Networks что хорошо: 1. Генерализация и интерпретируемость сильно лучше 2. Возможность "дообучить" сеть без добавления новых слоев и обучения по-новой 3. Т.к. суть новой архитектуры в аппроксимации сложных функций, а не подборе чисел в вектора весов, то KAN, судя по всему, хорошо решает диффуры что плохо: 1. Обучается медленнее MLP в десятки раз (т.к. обучение не на GPU) 2. Пока не ясно, насколько она действительно лучше на сложных бенчмарках 3. При равном числе нейронов в MLP и KAN, последняя требует больше параметров тут можно целых полтора часа слушать первого автора (Ziming Liu) про статью

Начинаем чтение Category Theory in Context, Emily Riehl. По началу постараемся понять, что такое функтор, натуральное преобразование, как при помощи этого определить эквивалентность категорий и почему стандартное определение через изоморфизм не очень подходит. Далее поймём, что начальный и конечный объект сводится к понятию представимости. Докажем лемму и вложение Йонеды и при помощи этого осознаем, что объекты изоморфны тогда и только тогда, когда функторы, которые они представляют, натурально изоморфны, т.е. объект однозначно задаётся морфизмами «в» или «из». И на десерт затронем стандартные категорные темы — пределы, копределы, сопряженность. В ходе чтений коснёмся теоремы, которая привела к определению натуральности. Встречаемся на нашем дискорд-сервере в субботу 18 мая, в 19:00 по Москве, прочитать все пункты из Preface: Sample corollaries, A tour of basic categorical notions, Note to the reader, Notational conventions, Acknowledgments. Книга в первом комменте Сервер: https://discord.gg/sVdFxn7Fyc

Вопрос о том, как могло возникнуть такое удивительное явление, которое мы называем «жизнь», является одним из наиболее фундаментальных вызовов для современного естествознания. Похоже, что в истекающем месяце мы продвинулись на один шаг к пониманию этого явления. 4 марта в PNAS опубликована статья Джеральда Джойса с соавторами (Институт биологических исследований Солка, США), в которой впервые удалось получить весомые доказательства возможности элементарных процессов «РНК-жизни». Согласно современным воззрениям, исходные молекулярные процессы, которые впоследствии развились в явление «жизни», происходили в «РНК-мире», где еще не было ни молекул белков, ни ДНК, существовали лишь молекулы РНК, которые выполняли как функции хранения информации, так и функции катализа важных для процессов «жизни» реакций. В опубликованной Д.Джойсом с соавторами работе удалось получить рибозим-полимеразу (молекулу РНК, размножающую рибозимы, т.е. катализаторы на основе РНК) с такой точностью, что способность к катализу не только не теряется, но улучшается в каждом следующем поколении. Таким образом, продемонстрирована возможность дарвиновской эволюции в «РНК-мире» без какого-либо участия белковых ферментов. В каждом следующем поколении происходит накопление полезных мутаций и рост «приспособленности» размножаемых молекул. Следующим шагом должно стать достижение такой точности синтеза, который позволил бы рибозим-полимеразам воспроизводить самих себя. Думаю, что накопленный в группе Д.Джойса объем «big data» (он работает в этой области около 30 лет) мог бы позволить применить для этой решения этой проблемы инструменты искусственного интеллекта. С подробностями обсуждаемой работы можно ознакомиться по содержательному очерку Александра Маркова на elementy.ru: https://elementy.ru/novosti_nauki/434208/Evolyutsiya_ribozimov_razmnozhaemykh_ribozimami_eshche_odin_shag_k_vossozdaniyu_RNK_zhizni_v_probirke/t379113/Aleksandr_Markov А вот ссылка на оригинальную статью Д.Джойса с соавторами: https://www.pnas.org/doi/10.1073/pnas.2321592121

Без громких анонсов 🚨 команда Google Scholar пару дней назад выпустила расширение, которое существенно упрощает чтение статей, не отвлекаясь на поиск референсов. Я на нём сижу уже пару месяцев, очень удобно, что такое доступно в хроме, без отдельного громоздкого приложения. Скачать можно тут. 👍

Читаем Topology and Logic as a Source of Algebra, Saunders Mac Lane В этом обращении МакЛейн рассказывает, как в его исследовании некоторых аспектов алгебры возникали связи с проблемами из геометрии и логики. Поговорим о сепарабельных расширениях, гомологической алгебре, теории категорий. Прочитать параграфы 1. Separable extensions, 2. Homological algebra, 3. The cohomology of groups к пятнице, 22 марта, 19:00 по Москве. Статья в первом комменте. Сервер: https://discord.gg/Pa9eCVWHZZ

QUANTAL COMPONENTS OF THE END-PLATE POTENTIAL (1954) В современных вычислительной биологии модели зачастую идут параллельно с реальностью и не проверяются экспериментально должным образом: модель считается самодостаточным результатом. Данная работа, ставшая уже классической (>2000 цитат), демонстрирует то, как моделирование и эксперимент могут дополнять друг друга, в результате позволяя ответить на фундаментальные вопросы. Del Castillo и Bernard Katz (нобелевский лауреат 1970-го) экспериментировали на лягушках, записывая токи с концевых мышечных пластинок и заметили, что если мотонейрон, аксон которого образовывал синапс с концевой пластинкой мышцы, спайковал, заливая всё ацетилхолином, то на пластинке регистрировался сильный деполяризующий отклик — потенциал концевой пластинки (end-plate potential или EPP) амплитудой в 20 mV (заряд смещался с -75mV до -55mV), однако, даже в отсутствии спайка на аксоне мотонейрона, на концевой пластинке регистрировались слабые потенциалы в 0.5 mV, которые было решено назвать миниатюрными потенциалами концевой пластинки (miniature end-plate potential или mEPP). Было предположено, что EPP = сумма большого числа mEPP случившихся в коротком временном интервале, где каждый mEPP – ответ на некоторый квант ацетилхолина, высвобождаемого пресинапсом. Стоит понимать, что про везикулы и синаптическую передачу тогда ничего толком не знали, поэтому квант – по факту одна условная везикула, случайно или неслучайно излившая содержимое в синаптическую щель. Тогда усредненная амплитуда EPP должна быть равна: V_e = npq, где n – число доступных квантов ацетилхолина в пресинапсе, а p – средняя вероятность высвобождения кванта (везикулы) в синаптическую щель, а q – амплитуда mEPP (в оригинале quantal amplitude). Собственно, вся статья 1954-го года посвящена проверке этой модели экспериментально. С этой целью ученые искусственно варьировали синаптическую проводимость, понижая концентрацию кальция (который нужен для высвобождения везикул, как мы сейчас знаем) и повышая магния, тем самым получив ответный EPP на спайк моторного нейрона амплитудой всего в несколько mV – несколько квантов или mEPP в рамках гипотезы. Если предложенная модель корректна, тогда среднее количество везикул-квантов высвобождаемых за каждый EPP должно быть равно m=np. При этом, условно зная (провидение), что число n везикул в пресинапсе большое, а вероятность экзоцитоза p маленькая, они предположили, что число везикул высвобождаемых в синаптическую щель должно аппроксимироваться Пуассоновским распределением, таким образом вероятность высвобождения x везикул-квантов в конкретном испытании равна P(x) = (m^x / x!) exp(-m). Это даёт два возможных способа получения числа m. Во-первых, это средняя амплитуда регистрируемого EPP, деленного на амплитуду q или mEPP. Во-вторых, экспериментальные условия приводили к тому, что регистрировалось множество нулевых EPP – когда никакого отклика на стимуляцию моторного нейрона в концевой пластинке не регистрировалось вследствие крайне малого значения p, что аналогично P(0) = exp(-m), а P(0) экспериментально можно получить как отношения числа неудач к общему числу испытаний. Если модель корректна, тогда оба этих пути оценки числа m должны давать идентичный результат m = mean(V_EPP)/q = ln(число испытаний/число неудач). Собственно, собрав данные они это и увидели. Такой квантовый анализ до сих пор используется в экспериментальной науке для анализа синаптических ответов, например, для локализации пре- и постсинаптических изменений связанных с LTP и LTD. И да, результаты этой работы во многом легли в основу современного знания о ВПСП и ТПСП в ЦНС, сама природа mEPP как бы намекает на сущностное родство.

Там, видимо, научились умножать матрицы ещё быстрее: https://www.quantamagazine.org/new-breakthrough-brings-matrix-multiplication-closer-to-ideal-20240307/

(краткий пересказ введения к большой книжке Лейнстера "Entropy and diversity: The axiomatic approach" 2022) Биоразнообразие кажется интуитивным понятием: много разных видов, чем их число больше, тем выше степень биоразнообразия. Но как быть с количественной мерой? Допустим, есть два сообщества A и B. С одной точки зрения, важно максимальное число представленных видов и не важно, насколько они распространены. С другой – важны только распространенные виды и их вклад. В зависимости от точки зрения, группа A или группа B будут считаться более разнообразными. На самом деле, эти позиции – два противоположных конца континуального семейства однопараметрических мер биоразнообразия {D_q} для q in [0, infinity). Чем меньше значение q, тем больший вклад в биоразнообразие вносят редкие и малочисленные виды и наоборот. Понятие биоразнообразия тесно связано с энтропией и фактически Шенноновская энтропия – это логарифм меры биоразнообразия D_1. Или, например, меры биоразнообразия D_q, известные в экологии как числа Хилла (Hill numbers), представляют собой экспоненты энтропии Реньи. Лейнстер доказывает, что числа Хилла – единственная мера биоразнообразия, обладающая natural properties в категорном смысле. Кажется логичным, что помимо числа собственно представителей в сообществе, необходимо учитывать и их попарное подобие или генетическое родство. Существуют меры биоразнообразия, которые учитывают и это. Однако все они сводятся к мерам, связанным с энтропией Реньи, что также доказывается Лейнстером. Современное животноводство активно использует антибиотики в производстве, порой неаккуратно, что приводит к появлению резистентной микрофлоры у домашнего скота. Высказывался ряд опасений, что появление таких резистентных бактерий может повлечь за собой эпидемии и среди людей, но Mather et al. показали, используя меры diversity для сравнения бактериальных семейств живущих с разными видами рядом, что резистентные Salmonella взятые у животных, вряд ли являются причиной резистентности у Salmonella живущих с человеком