Заметки Профессора К

Расскажу, кто такие Area Chair (AC) на NeurIPS - одной из крупнейших конференций по ИИ. AC это опытные исследователи, которых приглашают организаторы. Работа неоплачиваемая. В этом году каждый AC курирует 10 статей: следит за рецензированием, помогает разрешать разногласия, и пишет итоговую рекомендацию. Зачем соглашаться? AC влияют на программу NeurIPS. Для меня это возможность помочь сильным работам в моей области получить заслуженное внимание.

Не всякая неопределённость плоха. Если выгода растёт быстрее, чем линейно, разброс становится преимуществом. Почему? Неравенство Йенсена Выпуклая кривая никогда не опускается ниже своей касательной. Касательная в точке μ = E[X]. Кривая лежит выше неё всюду: f(x) ≥ f(μ) + f′(μ)·(x − μ) для всех x. Берём матожидание обеих частей. Член f′(μ)·(E[X] − μ) обнуляется, ведь E[X] = μ: E[f(X)] ≥ f(E[X]). Выпуклость превращает разброс в прибавку.

Почему ReLU-сеть с одним скрытым слоем универсальный аппроксиматор? Из двух ReLU можно построить узкий «пичок»: σ(x-a) − σ(x-a−ε). Суммируя такие пички, можно приблизить любую непрерывную функцию на отрезке с любой заданной точностью. Чем больше нейронов, тем больше и уже пички, тем точнее приближение. Выразительность не требует глубины. Глубина нужна для эффективности: она позволяет добиться того же результата с меньшим числом нейронов.

Я оказался на нужной секции конференции по ошибке. Перепутал зал, было лень выходить, остался. Там сидел человек, с которым я потом написал свои лучшие работы. Я часто рассказываю эту историю своим студентам. Но урок в ней странный: не «ищи возможности», а «многое в твоей жизни зависит от того, в какую секцию ты случайно попал».

Интересный эффект экспертизы в том, что она не просто увеличивает объём наших знаний. Она меняет способ, которым мы воспринимаем мир. Музыкант не просто знает о симфонии больше. Он слышит то, чего для остальных не существует. Мы привыкли ценить образование за его практическую пользу: оно помогает найти работу, увеличить доход, сделать карьеру. Но, есть другая ценность. Образование один из немногих способов сделать жизнь богаче. Оно дает нам способ замечать новые оттенки и нюансы в вещах.

Мне долго казалось, что меня недооценивают. Потом я получил ровно то признание, которого хотел, и обнаружил, что оно ничего не изменило внутри. Проблема оказывается была не в том, как меня оценивали.

Представьте, что вы идёте по дороге и упираетесь в ограду, поставленную поперёк, без всякого видимого смысла. Ни поля вокруг, ни скота, ни обрыва: просто забор посреди пути. Естественная идея - снести. Зачем он здесь? Никто не знает, никому не мешает его можно убрать, дорога станет прямее. Так мы поступаем не только с оградами: с правилами, обычаями, пунктами в уставе, строчками в чужом коде - всё, чьего смысла мы не видим, кажется нам излишним, и рука тянется «снести». Гилберт Кит Честертон предложил на этот случай правило, которое он изложил в книге «The Thing» в 1929 году, и звучит оно так.

Представим, что существует некий общественный институт или правило; для простоты - забор или ворота, поставленные поперёк дороги. Современный реформатор бодро подходит и говорит: «Не вижу в этом никакого смысла. Давайте уберём». На что более разумный реформатор ответит: «Если вы не понимаете, зачем это здесь, я тем более не позволю вам это сносить. Идите и подумайте. А когда сможете вернуться и объяснить, для чего это было нужно, тогда, возможно, я позволю вам это разрушить».

Обсудим идею в этой цитате. Честертон не защищает ограду. Он не говорит, что старое свято, а забор непременно нужен, - он прямо допускает, что ограду может и стоит снести. Он говорит о другом: о том, что «я не вижу причины» и «причины нет» - это два совершенно разных утверждения, которые могут показаться одинаковыми. Тот, кто сносит забор, опираясь лишь на собственное неведение, принимает собственное незнание за отсутствие причины. Правило Честертона не запрет на перемены, а требование доказательства: сначала выясни, зачем это поставили, а потом уже суди, нужно ли оно теперь. И тут стоит заметить, куда это правило перекладывает бремя. Обычно мы считаем, что оправдываться должен тот, кто хочет сохранить: докажи, мол, что твой забор полезен. Для Честертона: оправдываться должен тот, кто хочет снести. Не потому, что старое ценнее нового, а потому, что забор - это уже свершившийся факт, кем-то оплаченный, чей-то ответ на некогда существовавшую задачу. Его когда-то поставили не просто так: кто-то тратил силы и время, а люди редко трудятся впустую. Причина могла отпасть - тогда сноси; но могла и остаться, просто уйти с глаз. Разница видна только тому, кто потрудился выяснить. Человек покупает старый дом в Ташкенте, а по краю двора тянется арык - узкая канава, вечно требующая чистки, отнимающая полоску земли, и вода в ней бывает не всегда. Смысла в ней новый хозяин не видит и засыпает её: двор стал ровнее и аккуратнее. Через год во дворе начинает сохнуть чинары, летом исчезает привычная прохлада, а после дождей вода стоит у самого фундамента. Оказывается, арык питал дерево, охлаждал двор и отводил лишнюю воду. Просто всё это происходило тихо, само собой, и со временем никто уже не помнил, зачем он был нужен. Те, кто это знал, давно умерли. А пока арык исправно выполнял свою работу, его существование казалось бессмысленным. Ровно то же случается с новым заведующим лабораторией: Бобур приходит и отменяет странный шаг в протоколе, которого никто не может объяснить, и через полгода в данных появляются проблемы, из-за которых шаг когда-то и ввели. Заметьте: пока правило работало, оно было невидимо. Именно исправно работающая защита не даёт увидеть беду, от которой защищает, и оттого выглядит бесполезной как раз тогда, когда полезнее всего. Поэтому, наткнувшись на непонятное правило, стоит задать себе вопрос «кто ставил этот забор, и от чего?». И если, разобравшись, вы обнаружите, что причина отпала, сносите смело, теперь у вас есть на это право. Правило Честертона не удерживает от перемен, оно лишь требует пройти их в правильном порядке: сперва понять, потом ломать. Легкомысленно тут не менять - легкомысленно менять, не зная, что меняешь. Ограда посреди дороги - это чей-то ответ на вопрос, который вы не услышали. Прежде чем убрать ответ, стоит хотя бы узнать вопрос. ■

Я профессор в Штатах, руковожу научной группой по ИИ. Это моя серия о поступлении в PhD. Совет: Правило, которого многие иностранные студенты не знают: в STEM PhD-программах США предложение всегда идёт с финансированием (оплата обучения плюс стипендия-зарплата). Это норма, а не награда для избранных. Ситуация, когда вас берут в PhD, но просят платить за себя, редкость и повод насторожиться.

Вот так сегодня выглядит математика в эпоху ИИ. Якобианская гипотеза - одна из старейших открытых задач алгебраической геометрии. Она задает простой на вид вопрос: Если полиномиальное отображение имеет всюду постоянный ненулевой якобиан, обязательно ли у него существует полиномиальное обратное? Почти 90 лет математики считали, что да, хотя доказать этого никто не мог. Контрпример был найден с помощью Claude и совершенно опубликован в X.

3 мысли из «Имя розы» Умберто Эко, которые не потеряли актуальности. 1) Цензура В рассказе книги прячут потому, что считают содержащиеся в них идеи слишком опасными для людей. Цензура работает так и сегодня: ее почти никогда не оправдывают страхом перед истиной. Ее оправдывают заботой об обществе. Иногда в эту заботу искренне верят. Иногда это лишь удобный способ управлять людьми. 2) Смех История построена вокруг утраченного трактата Аристотеля о комедии. Ее скрывают потому, что смех считают угрозой. Смех лишает непререкаемый авторитет его главной силы - неприкосновенности. Над тем, над чем можно смеяться, уже нельзя безоговорочно преклоняться. Юмор остается одним из самых эффективных способов лишить авторитет его неприкосновенности 3) Интеллектуальная честность Главный герой, Вильгельм Баскервильский, во многом вдохновлен философом Уильямом Оккамом, одним из крупнейших мыслителей Средневековья. Он начинает с гипотез. Он постоянно проверяет их, отказывается от них, когда факты говорят обратное, и не боится признавать собственные ошибки. Эко противопоставляет такую интеллектуальную скромность догматической уверенности: истина рождается не из убежденности в собственной правоте, а из готовности пересмотреть свои убеждения.

Мы привыкли думать, что цивилизацию построили великие умы. Что за каждым нашим установлением стоит чей-то замысел: мудрец, законодатель, гений, который сел, подумал и придумал, как нам жить. Так нам проще понимать историю. Но Фридрих Хайек заметил обратное: самое важное в цивилизации не придумал никто. Язык не изобретал никто. Не было человека, который сел и сочинил грамматику, раздал словам значения, а после обучил остальных. Деньги не изобретал никто - не собирался совет, чтобы постановить, что отныне мерой всему будет вот это. Общее право, обычаи, мораль, устройство рыночной экономики - ни у одного из них нет автора. Они возникли сами, без единого замысла, медленно нарастая из бесчисленных действий множества людей, ни один из которых не был дизайнером всего. Хайек назвал это спонтанным порядком - строем, который есть плод человеческих действий, но не человеческого замысла. Порядок без проектировщика. Как такое возможно? Механизм тут отбор, а не изобретение. Возникали тысячи обычаев, оборотов речи, способов торговать и судить. Большинство оказывались негодными и тихо вымирали - их бросали, забывали, они не доживали до нас. А те которые случайно работали лучше прочих, повторялись, передавались дальше и дожили. Никто их не выбирал разумом; их отсеяло время, оставив то, что держалось. Дошедшее до нас установление, это победитель в долгом состязании, о большинстве участников которого мы уже ничего не знаем. А отсюда - мысль неудобная, но важная. Если вы не понимаете, зачем существует какое-то правило, это ещё не значит, что оно глупое. Очень может быть, что оно пережило десятки альтернатив именно потому, что тихо работало лучше них, а причина давно забыта, стёрлась, и до нас дошло только правило без объяснения. Непонятное нам - не обязательно бессмысленное; иногда это сжатый опыт поколений, которые перепробовали и отбросили всё остальное, не оставив нам протокола. Возьмите какой-то обычай в Ташкенте, смысла которого не назовёт уже никто из живущих: почему так, а не иначе, - «так заведено». Легко счесть это пустым суеверием и отменить. Но порой за таким «так заведено» скрыт урок, оплаченный чужими бедами, - правило, которое осталось потому, что общины, его не соблюдавшие, платили дорого и до нас не дошли. Мы смотрим на наши установления и видим одних победителей - язык, на котором говорим, законы, по которым живём, обычаи, что нас держат. Мы не видим миллионов проигравших: наречий, что угасли, порядков, что рухнули, обычаев, что сгинули вместе с теми, кто их держался. От этого кажется, будто дошедшее до нас - единственно возможное, само собой разумеющееся, чуть ли не кем-то задуманное таким. А это лишь тонкий слой уцелевшего поверх огромного кладбища испробованного и отброшенного. Поэтому, натыкаясь на правило, чьего смысла не видишь, стоит задать не один вопрос, а два: сперва - «не пережило ли оно чего-то, чего я уже не вижу?», и потом - «а не пустая ли это окаменелость, которую пора оставить?». Скромность тут не в том, чтобы чтить всё старое, и не в том, чтобы бестрепетно ломать непонятное, - а в том, чтобы помнить: до нас дошли одни выжившие, и молчание проигравших мы слишком легко принимаем за их отсутствие. ∎

В «Автобиографических заметках» Эйнштейн пытается ответить на вопрос: что такое мышление?

Что, собственно, означает «мыслить»? Когда при восприятии чувственных впечатлений возникают образы памяти, это ещё не мышление. И когда такие образы образуют последовательность, в которой каждый из них вызывает следующий, это тоже ещё не мышление. Но когда определённый образ появляется во многих таких последовательностях, то именно благодаря этому повторению он становится элементом, упорядочивающим эти последовательности: он связывает между собой ряды образов, которые сами по себе никак не связаны. Такой элемент становится инструментом, понятием. Я думаю, что переход от свободных ассоциаций, или «сновидения», к мышлению характеризуется более или менее господствующей ролью, которую начинает играть понятие. При этом вовсе не обязательно, чтобы понятие было связано с чувственно воспринимаемым и воспроизводимым знаком, то есть словом. Но когда такая связь существует, мышление благодаря этому становится доступным для передачи другим.

Разбираем мысли Эйнштейна. Воспоминание ещё не мышление. По Эйнштейну, если ощущение вызывает воспоминание, это лишь работа памяти. Например, запах кофе напоминает вам детство. Это ещё не мышление. Цепочка ассоциаций тоже не мышление. Одно воспоминание может вызвать другое: кофе → бабушка → школа → первый экзамен. Так работает свободная ассоциация. Мышление начинается с появления понятий. Когда один и тот же общий элемент встречается во множестве разных ситуаций, возникает понятие. Например, увидев множество разных собак, мы формируем понятие «собака», которое объединяет все эти случаи. Понятия упорядочивают опыт. Понятие связывает между собой наблюдения, которые без него казались бы несвязанными. Так, понятие «гравитация» объединяет падение яблока, движение Луны и орбиты планет. Именно понятия отличают мышление от свободных ассоциаций. Сновидение следует случайным связям между образами. Мышление ищет общее, строит абстракции и объясняет мир через понятия. Слова не обязательны для мышления. Эйнштейн считает, что мыслить можно и без слов: с помощью образов, интуиций или математических структур. Язык нужен прежде всего для того, чтобы сделать мысль понятной другим. Главная идея Эйнштейн считает что, мыслить не значит вспоминать и не свободно ассоциировать, а создавать понятия, которые объединяют разрозненный опыт в единую картину мира.

Нас учат, что наука строится как здание: ряд за рядом, кирпич к кирпичу. Каждое поколение кладёт свой слой поверх прежнего, знание копится, и мы поднимаемся всё выше по ровной, непрерывной кладке. В этой картине много правды. Огромная часть научной работы именно такова, и без этого терпеливого накопления нельзя. Но если присмотреться к тем моментам, когда наука делает настоящий рывок, ровная кладка исчезает. Оказывается, что решающие сдвиги приходят не добавлением ещё одного кирпича, а разрушением всего здания разом. Именно это показал Томас Кун в книге «Структура научных революций» (1962), подарив миру слово парадигма. Парадигма - это общая рамка, внутри которой наука спокойно работает: набор допущений о том, как устроен мир, какие вопросы имеют смысл, что считать ответом. Пока эта рамка держится, учёные занимаются тем, что Кун назвал нормальной наукой. Они не совершают перевороты, а кропотливо наводят порядок внутри принятой картины. Со временем внутри этой рамки накапливаются аномалии, то есть наблюдения, которые в неё не укладываются. Сначала их не замечают или списывают на мелкие ошибки: прибор подвёл, эксперимент не удался, потом разберёмся. Парадигму не бросают при первом противоречии. Наоборот, её укрепляют: вводят новые поправки, добавляют уточнения, строят всё более сложные объяснения, чтобы сохранить привычную картину. Постепенно аномалий становится слишком много. Теория теряет простоту, трещины становятся всё заметнее, и наступает момент, когда прежнюю картину уже невозможно удержать поправками. Тогда происходит обвал. Старая рамка уступает место новой, несовместимой с прежней. Кун назвал это сменой парадигмы. Классический пример - как человечество понимало небо. Земля неподвижна в центре, светила вращаются вокруг неё. Эта картина просуществовала полторы тысячи лет и довольно неплохо предсказывала движение планет. Но сами планеты вели себя слишком своенравно. Чтобы спасти систему, астрономы добавляли круги поверх кругов, эпициклы на эпициклы. Картина продолжала работать, но становилась всё сложнее. Коперник не добавил ещё один круг. Он убрал из центра Землю и поставил туда Солнце. Те же наблюдения внезапно сложились в гораздо более простую картину. Важно заметить: изменились не данные, а способ их понимать. Кун подметил горькую человеческую особенность. Новую парадигму редко принимают те, кто прожил жизнь внутри старой. Профессор, посвятивший десятилетия прежней картине мира, обычно не видит в новой ничего, кроме разрушения того, чему сам служил. Слишком многое в его жизни связано со старой системой взглядов. Поэтому, заметил Кун, научные революции происходят не тогда, когда старшее поколение удаётся убедить, а когда ему на смену приходит новое. Поэтому мне всегда нравилась фраза Макса Планка: «Новая научная истина побеждает не потому, что её противников убеждают, а потому, что её противники в конце концов умирают». Поэтому, держась за любую картину мира, научную или жизненную, полезно спрашивать себя: «Что в неё упорно не укладывается? И не делаю ли я вид, что этого нет?» Иногда несоответствие действительно оказывается шумом, который нужно отбросить. А иногда это тихий стук в стену здания, из которого уже пора выходить. ∎

Только что прочитал мысль: Научиться распознавать человека, который несёт чушь, проще, чем научиться распознавать чушь.

Декарт переехал в Швецию, чтобы обучать королеву Кристину. Она настаивала на занятиях в 5 утра - в ледяных комнатах. Декарт, который предпочитал работать в постели до позднего утра, вскоре заболел и умер. Поэтому я не преподаю, пока не выпью кофе и не съем свежие круассаны.

Не стоит придавать индексу Хирша (h-index) слишком мистического значения. За редкими исключениями формула h-index ≈ 0.5 · √C, где h-index - индекс Хирша, C - общее число цитирований, работает с поразительной точностью (корреляция около 96%). Например, у меня: • h-index = 37 • C = 6479 • 0.5 · √C ≈ 40 Минимальное расхождение.

Мой PhD спросил: «Как понять, что я готов к самостоятельной работе?» Я сказал: «Когда ты перестанешь спрашивать меня разрешения на маленькие решения.» Готовность это не квалификация. Это переход от «можно?» к «я решил». Никто не объявляет официально момент, когда он случается.

PhD студентка спросила: «Как перестать сравнивать себя с другими?» Я сказал: «Никак. Ты будешь сравнивать всю жизнь. Только выбирай с кем.» Она удивилась. «Сравнивай с теми, кто на пять лет впереди в том, что тебе действительно важно. Но, не с теми, кто на два года впереди в том, что тебе не важно.» Я читаю биографии учёных, которыми восхищалась, но не читаю посты в LinkedIn.

Если хочется заниматься наукой и при этом жить хорошей жизнью, места, как University of Wisconsin-Madison или University of Michigan Ann Arbor, могут быть лучше, чем Harvard или Stanford. Вы по-прежнему получаете: - лучших студентов - сильное финансирование - серьёзных коллег Но при этом у вас есть: - время и пространство думать - более расслабленный коллектив - жизнь вне CV Престиж университета это инструмент, а не цель жизни.

Я профессор в Штатах, руковожу научной группой по ИИ. Это моя серия об академической карьере. Совет: Найдите ментора вне вашего университета - постдока, молодого профессора, старшего PhD. Один человек, с которым можно раз в месяц обсуждать вашу работу и планы. Такой ментор даст вам взгляд со стороны, которого не даст научрук. И он может станет вашим третьим рекомендателем - сильным, потому что видел вас в динамике. Ментор вне университета - редкий, но мощный ресурс.