Сегодня родился Бенедикт Киберксюш

Transformers Meet Directed Graphs https://arxiv.org/abs/2302.00049

An introduction to graph theory Darij Grinberg https://arxiv.org/abs/2308.04512

Anti-AI Hype LLM Reading List (Score: 154+ in 8 hours) Link: https://readhacker.news/s/5Ni6w Comments: https://readhacker.news/c/5Ni6w

RL на RLе и RLем погоняет https://paperswithcode.com/paper/rl-3-boosting-meta-reinforcement-learning-via

An interesting theoretical result on gradient descent complexity. I missed it before. https://www.quantamagazine.org/computer-scientists-discover-limits-of-major-research-algorithm-20210817/ The Complexity of Gradient Descent: CLS = PPAD ∩ PLS https://arxiv.org/abs/2011.01929

TabR — новая нейросеть для табличных данных Finally, анонс нашей статьи: "TabR: Unlocking the Power of Retrieval-Augmented Tabular Deep Learning"! Я там первый автор, но конечно это командная работа. 🙂 ПЛАН ПРЕЗЕНТАЦИИ 🙃 1. основные ссылки в этом посте ниже 2. ТЕХНИЧЕСКИЙ РАЗБОР СТАТЬИ — В КОММЕНТАРИЯХ К ЭТОМУ ПОСТУ (клик) 3. следующий пост — нетехнический комментарий об области в целом. Ссылки: - Статья - Код - Тред в Twitter с обзором модели и результатов - Пост на Reddit P.S. Картинка показывает прогресс нейросетей (DL models) на каких-то 43 задачах начиная с 2021 года. И тут есть прикольный plot twist, который касается всех моделей, кроме MLP: FT-Transformer и MLP-PLR взяты из наших же предыдущих статей :) - FT-Transformer взят отсюда - MLP-PLR взят отсюда @simple_it_channel

(оригинал: https://math.stanford.edu/~vakil/threethings.html ) Упражнение "Три вещи", или как выносить пользу из докладов Доклады как челлендж. Что-то вынести из доклада непросто, даже когда есть практика. Очень легко прийти на доклад и в какой-то момент просто потерять концентрацию. На докладе как на лошади: если тебя выкинуло из седла, залезть обратно очень трудно. Особенно когда лошадь по тебе топчется. (Поэтому опасно опаздывать на доклад на несколько минут — даже по уважительной причине). Упражнение "три вещи" учит извлекать пользу из докладов. Оно полезно всем, кто недавно начал ходить на семинары (я советовал его аспирантам). Но я обнаружил, что сам так выношу гораздо больше, особенно из докладов вне моей зоны комфорта. Впрочем, упражнение не самое естественное: мы некоторое время поэкспериментировали, устали от него и перестали так делать. (Кажется, это было в 2007?) Теория такова. Если ты вынес для себя хотя бы три маленькие "вещи", доклад прошёл успешно. А если не можешь вынести даже три маленькие "вещи", это неуспешный опыт. Кстати, они не обязаны совпадать с "вещами", которые вынес для себя твой сосед или которые планировал донести до вас докладчик. Как это работает. Возьми чистый лист бумаги или картона. Твоя цель — чтобы к концу доклада на нём остались три "вещи", не больше и не меньше. "Вещи" могут быть разные: определение, которое ты хочешь запомнить (например, "K3-поверхность — это ..."), теорема, которую ты хочешь запомнить ("Пространство модулей поляризованных K3-поверхностей гладко"), важный или мотивирующий пример ("квартика — пример K3-поверхности"), мотивирующая проблема ("почему пространства модулей поляризованных K3-поверхностей всегда одной и той же размерности?"), вопрос, который ты хочешь задать докладчику ("зачем в формулировке вашей теоремы такое ограничение?"), вопрос, который хочешь задать кому-то ещё (про определение, мотивировку, связь с чем-то...), что угодно в том же духе: нечто конкретное, что заставило тебя задуматься. Размытые мысли ("мне понравилась часть, где она говорила про группы") не считаются. Пока слушаешь доклад, ищи понравившиеся "вещи". Когда такая попадается — записывай. Потом запиши вторую. Потом третью. Если повезёт, попадётся четвёртая "вещь" — тогда посмотри на три предыдущие и реши, какую вычеркнуть. Грязный трюк: ты и запомнишь вычеркнутую "вещь", и ещё раз закрепишь в памяти те две, которые не зачеркнул. (В эту игру всё ещё можно играть, когда конспектируешь доклад: напротив каждой "вещи" ставь звёздочку. Но это работает хуже: ты меньше сосредоточен на поиске "вещей"). После доклада: если играешь не один, пришли свои три вещи остальным (или покажи вживую). Это на удивление поучительно, и наверняка выльется в содержательную дискуссию. Это не занимает много времени (напечатать или сказать одно-два предложения в ответ на их "вещи"). Если есть вопросы — не забрасывай их. Спроси докладчика, или научного руководителя, коллег, студентов...

Тред первого автора этой статьи https://twitter.com/ZhiyingJ/status/1679988452954107904?t=9wv3213UlQZ83IBL96XtSw&s=19

“Low-Resource” Text Classification: A Parameter-Free Classification Method with Compressors https://aclanthology.org/2023.findings-acl.426.pdf