Manvel's Channel

Как сделать ноябрь и декабрь чуть более приятными? 24-26 ноября — молодежный фестиваль "Будущее джаза" под покровительством Игоря Бутмана: https://www.jazzfuture.ru/ 9 декабря 2023 — крутейший fusion-jazz-folk пианист Tigran Hamasyan играет в Задрядье: https://zaryadyehall.ru/afisha/zaradys/trio-tigrana-amasyana/ https://youtu.be/rP7YArQsDFY

Я прочитал «Непобедимый» Лема более двадцати лет назад и с тех пор перечитывал его раз десять (да, это не так модно как «Лот 49» или, прости господи, «Улисс», но уж что поделать). Роман начинается с того, что на планету садится корабль, чтобы расследовать исчезновение корабля такого же класса. Жизнь на планете есть только в глубине океанов. Экспедиции удается решить обе загадки. К чему это я? Вышла игра по мотивам романа и стоит всего $15.

В AIRI сделали сервис https://portretist.airi.net/ по результатам исследования под научным руководством Дмитрия Ветрова по доменной адаптации https://arxiv.org/abs/2210.08884. Модель как будто не только адаптирует художественный стиль, но и культуру, страну, убеждения и ориентацию)

Чем заняться на выходных? ) Объявлены победители 2023 Hugo Award (премия за достижения в научной фантастике), можно себе подобрать чего почитать: https://www.thehugoawards.org/hugo-history/2023-hugo-awards/ Роберт Сапольски (мы его помним по запрещенной лекции о биологии религиозности) пришел в гости к Джордану Питерсону (мы его помним по разбору "Короля льва" с Юнгианских позиций). https://youtu.be/3Pup-XSH98o Для меня это два персонажа из разных вселенных, которые как будто не могут оказаться вместе. Как "чужой против хищника". Хищник тут конечно же Питерсон, во-первых он ест только мясо, во-вторых любит странные костюмы (про них отдельная история). Питерсон задает невероятно длинные вопросы, а Сапольски вежливо улыбается и отвечает фактами из биологии, Сапольски крутой! Предположительно интересные свежие статьи: * A taxonomy and review of generalization research in NLP https://www.nature.com/articles/s42256-023-00729-y * Human-like systematic generalization through a meta-learning neural network https://www.nature.com/articles/s41586-023-06668-3 * Effective Long-Context Scaling of Foundation Models https://arxiv.org/abs/2309.16039

Я тут отмечаю скромный научный юбилей, h-index = 7!) И хоть я и открыл для себя науку далеко за тридцать, и хоть малодушно согласился стать менеджером, и хоть такая смена деятельности была далеко не безоблачной... Тем не менее, для меня большая честь и привилегия заниматься исследованиями, я благодарен всем, с кем удалось поработать, и я уверен, что самый большие научные прорывы будут впереди! Обнимаю всех самым категоричным образом!

Нашел классный курс "Neuroscience for machine learners". The aim is to bring together these two fields that have a shared goal in understanding intelligent processes. Rather than pushing for “neuroscience-inspired” ideas in machine learning, the idea is to broaden the conceptions of both fields to incorporate elements of the other in the hope that this will lead to new, creative thinking. https://neuro4ml.github.io/ https://www.youtube.com/playlist?list=PL09WqqDbQWHErc8xOyWdKpNEk78Jjk0EL

Представьте себе, что вы наняли студента литинститута быть вашим ассистентом. На следующих условиях: 1) вы платите ему несколько тысяч рублей в месяц, 2) вы общаетесь в чате: вы пишете вопрос (и иногда прикладываете картинки!), а он отвечает, 3) если для ответа нужен какой-то факт и он его не помнит, то он скорее придумает ответ, чем начнет гуглить, 4) он прекрасно владеет языком, из-за чего ответы выглядят лучше, чем есть на самом деле, 5) он не воспринимает обратную связь и часто забывает ее (если вы скажете "в следующий раз сделай так-то", то он скорее всего пропустит это мимо ушей), 6) он не помнит какие-то важные факты о вас и ваших потребностях (скажем, у него много клиентов). Теперь вопросы: какие ваши потребности сможет такой помощник закрыть? Сколько вы готовы платить за эту услугу? Как вы поняли, студента литинститута зовут GPT-* и выше написаны слабые стороны или подсказки того, в какую сторону нужно двигаться. 1) интерфейс чата неудобен для многих задач (концептуально напоминает приглашение командной строки, сколько людей пользуются им?), 2) надо научиться краткосрочной и долгосрочной памяти, 3) надо научиться использовать явную обратную связь (в виде указаний) и неявную обратную связь (куда пользователь посмотрел/кликнул, задал ли уточняющий вопрос) 4) надо научиться хранить и использовать важную информацию, полученную от пользователя. Было бы круто где-нибудь собраться подумать над всем этим!

Как финансовый стресс (бедность) влияет на интеллект? В [1] решили сравнить умственные способности фермеров до сбора урожая и после. Оказалось, что фермеры значительно лучше решают задачи после сбора урожая, когда они более богаты (меньше долгов и т.п.). Ученые сделали вывод, что бедность создает умственную нагрузку, из-за которой IQ падает на ~13 пунктов. Это сравнимо с эффектом бессонной ночи. Быстрым поиском не смог найти других статей по этой теме, но мысль эту можно покрутить в мозгу и обдумать. [2] [1] https://scholar.harvard.edu/files/sendhil/files/976.full_.pdf [2] https://ru.wikipedia.org/wiki/%D0%AD%D1%84%D1%84%D0%B5%D0%BA%D1%82_%D0%9C%D0%B0%D1%82%D1%84%D0%B5%D1%8F

На SIGGRAPH 2023 вышла статья, в которой по видео строят представление сцены в виде набора гауссиан: https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/ Примеры рендеров более чем впечатляющие. Можно из съемки в несколько минут создать представление фотореалистичное представление сцены! Я могу представить применение этой технологии в компьютерных играх: вместо того, чтобы нанимать несколько моделлеров и тратить месяцы на создание уровней, находишь подходящие помещения, "сканируешь" их, и уровень готов! (См. Unrecord, не буду приводить тут ссылку) Теоретически можно попробовать научиться оптимизировать такие представления в реальном времени (при получении кадров от камеры) и использовать это представление для робототехники / self-driving cars. Также интересно

Музей криптографии + Институт искусственного интеллекта AIRI Уже в этот четверг, 12 октября в 19:30, в лектории музея состоится третья встреча Дискуссионного клуба, участником которой станет спикер от Института искусственного интеллекта AIRI. Участники обсудят, что сейчас происходит с наиболее перспективными разработками в сфере машинного обучения, как ИИ используется в разных предметных областях, и что из этого выходит. А пока мы по традиции взяли мини-интервью у главного спикера — Манвела Аветисяна, директора по прикладным исследованиям AIRI. Вход на мероприятие свободный по предварительной регистрации. Ждем вас в этот четверг!

Медленно и вдумчиво (чтобы успело впитаться) читаю книгу Стивена Котлера "Невозможное как стратегия" (Steven Kotler "The Art of Impossible"). Под броским (и оттого отталкивающим сперва) названием скрывается обзор научной и не очень литературы по биологии максимальной производительности. Из первой главы про мотивацию. Человек создан для максимальной производительности. Но для достижения оптимальной производительности нужно, чтобы все компоненты мотивации были на месте. И наоборот, попытки "сломать систему" приводят к депрессиям и выгоранию. Эти компоненты обусловлены нейрохимией, психологией и физиологией. Работая вместе, они дают силы, уверенность, непреклонность и проч. и проч. Какие это компоненты? - curiosity -- интерес, желание узнавать и изучать - passion -- страсть, внутреннее стремление - purpose -- цель, смысл - autonomy -- независимость, возможность делать выбор и быть ответственным за него - mastery -- мастерство, возможность развивать свои навыки Мой опыт труда и творчества как будто подтверждает эту идею, но я собираюсь сесть и внимательно разложить по этому базису все, что я делал по настоящий момент и собираюсь делать в будущем. Приглашаю и вас присоединиться к чтению. Думаю, что для многих эта книга будет полезна. Издательство МИФ выпустило перевод, на сайте даже можно бесплатно прослушать первую главу (о которой я писал выше). https://www.stevenkotler.com/book-pages/the-art-of-impossible https://www.mann-ivanov-ferber.ru/books/nevozmozhnoe-kak-strategiya/ #productivity

В четверг 12 октября 19:30–21:30 буду говорить о будущем Искусственного интеллекта в Музее криптографии. Регистрация по ссылке: https://cryptography-museum.timepad.ru/event/2609950/

Привлечение инвестиций на западе: — мы отправили питч-дек и демо в 20 фондов, мы интересны 3, ведем переговоры. Привлечение инвестиций "у нас": — мы отправили питч-дек и демо миллиардеру X через приятеля А, а миллиардера Y через приятеля B, ждем — а квартиру отнимут если стартап не получится? — да нет конечно! — 😐 — 😐 Но есть и другая разница. "У нас" можно получить инвестиции на абсолютно нереальный проект без особой надежды хотя бы на копейку прибыли, типа орбитального лифта с ИИ блокчейн. Почему? Каждому хочется быть Илоном Маском. Хотя бы на пол-шишечки.

Второй сезон #AIRIseminars в самом разгаре, следующий семинар пройдет в среду 👀 Рассказываем все подробности: 🔵Дата и время: 4 октября в 17:55 🔵Тема: «Одна LLM хорошо, а N лучше? Мультиагентный подход - путь к AGI» 🔵Докладчик: Андрей Кузнецов, AIRI, Сбер 🔵Оппонент: Валентин Малых, MTS AI 🔵Описание: в докладе будет рассказано про языковые модели и их способности понимать различные модальности. Также будут обсуждаться возможности решения задач как с помощью одной модели, так и за счёт организации мультиагентного взаимодействия языковых моделей. В докладе будут рассмотрены сценарии использования мультиагентных систем принятия решений и варианты их построения. Семинар, как всегда, пройдет на YouTube-канале AIRI, до встречи!

Neuralink занимается разработкой нейрокомпьютерных интерейсов — имплантов, которые позволят управлять различными объектами силой мысли. Сегодня они объявили о запуске первого эксперимента на людях [0]. Имплант [1] будет установлен с помощью робота [2]. Компания ищет пациентов, потерявших возможность управлять конечностями для участие в эксперименте. [0] https://neuralink.com/blog/first-clinical-trial-open-for-recruitment/ [1] https://neuralink.com/#n1 [2] https://neuralink.com/#robot

Прямо сейчас проходит демо день стартап-акселератора SBER 500. Много интересного. Трансляция тут: https://sberbank-500.ru/

😱 Вы наверяка замчали, что нейросети иногда как будто продолжают обучаться даже при достижении высокой точности на тестовой выборке, т.е. увеличивают обобщающую способность. Остроумное объяснение предложено в статье "Explaining grokking through circuit efficiency": https://arxiv.org/pdf/2309.02390.pdf Выделим "подсети" нейронных сетей, интуитивно как совокупность нейронов выполняющих те или иные функции. 1. Существуют два вида подсетей: "запоминающие" и "обобщающие". 2. Обобщающие более "эффективны", чем запоминающие, т.е. могут показывать такое же качество при более низкой норме весов. 3. Обобщающие обучаются медленнее чем запоминающие. То есть, сначала нейросеть запоминает, а потом, под воздействием регуляризации, обобщает! Возмутительный вывод!

Как будто мы находимся в состоянии "избавление от иллюзий" цикла хайпа Gartner по CharGPT. Тем не менее, думаю, что легитимные способы применения найдены и рано или поздно будет плато продуктивности. Вот несколько новостей за последние месяцы. Инференс ChatGPT стоит $700k в день: https://www.businessinsider.com/how-much-chatgpt-costs-openai-to-run-estimate-report-2023-4 Возможно, что его пытаются удешевить за счет упрощения: https://arxiv.org/pdf/2307.09009.pdf Bing теряет долю рынка, полученную от ChatGPT: https://searchengineland.com/microsoft-bing-search-market-share-problem-charts-417698 https://www.zdnet.com/article/bings-search-market-share-fails-to-budge-despite-ai-push/ ChatGPT теряет пользователей: https://www.washingtonpost.com/technology/2023/07/07/chatgpt-users-decline-future-ai-openai/

Очень большой муветон добавлять сгенерированные с помощью ИИ изображения в слайды. 1) они занимают ценное пространство 2) они не несут никакой информации 3) часто они взяты напрямую из uncanny valley и вызывают неприятное ощущение 4) они излишнее детализированы и отвлекают внимание 5) они призваны показать какой докладчик "клёвый", это просто позерство 6) часто они никак не связаны с темой доклада Вот вам пример.