AI Для Всех

06/19/24 AI and Chill на Russian River Я знаю что меня читает какое то количество людей в Bay Area. Оказывается, следующая среда (19 июня) - это выходной. На улице прекрасная погода, в связи с чем предлагаю встретится почилить на речке. В программе - купаться, загорать и обсуждать свежайшие события в мире ИИ. 📍 Локация RSVP Пожалуйста кликните RSVP, что бы понимать кто приедет

Способны ли LLMs изобретать лучшие способы для обучения себя же? Традиционно развитие моделей глубокого обучения проходило методом проб и ошибок, базируясь на опыте исследователей и их теоретических знаниях. В последние несколько лет LLM прокачались до такого уровня, что могут сами генерировать гипотезы и код. Ребята из Sakana.ai задались вопросом: "Можем ли мы использовать ИИ для автоматизации исследований и новых открытий в домене ИИ? Ранее в этом году команда разработала инновационный подход к созданию базовых моделей, смешивая существующие модели с использованием эволюционных алгоритмов (привет природе!) Вдохновлённые результатами, исследователи пошли дальше и решили ответить на следующий вопрос: "Способны ли LLMs изобретать лучшие способы для обучения себя же?" На данном этапе команда предложила новый процесс с использованием LLMs для синтеза новых алгоритмов оптимизации предпочтений. Это помогло обнаружить множественные высокоэффективные функции потерь (loss function) при оптимизации предпочтений. Одна из таких функций потерь получила имя Discovered Preference Optimization (DiscoPOP) 🪩. Эта новая открытая функция работает намного лучше чем Direct Preference Optimization (DOP) и другие релевантные методы. Исследователи проанализировали работу DiscoPOP и обнаружили удивительные и контринтуитивные особенности. Команда делает открытым исходный код для не только для настроенных чекпойнтов модели и обнаруженных целевых функций, но и для самого процесса поиска. 🔍 🥳 Исследователи сотрудничали с Оксфордским и Кембриджским университетами в работе над данным проектом. Добро пожаловать в киберпанк! 🤖 👨‍💻 Блог 💻 GitHub 🤗 HuggingFace

Q&A с Винодом Хослой. Часть 2. Q: Многие стартапы пытаются оставить юристов без работы. Произойдет ли это? Да, это произойдет. Стартапы должны сосредоточиться на удовлетворении конкретных потребностей юридической отрасли. Юридическая профессия созрела для разрушения, и решения, основанные на искусственном интеллекте, скорее всего, автоматизируют многие задачи, которые сейчас выполняют юристы. Однако вместо того чтобы пытаться полностью заменить юристов, стартапам следует сосредоточиться на решении конкретных проблем и устранении неэффективности правовой системы. Нацелившись на нишевые области и разработав специализированные инструменты ИИ, стартапы смогут занять достойное место в развивающемся юридическом ландшафте. Q: Что вы думаете о сфере потребительских носимых устройств (Rabbit, Meta и т. д.)? Будет ли он развиваться, и подходит ли он больше для стартапов или крупных компаний? Носимые устройства, вероятно, будут играть важную роль через 10 лет, особенно на некоторых рынках, таких как игры и работа. Широкое распространение среди потребителей маловероятно, так как это очень сложно. Многообещающими являются специализированные корпоративные приложения или что-нибудь настолько специфичное, как Устройство для лечения СДВГ. Пользовательский опыт имеет решающее значение. Я в восторге от голографических (плоских 3D) дисплеев, которые могут создавать социальное взаимодействие, а не изолировать людей друг от друга. Несмотря на то что потребительские носимые устройства могут не получить широкого распространения, в отдельных вертикалях существуют значительные возможности. Игровые и корпоративные приложения, например, направленные на концентрацию внимания и повышение производительности, - вот области, где носимые устройства скорее всего будут процветать. Стартапы могут иметь преимущество в создании специализированных решений для этих рынков, поскольку они могут быстро развиваться и вносить изменения на основе отзывов пользователей. Кроме того, большой потенциал имеют такие инновации, которые обеспечивают совместный опыт и социальное взаимодействие. Как всегда, ключевым фактором успеха в сфере носимых устройств будет обеспечение привлекательного пользовательского опыта. Хороший тест на то, будет ли устройство массовым - представьте себе бабушку в Тайланде. Если она пользуется вашим устройством - значит вы придумали что-то по настоящему массовое. Q: Какие области финтеха вызывают у вас интерес? Финтех - это обширная и быстро развивающаяся область с множеством интересных возможностей. Платежные системы, такие как индийская UPI, демонстрируют, как технологии могут значительно снизить стоимость транзакций и расширить охват населения финансовыми услугами. Блокчейн способен оптимизировать процессы и повысить безопасность в некоторых приложениях. Финансирование малого бизнеса и кредитование клиентов - области, созревшие для разрушения, поскольку традиционные модели зачастую медленны, громоздки и не отвечают потребностям современных предприятий и потребителей. Даже такие фундаментальные методы, как ведение бухгалтерского учета с двойной записью, возможно, требуют пересмотра в цифровую эпоху. Основная проблема заключается в том, чтобы сориентироваться в сложном нормативном ландшафте и преодолеть сопротивление укоренившихся интересов, которые стремятся сохранить статус-кво. Часть 1. Продолжение следует

Q&A с Винодом Хослой. Продолжаю пользоваться преимущиствами жизни в Bay Area - сходил на ужин с Винодом Хослой (у него состояние $7.5B) Винод Хосла - индийско-американский бизнесмен-миллиардер и венчурный капиталист. Поднял свои миллиарды на компании Sun Microsystems, затем основал Khosla Ventures - одна из самых больших и серьезных венчурных фирм (занимается инвестициями в тех) Q: Что происходит с нынешней волной ИИ? Нынешняя волна ИИ позволяет создать огромную экономическую ценность, подобно тому, как iPhone позволил создать целый класс приложений, а Интернет - такие компании, как Amazon и Google. ИИ способен повлиять на такие отрасли, как продажи, медицина, юриспруденция и многие другие. Подобно тому, как iPhone произвел революцию в сфере мобильных приложений, а Интернет породил гигантов электронной коммерции, ИИ способен изменить (и прирастить) значительную часть экономики. В ближайшие годы торговые представители, врачи, юристы и профессионалы во многих других сферах смогут дополнить или даже заменить свои функции решениями на базе ИИ. Q: Как в сфере ИИ проходит гонка между компаниями и стартапами, и что вы можете посоветовать? У инкумбентов всегда есть большие преимущества, в то время как стартапы отлично справляются с задачей взлома роста (growth hacking). Такие известные компании, как Google, имеют большие карманы и могут позволить себе эксперименты и неудачи, что дает им преимущество в гонке ИИ. Однако стартапы могут уравнять шансы, найдя инновационные способы обучения моделей ИИ с использованием значительно меньшего количества данных, например, с помощью нейросимволических методов, сочетающих нейронные сети с символическими рассуждениями. Такой подход может помочь стартапам конкурировать, не требуя огромных вычислительных ресурсов, которыми обладают ведущие компании. Продолжение следует

Биомеханика и ИИ: предсказание нейронной активности с помощью виртуальных грызунов Биологический мозг — (пока) непостижимо сложный процессор, который, например, без труда контролирует каждое движение, даже когда мы идём ночью на кухню за последним кусочком пиццы. В этот момент активны сенсомоторный стриатум и моторная кора, отвечающие за планирование и выполнение движений. А что, если мы натренируем нейросеть, которая бы предсказывала движения какого-нибудь чертовски умного животного и генерировала активность нужных областей мозга? Будет ли соответствовать предсказания модели нейронной активности реальных крыс, при выполнении тех же действий? У ученых из Гарварда и DeepMind есть ответ – да, будет. Они создали виртуальную крысу, чтобы понять, как мозг контролирует движение. Оказалось, что эта цифровая крыса может предсказывать нейронную активность настоящих крыс лучше всего, что сейчас есть. Сделали биомеханическую модель с учётом основных частей тела и суставов, позволяющих реалистично имитировать движения крысы и использовали симулятор MuJoCo для воспроизведения движений. Виртуальную крысу контролировала нейросеть, состоящая из персептронов и LSTM, натренированная на видео с одновременной регистрацией нейронной активности. Использовались методы 3D pose-estimation и регистрация скелета и суставов. На выходе - данные для планирования движений и нейронная активность в сенсомоторном стриатуме и моторной коре. Модель обратной динамики (которая планирует, какие мышечные движения требуются, чтобы крыса переместилась из одной точки в другую) показала лучшую предсказательную способность, чем альтернативные модели прямой динамики и последовательного прогнозирования. Возможности открываются поистине впечатляющие: робототехника, реабилитация и протезирование, "мозг-компьютер" интерфейсы (BCI), моделирование и симуляция поведения, и вообще чуть продвинуться в понимании нейронных механизмов, лежащих в основе обучения, памяти и координации движений. Статья Nature Github Data

Слово Агент не сказали ни разу, но AI у нас теперь Apple Intelegence =)

Сэм Альтман куда-то идет на Apple WWDC. ChatGPT - это Siri 2.0?

Если вы задумывались как выглядит будущее -> вероятнее всего вот так. Уютные дома на фоне Урбана.

Пэт проект, под кодовым названием “Sandy”. Привет, друзья! Я тут недавно завел себе нового четвероногого друга - щенка золотистого ретривера! И теперь у меня пэт проект по DL (Dog Learning)! 🐶🧠 Каждый день - это новый челлендж и возможность прокачать свои навыки дрессировки. Прямо как в машинном обучении, только вместо нейросетей - 3х месячный щеночек! Но, как и в любом ML проекте, без качественных данных никуда. Поэтому я активно ищу лучшие ресурсы для своего "датасета" по воспитанию щенка. Впереди много работы по сбору данных и обучению моей персональной "нейросети". Но я полон энтузиазма применить свои навыки ML-инженера в этой новой области! 😄 А у вас, друзья, есть опыт в "Dog Learning"? Может посоветуете еще какие-то годные ресурсы для начинающих собаководов? Накидайте пожалуйста в комменты список книг, фильмов и Youtube-каналов, которые, must-have для каждого начинающего собаковода. Буду очень благодарен за советы и лайфхаки, которые облегчат мне этот интересный челлендж! 🙏

Судя по рекламе, нас наконец то ждет обновление Сири (или что то типа такого). Action packed - в этом контексте, можно перевести как насыщенная программа, а можно перевести как, то, что в продукты Apple будут наконец то упакованы действия, что намекает на какие то агентные фрэймворки. А что может быть агентнее по-настоящему работающей Сири?