Data Secrets

Я: прихожу с работы и мечтаю отдохнуть от всех этих моделей и фреймворков и посмотреть фильм Фильм:

В Yandex Cloud появился AI Assistant API – сервис для создания AI-ассистентов под бизнес-сценарии AI Assistant API – это GPT Store на стероидах для разработчиков (и не только). Он позволяет создать своего AI-ассистента с помощью Yandex Cloud ML SDK или реализуя запросы к API на языке программирования. В решение уже внедрены две основных составляющих создания умных помощников: языковая модель YandexGPT и фреймворк RAG. Как раз качественного автоматизированного RAG на рынке давно не хватало. Для всевозможных ботов тех.поддержки, рексисов и вообще всего, что связано с каким-то анализом документов и контекста одной LLM мало: галлюцинировать будет чудовищно. RAG в этом случае незаменим, но самостоятельно его завести – то еще испытание, и без ML-команды уже не обойтись. А тут для создания ассистента предусмотрена SDA-библиотека, где уже реализованы все нужные взаимодействия на уровне модели, инфраструктуры и внешних функций. Иными словами, справиться с API сможет даже человек без глубоких знаний в ML, потому что все сборки уже готовы, и никакой код писать с нуля не придется. Создатели пишут, что AI Assistant API может в среднем на 30% ускорить внедрение LLM в процессы.

Обложка нового выпуска журнала Science с изображением модели для генерации ДНК Обложку посвятили исследованию Стэнфордских ученых о моделировании биомолекул (pdf оставим в комментариях). В привычных нам LLM мы пытаемся воссоздать процесс человеческого мышления на основе нейронов. Но достаточно ли этого? Основная «жизненная» информация заложена в нас на уровне трех основных компонентов: ДНК, РНК и белков. Если бы мы умели их моделировать, но это был бы огромный шаг по направлению к созданию не просто искусственного интеллекта, но и искусственной жизни. Но это очень сложно. Белки мы кое-как научились моделировать только недавно (вспоминаем AlphaFold 2 и 3). А ДНК и РНК – это не просто молекулы, а целые геномы, настолько большие, что даже трансформеры не способны работать с такими огромными последовательностями. В своей архитектуре исследователи взяли за основу SSM модели, а именно Hyena (о том, как работают SSM модели, читайте в этой нашей статье). Ее обучили на 2.7 миллионах геномов. В итоге Evo – так называется модель – способна моделировать последовательности ДНК длиной в 1 миллион азотистых оснований и анализировать их: например, делать выводы о том, как небольшие изменения в нуклеиновой цепи повлияют на организм. В исследовании ученые говорят, что с помощью такого подхода можно в теории не только «воссоздать» жизнь, но и смоделировать эволюцию, то есть предсказать структуру ДНК, которая будет нести в себе следующую ступень развития человека. Ну как, уже похоже на антиутопию?

Повеяло ветерком из прошлого: нашли архивную запись лекции 2018 года, на которой Илья Суцкевер поясняет за мультиагентный подход, AGI и обучение посредством селф-ризонинга И это всего через год после изобретения трансформеров как таковых

Bloomberg: Сэм Альтман за прошедший год заработал в OpenAI всего 76 тысяч долларов Верим?

К слову, сегодня, прямо после DevDay, OpenAI совместно с GovTech Singapore запускает в Сингапуре хакатон Соревнование посвящено теме «Искусственный интеллект на благо общества, Сингапура и мира». Оно уже началось, и прямо сейчас команды создают проекты с использованием GPT-4o Realtime и o1. Разработчики, которые займут первое/второе/третье места, получат кредиты API OpenAI на сумму 25 тыс./15 тыс./10 тыс. долларов.

Итоги DevDay от OpenAI: показали новые демо SORA. Расходимся ☹️

А грани все проолжают стираться: эксперименты показали, что люди не только не различают искусство, созданное ИИ и человеком, но и больше предпочитают творения моделек Недавно по интернету пробежала новость об исследовании, которое показало, что люди способны отличать ИИ-поэзию от человеческой с результатами ниже случайных (46.6% accuracy). При этом ИИ-стихи люди оценивали как более ритмичные и красивые, но только если им не говорили заранее, что это творения нейросети: в ином случае реакции была в основном негативная (предвзятость? нет, не слышали). А сегодня на своем сайте известный психиатр Скотт Александер выложил результаты эксперимента, в котором он предлагал людям отличать сгенерированные картины от творений реальных художников. И... снова результаты оказались неутешительные. Средняя точность оказалась на уровне 60%, то есть снова лишь немного выше случайного выбора. Если хотите проверить себя, тест можно пройти здесь. Ответы – тут. Делитесь в комментариях, сколько набрали

⚡️ Прими участие в хакатоне Т1 2024 в Москве и поборись за призовой фонд в 1 200 000 рублей! Когда: 26-29 ноября 2024 Формат: гибридный Призовой фонд: 1 200 000 рублей 🔥 Хакатон Т1 2024 создан для тебя, если ты: – Выпускник вуза или молодой специалист; – Студент старших курсов технических вузов; – Специалист по frontend или backend-разработке, системный аналитик, AI-специалист. ❗️На хакатоне тебе будут предложены 2 кейса: 1. Хаб: объединение данных пользователя в золотую запись. Создайте методику, которая поможет найти "золотую запись" в большом наборе данных, используя признаки актуальности, частоты и полноты. 2. Окно знаний: цифровой ассистент базы знаний. Создайте платформу, которая позволит пользователям разрабатывать окна взаимодействия с ассистентом, интегрируя собственные базы знаний. ▶️ Регистрация открыта! Успей зарегистрироваться до 24 ноября, 23:59 МСК по ссылке.

В Твиттере нарисовали симпатичный таймлайн с предсказаниями года достижения AGI от ключевых игроков и ресерчеров сферы А вы кому верите?

На легендарном YouTube канале 3blue1brown вышло новое видео про механизм внимания и трансформеры Видео ориентировано на начинающих, но даже продвинутому зрителю послушать и просто полюбоваться графикой – одно удовольствие (наверху – небольшой отрывок). Пожалуй, это самое красивое объяснение LLM из всех Смотреть

В Лондоне на выходных прошел хакатон от Meta AI Слоган соревнования отражает его суть: «fine-tuning vibes». Компания разыгрывала 50 тысяч долларов за яркий кейс разработки с применением Llama. Первое место заняла команда, которая сделала руку робота, управляемую только силой мысли. Робот был построен по инструкции от HuggingFace, а в качестве подкапотной LLM используется, конечно, Llama 3.2, докрученная обучением политик. За движения робота отвечают эмоции: например, девушка представляла что-то, что заставляет ее умиляться, и ее эмоции диктовали руке двигаться вверх.

Конференция AI Journey 2024 определит фокус развития сферы искусственного интеллекта на годы вперед. Анонс предстоящих выступлений сделал первый зампред правления ПАО «Сбербанк» Александр Ведяхин. В частности, на площадке выступит основатель Tech Whisperer Limited Джасприт Биндра из Индии, который расскажет о следующем этапе эволюции искусственного интеллекта после ChatGPT и о том, как это повлияет на наше будущее. Конкретные примеры применения искусственного интеллекта в нефтяной и газовой промышленности на Ближнем Востоке расскажет президент AI Society Хассим Хаджи из Бахрейна. Среди экспертов российского Al-сообщества выступят разработчики из «Сбера», «Яндекса», Института AIRI, «Сколтеха», «Иннополиса» и поделятся своими разработками и исследованиями в области робототехники, создания больших языковых моделей и построения мультиагентных систем. В прошлом году конференцию посмотрело более 150 млн человек. С учетом текущих трендов и происходящих событий в мире число заинтересованных явно кратно возрастет.

Тем временем модели от DeepSeek задачи главный вопрос и она… искренне удивилась наличию третьей r, но ответила правильно

OpenAI обновили GPT-4o: теперь модель пишет более живые, интересные и читабельные тексты, а также лучше работает с файлами. Бенчмарков нет, только анонс. Кроме того, разработчики добавили несколько апдейтов в API и песочницу. Видимо что-то назревает и компания готовится к релизу 🥳 Напоминаем, что DevDay OpenAI состоится уже сегодня. Ждем, по меньшей мере, полную версию o1 (должен же Альтман как-то ответить DeepSeek)

DeepSeek релизнули модель, которая конкурирует с o1 Модель уже доступна и в фунционале чата выглядит как переключатель в режим "Deep Think". Под капотом у переключателя лежит модель DeepSeek-R1-Lite-Preview, которая достигает уровня o1-preview на Codeforces, и даже превосходит ее на MATH и AIME 2024. Пока что технических деталей нет, но обещают, что и веса, и API будут опубликованы уже скоро. Пока что показывают только метрики и графики масштабирования. Также, как и у OpenAI, у DeepSeek результаты скейлятся с ростом длины цепочки рассуждений (кстати, в чате видно полную цепочку, а не обрезанную, как у o1). Сами цепочки рассуждений могут достигать 100к токенов.

Реликвия: статья Марка Вайзера начала 90-х про AGI Марк Вайзер был одним из пионеров Computer Science. Его называют отцом "повсеместных вычислений", которые как раз и были впервые описаны в статье выше. Она называется «Компьютер для 21-го века» и в ней Вайзер описывает будущее, в котором вычисления бесшовно интегрированы в быт, став невидимой, неотъемлемой частью повседневной жизни; будущее, в котором технологии служат человеку автономно, не требуя нашего постоянного внимания или взаимодействия. По сути, в своей статье Марк впервые описывает AGI.

⚡️Всероссийский Хакатон ФИЦ 2024 🚀Попробуйте себя в одном из предложенных кейсов: 1. Семантический делитель текстов: Разработать алгоритм, который сможет обеспечить точное разделение текста на блоки в рамках произвольно заданных ограничений размера блока. 2. Контекстный перевод названий научных работ: Разработать и реализовать переводчик, который будет переводить названия научных работ с русского на английский. 3. Прогнозирование бизнес драйверов: Разработать решение для задачи прогнозирования временных рядов бизнес-драйверов и произвести прогноз на следующий календарный месяц. 4. Система контроля и управления доступом: Разработка системы контроля и управления доступом в реальном времени. Система будет включать API для управления сотрудниками, точками доступа и интеграцию с системой видеонаблюдения. И другие 16 кейсов смотрите на сайте: https://фиц2024.рф/hackathon Хакатон пройдет в 2 этапа: Отборочный этап в Онлайн, Финал в Офлайн. 🏆Призовой фонд: 6 000 000 руб. 🔥Дедлайн регистрации: 26 ноября, 23:59 📅Даты отборочного этапа: 29 ноября - 2 декабря 🦾Даты финала: 3 - 4 декабря Зарегистрируйтесь для участия в хакатоне: https://фиц2024.рф/hackathon Реклама. ООО "Акселератор возможностей" ИНН: 9704005146. Erid: 2VtzqvVVUCv

POV: ты читаешь имена авторов каждой второй ML-статьи

Anthropic написали интересную статью о том, как нам на самом деле следует оценивать модели Сейчас бенчмаркинг происходит довольно наивно: у нас есть список вопросов, на каждый из которых модель отвечает и получает за ответ определенный балл, а общая оценка обычно представляет из себя просто среднее по всем таким баллам. Но действительно ли нам интересно только среднее? Антропики утверждают, что с точки зрения статистики такой классический эвал слишком упрощен, и дают пять советов о том, как сделать свои оценки статистически значимыми и более глубокими. В основе их подхода привычное предположение матстата: все вопросы, которые у нас есть – это какая-то случайная подвыборка генеральной совокупности всевозможных вопросов, которые вообще можно задать. А значит, называть среднее на каком-то бенчмарке оценкой навыка модели – слишком грубо. Вот что на самом деле стоит делать: 1. Использовать ЦПТ. Основываясь на центральной предельной теореме, средние значения нескольких выборок, взятых из одного и того же распределения, будут распределены нормально. А значит, мы можем взять из нашего бенчмарка несколько подмножеств (можно даже пересекающихся), оценить каждое из них, а на получившихся средних подсчитать SEM (стандартную ошибку среднего) и доверительный интервал. 2. Если вопросы в бенчмарке не независимы (например задаются вопросы по одному и тому же тексту), то ЦПТ исполользовать уже нельзя. Здесь предлагается вспомнить про Cluster standard errors. 3. Если дисперсия вашей модели высокая, то это важно учитывать в эвале, потому что дисперсия – это по сути оценка надежности модели. Поэтому исследователи предлагают также изменить стратегию оценки каждого отдельного вопроса. Вместо наивной оценки они предлагают двусоставную, состоящую из среднего балла (задаем вопрос много-много раз и считаем среднее) плюс ошибки отклонения (разница между реализованным баллов вопроса и средним баллом для этого вопроса). 4. Вместо обычного "больше-меньше" для сравнения двух моделей использовать статистические тесты. Однако использовать t-test все-таки не рекомендуется, вместо этого в статье предлагается более сложная формула, которая также учитывает корреляцию Пирсона и минимизирует mean difference error. 5. Не забывать про мощность критериев в оценках и формулировать правильные гипотезы для сравнения моделей. Рекомендации, в общем, действительно стоящие. Другой вопрос – сколько времени постребуется, чтобы ресерчеры действительно стали соблюдать что-то подобное