Data Secrets

На выставке GITEX Global 2024 в Дубае ряд спикеров из Сбера, Института AIRI и группы компаний ЦРТ обсудили развитие технологий искусственного интеллекта в России и за рубежом. Выступления прошли в рамках сессии AI Journey. Специалисты обсудили достижения в области AI, а также ряд смежных вопросов, напрямую касающихся отрасли. Были затронуты темы: • Синергии больших языковых моделей (LLM) и классических подходов в разработке AI-решений; • Адаптация образования к новым AI-инструментам; • Создания суверенной большой языковой модели, учитывающей локальные стандарты и потребности. В этом году трек AI Journey также включили в программы ведущих конференций в Узбекистане, Индии и ОАЭ.

Обычный день в команде аналитиков v2.0

Привет, друзья! 📘 Приглашаем вас на открытый урок по теме «Интеграция ClickHouse».  🗓 23 октября в 20:00 МСК 🆓 Бесплатно. Урок в рамках старта курса «Data Engineer» от OTUS. На вебинаре мы рассмотрим способы переливки данных в ClickHouse из популярных баз данных (PostgreSQL, MySQL) и получение данных из файловых хранилищ (HDFS, S3) и их переливку в ClickHouse, а также способы взаимодействия с брокерами сообщений. После урока вы сможете самостоятельно интегрировать ClickHouse с популярными OLTP/OLAP/DB, популярными брокерами сообщений и файловыми хранилищами. 🔗 Ссылка на регистрацию: https://otus.pw/DgXu/ #реклама О рекламодателе

Вышел PyTorch 2.5 🤩 Все основные изменения связаны с flex attention. Теперь оно сможет принимать на вход маски и скейлы, использовать разреженные блоки, а также передавать параметры сразу в ядра triton. Также добавили CuDNN для SDPA и что-то улучшили в torch.compile Подробности - в блоге

Тем временем все только и говорят, что о новой LLM от Nvidia, которая на метриках бьет GPT-4o и Sonnet 3.5 На самом деле, конечно, бьет она их не на всех бенчмарках, но на Arena Hard, AlpacaEval 2 и MT-Bench – да, а это уже очень хорошо. Модель опенсорсная (веса), и под капотом у нее Llama-3.1-70B-Instruct под секретным соусом RLHF. Также релизнули Llama-3.1-Nemotron-70B-Reward, которая заняла второе место на ревард бенче.

На случай если вы, также как и мы, пропустили, что вышла YOLO 11, сообщаем: вышла YOLO 11! Как всегда – быстрее выше сильнее предыдущей версии. Меньше параметров, точность выше, улучшенный фиче экстракшен. Попробовать:

from ultralytics import YOLO # Load a COCO-pretrained YOLO11n model model = YOLO("yolo11n.pt") # Train the model on the COCO8 example dataset for 100 epochs results = model.train(data="coco8.yaml", epochs=100, imgsz=640) # Run inference with the YOLO11n model on the 'bus.jpg' image results = model("path/to/bus.jpg")

Т-Банк открыл доступ к библиотеке Turbo Alignment для обучения LLM под задачи бизнеса Инструмент создан для того, чтобы помочь бизнесу, не специализирующемуся на ИИ, создавать готовые продукты на базе LLM с нуля. Это могут быть, например, ассистенты поддержки, суммаризаторы или умные поисковые системы. Кроме прикладных инструментов, бизнесу доступна собственная LLM банка T-lite (ее технический разбор мы делали здесь, почитайте). Напоминаем, что на бенчмарках она показывает лучшие результаты в решении бизнес-задач на русском языке. Кажется, что-то такое давно напрашивалось на российский рынок: готовых русскоязычных решений мало, а западные не всегда решают нужную проблему. Не удивительно, что нишу занял Т-Банк: они (и особенно их лаборатория T-Bank AI Research) последнее время постоянно катят что-нибудь в опенсорс и вкладываются в российский ресерч и индустрию в целом. Ранее банк вошел в топ-3 российских игроков в опенсорсе по результатам исследования ИТМО. Библиотека доступна на GitHub, где также можно найти подробное описание всех методов и примеров использования.

«Мы последнее поколение, которое не готово к тому, что какой-то инструмент, используемый нами, окажется умнее нас» – Сэм Альтман 😎

⚙️ Mistral релизнули новые модели Ministral 3B and Ministral 8B Контекст обеих – 128к токенов. В Ministral 8B добавлено специальное чередующееся скользящее окно внимания для ускорения инференса (что-то похожее на механику в Gemma-2, о которой мы писали тут). Ориентированы обе модельки, конечно, как и все LM в таких весах, на локальный запуск. По бенчмаркам (сравнивают с весьма ограниченным количеством моделей) семейство превосходит LLama 3.1 и Gemma в соотвутсвующих размерах. Весов для 3В не будет 😭 Веса Ministral 8B Instruct (только для ресерча) тут

Бизнесу данные нужны как воздух📊 На их основе компании принимают важные стратегические решения. Поэтому специалисты, которые собирают, обрабатывают и анализируют данные, всегда востребованы. Таких профессионалов готовят на курсе «Аналитик данных» от МФТИ и Нетологии. За 10 месяцев вы получите фундаментальные знания, актуальные навыки и кейсы в портфолио. Вы научитесь: - использовать Python для анализа данных; - применять методы ИИ в своих задачах; - работать с базами данных; - визуализировать данные. После обучения получите дипломы о профессиональной переподготовке от МФТИ и Нетологии. Центр развития карьеры поможет с трудоустройством, резюме и портфолио. Освойте профессию на стыке IT и бизнеса Реклама. ООО "Нетология". Erid 2VSb5wJC4Jt

Обычный день в команде аналитиков

Интересная статья вчера оказалась на первом месте в daily papers: китайские исследователи предложили бенчмарк, в котором LLM нужно показать свою способность отличать сгенерированный контент Бенчмарк забавно назвали LOKI, и он содержит вообще все возможные модальности: текст, картинки, видео, 3D модели, аудио. При этом все они размечены по доменам, и конечно, помечены как сгенерированные или нет. По LOKI прогнали 22 LLM. Результат: предсказания большинства моделей близки к случайным. Но вот GPT-4o контент, сгенерированный его ИИ-братьями, различает довольно неплохо, и заметно проседает только на тексте (что немудрено, учитывая, что это модальность, которую модели генерируют лучше всего). Более-менее с текстом справляется только Claude-3.5-Sonnet, и то выбивает не более 61.5% на бинарном выборе. Код экспериментов лежит здесь. Сам датасет обещают выложить скоро.

Не завидуем сотрудникам Маска: то заставляют за три недели до мероприятия внезапно добавить в программу роботов, то за 19 дней ставишь кластер на 100 000 GPU Особенно в шоке от ситуации с кластером CEO Nvidia. По словам Хуанга, на сетап системы такого масштаба в среднем необходимо четыре года. Фантастика. Хотели бы себе такого начальника?

Как стать высокооплачиваемым специалистов в ML? Изучать тренды в Data Science с экспертами топовых компаний на продвинутом курсе «Machine Learning. Professional» от OTUS  Приглашаем на открытый урок, где рассмотрим современную модель TSMixter от Google которая умеет автоматически раскладывать временной ряд на сложные компоненты и строить прогноз на их основе. ✅ Изучение и практика: научимся загружать и работать с моделью Сравним ее с более сложными трансформенными моделями, такими как NBEATS, NHITS, iTransformers, PatchTST и TimesNet. 👇 Регистрация на урок:  https://otus.pw/0iIS/?erid=LjN8KLaqq #реклама О рекламодателе

Опубликовали список сабмитов на ICLR 2025! Конференция пройдет в апреле в Сингапуре, но уже сейчас есть возможность ознакомиться с поданными на нее статьями. Приятного чтения

OpenAI выяснили, влияет ли ваше имя на ответы, которые дает вам ChatGPT Обычно подобные исследования проверяют, например, насколько ИИ склонен к стереотипам относительно какого-то третьего лица, не участвующего в диалоге (например, скрининг резюме группы людей). А OpenAI решили проверить, есть ли у бота предубеждения, которые он переносит непосредственно на собеседника. Внезапно оказалось, что (почти) нет: GPT-like модели в среднем в менее чем 1% случаев дают различные стереотипные ответы людям с разными именами. Стереотипными различиями считается, когда, например, юзеру с женским именем в ответ на расплывчатый вопрос без уточнения деталей, такой как "подскажи классное название для моего видео на YouTube", модель заговорит о рецептах или косметике, а на такой же запрос от мужчины предложит что-то про технику. Самой стереотипной моделью оказалась GPT-3.5, самой честной – GPT-4 Turbo. Больше всего боты проявляли предвзятость в теме искусства и развлечений, а найм, кстати, оказался чуть ли не на последнем месте. Самое интересное, что для самого анализа и сводки статистики тоже применялась LLM. Н – несмещенные оценки

Что и требовалось доказать: Роботы Optimus на мероприятии Tesla дистанционно управлялись операторами В компании утверждают, что роботы могут двигаться и самостоятельно, но на мероприятии большинство их действий (включая того самого робота у бара и танцующих роботов) почему-то контролировали операторы. Маск об этом, конечно, не упомянул. И еще интересный факт: изначально роботы Optimus не должны были присутствовать на меро. Маск потребовал включить их в программу всего за три недели до мероприятия.

❓Узнайте как построить модель финансового рынка, создать и обучить торгового агента с использованием специализированного фреймворка на открытом уроке в Otus Моделировать финансовый рынок непростая задача, а когда мы хотим обучить торгового агента для эффективной работы, она становится непосильной для одного человека На открытом уроке «Построение торгового агента на базе алгоритмов обучения с подкреплением» рассмотрим свободно распространяемые фреймворки для моделирования финансового рынка ✅ Сосредоточимся на финансовой стратегии, а детали реализации алгоритма фреймворк возьмет на себя  Регистрация на урок 👇 https://otus.pw/t6ALO/?erid=LjN8JxvWY #реклама О рекламодателе

Google подписала со стартапом Kairos Power контракт на строительство 7 ядерных реакторов Использоваться они будут, само собой, для питания датацентров. Целью корпорация видит дополнительные ядерные мощности примерно в 500 МВт. Сообщается, что первый реактор будет запущен в 2030, остальные созреют к 2035. Это первая в истории подобная сделка

Миниатюра: очередной ML-инженер OpenAI раздумывает об уходе, пока все носятся с новостью про Себастьена Бубека