Data Secrets

OpenAI рассчитывает в новом году на b2b Об этом пишет The Information. Журналисты взяли интервью у директора по продажам стартапа и тот ясно дал понять, что в 2025 OpenAI целится в пятую ступень развития ИИ (вот тут пост про все ступени, которые описывал Альтман описывал) – то есть в ИИ, который может управлять предприятием. Для достижения цели они настроены подписывать крупные контракты с бизнесом и серьезно расширяют отдел продаж. «Мы думаем, что индустрия к этому готова: фокус применения ИИ смешается со стартапов на традиционный сферы, такие как здравоохранение и строительство». Получается, что за год OpenAI планируют перепрыгнуть ступень ризонеров и новаторов, и достичь AGI (при этом на первых двух ступенях мы находились порядка пяти лет). Было упомянуто, кстати, что с точки зрения продукта стартап делает ставку именно на модель o1.

На Habr вышла статья о том, какие способы используют, чтобы максимально точно измерить “ум” языковой модели Представьте, что вы пытаетесь оценить знания человека с помощью тестов. Вроде все просто: правильно ответил — молодец, ошибся — учись дальше. Но с LLM все оказалось сложнее: хотя академические тесты полезны, они не показывают, насколько модель эффективна в реальных задачах — ведении диалогов, переводах, суммаризации и генерации идей. Нужно учитывать и то, что у моделей нет внутренней картины мира, в отличие от людей, и на первый взгляд очевидные вопросы оказываются сложными для них. К примеру, вопрос о том, как почувствовать вкус чего-то, кажется нам абсурдным, а для LLM ответ совсем не очевиден. В Яндексе для решения этой проблемы создали особый пайплайн. Помимо стандартных бенчмарков (которые, кстати, подвержены протечкам данных), используют команду AI-тренеров — экспертов для глубокой проверки ответов. Это сложнее и дороже, но позволяет понять реальную ценность LLM. Оригинальная статья здесь

Фотоны вместо электронов – is all we need? Некоторое время назад в сети завирусилось видео, которое показывает "световую" нейронную сеть. Бред, конечно: кусочки стекла, линза, – при чем тут реальные системы? Но, как на днях объяснил один из бывших ведущих инеженеров Google, разумное зерно в этом все же есть. Смотрите: современные процессоры оперируют электронами, "проталкивая" их по проводам. Но что, если заменить электроны на фотоны? Проводимость такого сигнала в меди была бы в 3 раза выше, при этом с минимальным выделением тепла. Фотонные чипы могли бы достигать частоты >100Ггц/с (современные работают на 3-5 Ггц). При этом чип2чип соединения тоже будут работать лучше: по сравнению с сегодняшними датацентрами потребление энергии на аналогичных мощностях снизилось бы в 200 раз! Соответсвенно, падает и сложность операций. Матричное умножение, на котором стоит все глубокое обучение, традиционно имеет сложность O(n^2), а в оптическом инференсе занимало бы O(1), то есть константу. Такими разработками люди, кстати, уже занимаются (например, Ayar Labs и Lightmatter). Даже Intel смотрит в эту сторону: в трансиверах 400G уже используется кремниевая фотоника. Пока что индустрия не развита, подходящего сырья мало, и стоимость одного устройства слишком высока: это и отделяет фотонные системы от распространения. Возможно, пройдет 5-10 лет, и мы увидим прогресс в этой области. А пока продолжаем умножать матрицы квадратично...

Yandex Cloud приглашает пройти новый образовательный трек по работе с ML-сервисами! Обучение включает в себя три уровня сложности — как для новичков, так и для профи: 🔴Introduction. Расскажем о том, как работают ML-сервисы и как подобрать сервис для решения задач. Подойдет всем, кто интересуется ML; 🔴Intermediate. О внедрении ML в рабочие процессы. Подойдёт аналитикам, разработчикам и менеджерам проектов; 🔴Advanced. О том, как построить сервис на базе ML-технологий. Подойдёт Data Scientist и ML-инженерам. Курс бесплатный, пройти обучение можно в удобном порядке, выбрав только интересующие темы. Над созданием курса работали практикующие эксперты Yandex Cloud. ➡️ Переходите по ссылке и регистрируйтесь на трек.

В твиттере изобразили четырех китайских всадников апокалипсиса OpenAI 🥲 P.S. Подробнее о всадниках: DeepSeek-r1, macro-o1, LlaVa-o1, QwQ

Имба: в честь матча за звание чемпиона мира по шахматам Google запустили в Google Labs возможность поиграть в шахматы с Gemini, да при этом еще и стилизованными по вашему запросу шахматными фигурами. Смотрите: 1. Заходим на сайт labs.google/genchess 2. Выбираем вид набора и пишем короткое описание темы для фигур. Например, Harry Potter 3. Генерируем сет (под капотом тут связка Gemini Flash + Imagen) 4. Генерируем сет проивника. Тему для сета противника Gemini выбирает так, чтобы она "конфликтовала" с вашей 5. Играем На первой картинке – набор, который получился у нас: вдохновленный, конечно, машинным обучением (отдельное внимание на ладью в виде кластера GPU), а в оппоненты Gemini подобрал.... квантовую физику. В пост добавляем еще несколько шахматных досок, которые получились у пользователей в Твиттере. А вы прикрепляйте в комментарии то, что получилось у вас! Кстати, ранее в честь того же матча Google совместно с FIDE запустили чемпионат на Kaggle. В нем еще можно поучаствовать.

4 декабря в Москве Ассоциация больших данных и Arenadata проведут очный митап GenAI: есть ли жизнь после хайпа Спикеры в ходе дебатов поделятся своим видением применения генеративного ИИ, развенчают мифы и помогут разобраться, какие из кейсов – хайп и лопнут вместе с пузырём, а какие применения останутся и обеспечат реальный вклад в трансформацию общества и экономики. Также будет организована нетворкинг-сессия, в ходе которой вы узнаете о будущем GenAI и установите контакты с экспертами в сфере искусственного интеллекта. В числе спикеров мероприятия Юлия Богачёва, Директор по ИИ в Arenadata, и Леонид Чёрный, Исполнительный директор по данным в ДиБиЭс Технологии. Модератором дискуссии выступит Глеб Шуклин, директор Ассоциации больших данных. Когда? 4 декабря (среда), 18:00 МСК Где? г. Москва. Точный адрес станет доступен после заполнения формы регистрации. Участие бесплатное, но не забудьте зарегистрироваться. Присоединяйтесь! Реклама. НКО "Ассоциация больших данных" ИНН: 7707421454. Erid: 2VtzqvPU7my

Для аналитиков тоже нашли порцию новогоднего настроения

Новогоднее настроение в студию: на Kaggle стартовал рождественский челлендж Santa 2024 Легенда такая: кто-то перепутал слова в рождественских сказках. Цель – расставить слова по порядку, минимизируя перплексию отрывков. Другими словами, чем осмысленнее у вас получится сказка – тем выше вы в лидерборде. В награду самым успешным командам Санта подарит $50,000 🎅 Участвовать здесь

LM Arena опять радует прогрессом: разработчики добавили RepoChat Arena, в котором можно проверить модели на умение работать с кодовой базой Видимо, решение вдохновлено высокой популярностью Cursor, Copilot и других разработчиков из коробки. На арене теперь можно отправить моделям ссылку на репозиторий и попросить их исправить баги / добавить фичи / задать вопросы по коду и тд, а затем проголосовать за ту модель, которая справилась лучше. Теперь ждем лидерборд с первыми результатами

⚡️ Вышел новый Qwen с ризонингом! QwQ 32b превосходит o1 в некоторых тестах и ​​имеет открытый исходный код под лицензией Apache 2. Рассуждения в диалоге не скрываются, но могут существенно затягиваться.

"QwQ воплощает в себе древний философский дух: он знает, что ничего не знает, и это именно то, что движет его рассуждениями", – пишут разработчики в блоге.

Можно только порадоваться, что разрыв между крупными игроками и китайскими опенсорс решениями все сокращается. Это значит, что в будущем мы сможем получать опенсорс модели практически одновременно с моделями OpenAI и Anthropic (ну или те просто затаились и ждут момента выпустить свои супер-инновационные разработки, что тоже неплохо). Код | Демо | Веса | Блогпост

⚡️Всероссийский Хакатон ФИЦ 2024 🚀Попробуйте себя в одном из предложенных кейсов: Кейс №2. Выявление трендов в сфере бухгалтерского учета, поиск «болей» бухгалтера: разработать алгоритм для поиска новых трендов и проблем бухгалтера. Кейс №8. Формирование фото и видео контента с использованием нейросетей на основе биографии и фото персоны. Кейс №10. Цифровая карта подземных коммуникаций с использованием Cesium. Кейс №12. Цифровой сервис для ведения реестра зеленых насаждений города Москвы. Кейс №17. Стартовый (профилактический) комплаенс: предотвращение рисков с помощью AI. Кейс №19. Parallax-scroll лендинг для сайта Insidium. И другие 19 кейсов смотрите на сайте: https://фиц2024.рф/hackathon Хакатон пройдет в 2 этапа: Отборочный этап в Онлайн, Финал в Офлайн. 🏆Призовой фонд: 6 000 000 руб. 🔥Дедлайн регистрации: 28 ноября, 23:59 📅Даты отборочного этапа: 29 ноября - 2 декабря 🦾Даты финала: 3 - 4 декабря Зарегистрируйтесь для участия в хакатоне: https://фиц2024.рф/hackathon Реклама. ООО "Акселератор возможностей" ИНН: 9704005146. Erid: 2VtzquidJS3

Нас ждут ИИ-видеоигры от Илона Маска В Твиттере он прокомментировал пост о том, что индустрия игр загибается и объяснил это тем, что слишком просто студий геймдева принадлежит корпорациям.

«В xAI мы собираемся открыть студию разработки игр с ИИ, чтобы снова сделать игры великолепными!»

Миниатюра: заказчик и ML-команда

Сейчас, когда ходит все больше и больше слухов о том, что модели ИИ якобы перестали масштабироваться, многие вспоминают и возвращаются к легендарной статье Scaling Laws for Neural Language Models от OpenAI. Она была написана в 2020 году. Многие уверены, что в этой работе впервые исследуются законы скейлинга моделей, и потому она считается основополагающей. Но знали ли вы, что на самом деле scaling laws изобрели намного раньше? Еще в 2017 году, в год выхода гугловской статьи про трансформер, вышла папира исследователей из Baidu Research, в которой они описали точно такие же зависимости и влияние количества параметров в модели и токенов в трейне на лосс. Правда, вместо трансформера ученые использовали LSTM, и не называли свои выводы "законами". Но зато они уже тогда проверили заключения и на обработке изображений, и на задаче распознавания речи, так что получился вполне себе мультимодальный подход. Вот главный вывод из статьи OpenAI (цитата):

Лосс масштабируется как степенной закон с ростом размера модели, размером набора данных и объемом вычислений, используемых для обучения. Другие архитектурные детали, такие как ширина или глубина сети, оказывают минимальное влияние. Эти соотношения позволяют нам определить оптимальное распределение фиксированного бюджета вычислений.

А вот – из статьи Baidu Research (тоже цитата):

Наши эмпирические результаты показывают масштабирование лосса по степенному закону с ростом таких факторов как размер датасета и объем вычислений. При этом тюнинг самой модели только смещает лосс, но, по-видимому, не влияет на показатель степенного закона. Мы также показываем, что размер модели масштабируется сублинейно с ростом объема данных. Эти соотношения масштабирования имеют существенное значение, так как могут служить руководством при проектировании вычислительных систем.

Все новое – хорошо забытое старое?

Группа «Т-Технологии», в которую входит Т-Банк, начинает строить свои дата-центры В совете по развитию цифровой экономики подчеркивают, что в условиях текущих ограничений этот шаг позволит больше контролировать безопасность данных клиентов, ведь в любой момент внешние сервисы могут попасть под санкции.

"Растущий спрос на создание ЦОД в том числе продиктован ускорившейся гонкой за создание суперинтеллекта, в которой невозможно участвовать без развитой технологичной инфраструктуры", – сообщила заведующая кафедрой мировых финансовых рынков и финтеха РЭУ им. Г. В. Плеханова Светлана Фрумина.

К 2027 в Т-Банке намерены запустить уже два центра обработки данных. В каждом из построенных ЦОД будут установлены свыше 100 тыс. серверов, а также Т-Банк станет первым банком в мире, использующим в дата-центрах технологию Direct Free Air Cooling. Проектный показатель эффективности использования электроэнергии (Power Usage Effectiveness, PUE) составит 1.15, это значительно ниже среднемирового уровня — 1.6.

Следом за предыдущим EpochAI выпустили еще одно исследование, посвященное железу В этот раз аналитики представили целую базу данных, в которой собрали сведения о более чем 100 видах чипов. Интересные числа и выводы: ➡️При переходе с FP32 на INT8 перформанс видеокарт повысился в 15 раз ➡️Несмотря на зверский рост цен, графики показывают, что вычисления в пересчете на единицы каждый год становятся дешевле в среднем на 30%, и энерго-эффективнее в среднем на 50% ➡️Чистое количество операций в секунду увеличивается примерно на 20% в год ➡️Таким образом, мощность процессоров удваивается каждые 2.8 года (+- закон Мура) ➡️С 2016 года максимальный размер кластеров для обучения ИИ увеличился более чем в 20 раз (!) ➡️На данный момент самой популярной видеокартой в мире остается A100 Nvidia Почти все графики интерактивные и потыкать их можно здесь

Кому такую шапку?

У Anthropic снова крутое обновление: на этот раз в Claude добавили возможность выбора кастомных пользовательских стилей Стиль ответа бота можно выбирать из предустановленных (краткий, развернутый или формальный) или создать свой собственный. Для этого нужно загрузить текст, стиля которого модель должна придерживаться: Claude проанализирует его и будет в будущем предлагать в качестве опции. То, чего всем нам не хватало

есom.teсh meetup — Generative AI 6 декабря 18:00 в Москве пройдёт митап по прикладному использованию генеративных технологий для специалистов по Data Science! Обсудим технические аспекты экспериментов с нейронными сетями, посмотрим свежие кейсы внедрения ИИ в бигтехе и не только. В программе: 👁‍🗨 Виртуальная фотосъемка для продавца на маркетплейсе: возможности Gen AI. Арнольд Сааков, руководитель отдела разработки сервисов искусственного интеллекта в ecom.tеch. 👁‍🗨 От потоковой обработки к генерации: AI-алгоритмы для автоматизации работы с фотографиями товаров на маркетплейсе. Александр Савельев, руководитель группы развития технологий компьютерного зрения в ecom.tеch; Татьяна Гришина, менеджер продукта в ecom.tеch. 👁‍🗨 Секретный доклад. Митап будет интересен тем, кто уже работает или проходит обучение в области Data Science и интересуется генеративными технологиями! 🧠 Регистрируйтесь и пересылайте знакомым! Реклама. ООО "УМНОЕ ПРОСТРАНСТВО", ИНН 7811554010, Erid: 2VSb5zCxZ84