Data Secrets

Грядет Llama4 reasoning! От этом написал на фейсбуке Марк Цукерберг. Он также говорит, что Meta уже закончили претрейн Llama4 mini, и что полномасштабная Llama4 станет omni-моделью (как GPT-4o) и будет обладать фичами агентов (как Sonnet).

Я думаю, что 2025 вполне может стать годом, когда Llama и опенсорс станут самыми передовыми и широко используемыми моделями ИИ. Наша цель при создании Llama 3 состояла в том, чтобы сделать модели с открытым исходным кодом просто конкурентоспособными по сравнению с закрытыми моделями, а цель Llama 4 — занять лидирующие позиции на рынке.

Ну какова гонка! 🤩

А вот и более приятные новости: там заехал PyTorch 2.6! 🔷 Теперь torch.compile наконец можно использовать с последним Python 3.13 🔷 AOTInductor – компилятор для ускорения моделей – получил сразу несколько новых фичей. Теперь в нем появился "минификатор", который помогает находить ошибки в моделях, создавая минимальный код, воспроизводящий проблему. Также добавили совместимость в режиме режим ABI (это означает, что ничего гарантировано не сломается при переезде на будущие версии торча). А еще появился новый формат упаковки моделей и поддержка вычислений на GEMM/CONV. 🔷 Появился параметр torch.compiler.set_stance, с помощью которого можно управлять поведением torch.compile. Например, настроить, чтобы код выполнялся в "жадном" режиме (без лишней компиляции). Полный список обновлений можно посмотреть здесь

Слив данных DeepSeek. Что известно? Сегодня ночью компания Wiz, которая занимается облачной кибер-безопасностью, объявила у себя в блоге, что обнаружила открытую базу данных DeepSeek, содержащую «чувствительную информацию».

Эта база данных ClickHouse включает в себя более миллиона строк логов, содержащих историю чатов, секретные ключи, детали бэкенда и другую высококонфиденциальную информацию.

Никаких особых навыков белым хакерам не потребовалось: они просто поискали по субдоменам с необычными портами, и нашли хосты, которые привели к БД. Чтобы в нее зайти, также не потребовалось никакой аутентификации, и ресерчеры сразу попали на страницу с доступом к исполнению SQL запросов и добрались до таблиц. Хакеры предупреждают, что если ИИ будет развиваться такими темпами и дальше, а разработчики не будут уделять нужного внимания безопасности, нас всех ждут еще более ужасные утечки. DeepSeek ситуацию пока не прокомментировали

Ян Лекун: «Реакция рынка на DeepSeek необоснована»

«Большинство заблуждается по поводу инвестиций в AI-инфраструктуру. Большая часть этих миллиардов тратится на инфраструктуру для инференса, а не на обучение. Запуск AI-ассистентов для миллиардов людей требует огромных вычислительных ресурсов. Если добавить обработку видео, логическое рассуждение, работу с памятью и другие возможности в AI-системы, стоимость их работы будет только расти. Единственный важный вопрос — будут ли ваши пользователи готовы платить достаточно (напрямую или косвенно), чтобы оправдать капитальные и операционные затраты. »

Переводим: по мнению Лекуна, качество модели не имеет смысла, если у компании нет устойчивой экономики. Другими словами, даже если DeepSeek технологически конкурентоспособен, его способность изменить рынок зависит только от того, сможет ли он эффективно монетизироваться. Тем временем OpenAI, которые работают в огромный минус уже 10 лет: 😐

HuggingFace делятся статистикой: количество скачиваний и лайков на аккаунте DeepSeek растет вертикально и R1 уже вошла в топ-10 самых залайканных моделей в истории платформы P.S. не будьте как HuggingFace, следите за читаемостью цветовой палитры на ваших графиках

Тем временем вокруг DeepSeek продолжают строить теории заговора Один из крупнейших ИИ-инвесторов в мире Дэвид О. Сакс на американском телевидении говорит, например, что R1 – это дистилляция из o1, и этому есть доказательства. В стартапе Альтмана, видимо, позицию разделяют: Bloomberg сообщает, что Microsoft начали расследовать возможную "кражу" данных OpenAI компаниями из группы DeepSeek. "Должно быть обидно, когда кто-то крадет твою интеллектуальную собственность и делает из этого прибыль" – комментируют в Твиттере статью Bloomberg пользователи. На данный момент на стартап подали уже более 10 групповых исков, связанных с авторскими правами.

Альтман с утра радует селфи с Наделлой и пишет, что сотрудничество OpenAI и Microsoft выходит на новый уровень Шире улыбка == больше GPU

Тут нейросетка DeepSeek заявляет, что вообще-то она YandexGPT Причина простая: разрабы минимизировали стоимость обучения, используя буквально все данные из интернета, в том числе и синтетические от YandexGPT😐

Китай, остановись: Qwen дропнули еще одну новую модель Qwen2.5-Max Это судя по всему огромная Mixture-of-Expert модель, которую предобучали на 20 триллионах токенах и дообучали, по классике, с помощью файнтюнинга и RLHF. На метриках она показывает себя на уровне DeepSeek-v3, GPT-4o и Claude 3.5 Sonnet, кое-где даже лучше. На HumanEval, например, набрано 73 с хвостиком, это очень неплохо. Модель уже можно бесплатно попробовать на HF и в Qwen чате, а также она уже вышла в API Напоминаем, что предыдущий релиз Qwen состоялся... вчера. Всем желаем такой продуктивности

Как с помощью ML создали Геокодер, масштабируемый для разных стран Команда API Яндекс Карт создала Геокодер c использованием deep learning, который определяет точные локации по запросу пользователя. При этом инструмент: ➖ Использует контрастивное обучение, active learning, аугментацию и LLM-генерацию. ➖ Работает даже с опечатками и “народными” запросами на разных языках. ➖ Можно быстро запустить в новой стране за пару недель. В статье полное описание механизма работы, почитать полностью можно здесь.

Кстати, а вы знали, что в уставе OpenAI явно прописано, что если другая компания будет обгонять их в гонке за AGI, то они бросят конкуренцию и станут помогать этому проекту? Вот выдержка (опубликовано в 2018 году):

«Мы обеспокоены тем, что разработка AGI на поздней стадии превратится в конкурентную гонку без времени на адекватные меры безопасности. Поэтому, если проект, ориентированный на ценности и безопасность, приблизится к созданию AGI раньше нас, мы обязуемся прекратить конкуренцию и начать помогать этому проекту. Мы проработаем детали в соглашениях для каждого конкретного случая, но типичным условием запуска может быть «больше, чем равные шансы на успех в течение следующих двух лет»

Интересно, а в Stargate это читали? 🙂

Пока единственный, кто теряет работу из-за китайского ИИ, – это ChatGPT

Как прокачать самый главный навык аналитика Написание кода, построение дашбордов и подсчет метрик — эти навыки давно уже стали необходимым минимумом для любого аналитика. Этого работодатель ждет от вас «по умолчанию». А самый главный навык аналитика - уметь делать качественные выводы на основании отчетов, генерировать правильные гипотезы и дешево их проверять. Именно этого ищут компании среди кандидатов и за это готовы платить большие зарплаты. Не зря же на собеседованиях в последнее время все чаще дают продуктовые кейсы. И как раз про это будет рассказывать Андрон Алексанян на своем вебинаре «Как прокачать самый главный навык аналитика» 🔥 Вебинар пройдет завтра, 29 января, в 19:00 Мск. Регистрация — по ссылке. Андрон прошел большой путь в аналитике и ему точно есть, чем поделиться. Он более 5 раз отстраивал аналитику в компаниях с нуля, а сейчас развивает быстрорастущую школу аналитики данных Simulative и консультирует крупные компании. В общем, если «прокачать продуктовое мышление» для вас актуально — обязательно приходите на вебинар, будет полезно 👉🏻 ссылка. Реклама. ООО АЙТИ РЕЗЮМЕ. ИНН 4025460134.

При этом не все верят, что с вычислениями в DeepSeek все так уж просто CEO ScaleAI Александр Ванг вот говорит, что на самом деле у компании есть кластер с 50к H100 (неплохо, мягко говоря), но они не могут это разглашать из-за текущих условий экспорта США. Маск с ним согласился 🤔

Андрей Карпаты похвалил R1 и их бережливость по отношению к бюджетам

DeepSeek это прекрасный пример открытой LLM передового уровня, обученной на смехотворно малом бюджете (2048 GPU на 2 месяца, 6 млн долларов). Для справки, этот уровень возможностей обычно требует кластеров ближе к 16 тыс. GPU. В основном кластеры компаний с такими разработками имеют около 100 тыс. GPU. Например, Llama 3 405B использовала 30,8 млн GPU-часов, в то время как DeepSeek-V3 выглядит более сильной моделью всего с 2,8 млн GPU-часов (примерно в 11 раз меньше вычислений).

Он говорит, что в основе успеха R1 – "правильное" обучение с подкреплением, то есть ее подражание размеченным данным, а именно самообучение и самоисправление.

ICT.Moscow опубликовали подборку из 80 Open Source решений для ИИ-разработки Исследователи ИТМО в сентябре 2024 отмечали ключевую роль крупного технологического бизнеса в развитии отечественного Open Source — и эта подборка наглядно это подтверждает. Большинство решений (74) представлено именно московскими разработчиками, в том числе и командами Яндекса, Сбера и Т-Технологий. Полную подборку можно скачать в конце статьи 🤩

Итак, Janus-Pro от DeepSeek. Что это за модель такая? Вчера, чуть позже, чем веса, стартап выложил также тех.репост слэш статью про свою новую разработку. Сейчас разберемся, что там интересного. Итак, Janus-Pro — это улучшенная версия предыдущей модели Janus (про нее мы писали тут). Относительно предшественника в Pro, кроме бОльшего размера и количества данных, появилось одно ключевое улучшение: раздельное кодирование для задач image2text и text2image. То есть раньше в Янусе использовали единый энкодер для всех задач, и, как оказалось, это вызывало некоторые конфликты. Это, в целом, логично. Ведь когда мы работаем в режиме мультимодального понимания, то есть image2text, это требует от модели глубокого семантического анализа визуального контента (например, «Какой объект изображён?» или «Что написано на доске?»). А когда ей нужно сгенерировать изображения, от нее требуются совсем другие навыки: понимание пространственных зависимостей, оттенков и соответствия промпту. Вот и получается, что единый энкодер руинит качество сразу обеих задач. Поэтому в Janus-Pro их два: SigLIP для изображение → текст и VQ Tokenizer для текст → изображение. Кроме того, для двух этих разных задач далее по пайплайну прикручены еще и два разных адаптера: Understanding Adaptor и Generation Adaptor, которые подбивают выходы энкодеров под формат внутренних слоев модели, то есть авторегрессионного трансформера. В итоге Janus-Pro генерирует картинки лучше, чем DALL-E 3, SD3 и Emu3, а понимает изображение точнее, чем модели LLaVA! На примерах прогресс очевиден. Больше метрик и деталей можно найти в полном тексте тех.отчета. А попробовать погенерировать картинки с помощью модели кстати уже можно на HF, бесплатно

DeepSeek только что дропнули еще одну опенсорсную модель Это Janus-Pro – мультимодальная авторегрессионная архитектура, которая умеет унифицированно обрабатывать текст, картинки и аудио. Есть варианты на 7В (веса) и 1В (веса). Китай, остановись, мы все еще привыкаем к R1 😲

Бэнгер-статья дня: Go-with-the-Flow диффузия от Netflix С помощью диффузии видео генерируется кадр за кадром. Конечно, это происходит не совсем независимо: для согласованности добавляют контекст в виде предыдущих кадров и используют для каждой генерации одинаковый начальный шум. Но даже так модели страдают от мерцания текстур и неестественных движений объектов (все же видели этот ИИ- балет?). В Netflix предложили другой подход. Он покажется многим знакомым и интуитивно понятным благодаря Kling: это добавление направления движения. Технически говоря, мы добавляем в исходный шум оптический поток, который перемещает шумовые области в сторону движения объектов. При этом области, которые после перемещения шума остаются пустыми, заполняются с помощью бипартиграфа (то есть шум как бы перераспределяется). А чтобы сохранять «случайность», то есть гауссовость, на каждом шаге еще примешивается случайный компонент. В итоге такая модель генерирует гораздо более плавные движения и лучше сохраняет согласованность кадров. Вдвойне круто, что при этом качество в целом не теряется, а производительности требуется совсем капельку больше. Статья полностью тут

Если вы в 2024 году опубликовали научную статью по ИИ, у вас есть шанс выиграть премию Data Fusion Awards в номинации «Научный прорыв года в ИИ»! Номинация проводится впервые, жюри выберет три самых ярких работы российских ученых в сфере ИИ или технологий работы с данными. Общий призовой фонд — 3 000 000 рублей. Всего будет три победителя, каждый получит 1 000 000 рублей. Дедлайн подачи заявок — 31 января 2025 года, церемония награждения пройдет на конференции Data Fusion в Москве 16-17 апреля 2025 года. ➡️Подробнее о номинации