Data Secrets

Сколько параметров в GPT-4o mini? Конечно, сама компания в последнее время не раскрывает ни деталей реализации, ни даже количества параметров своих моделей. Но бесследно разработка все равно не проходит, поэтому на Реддит погадали на фактах и... получилось примерно 8В. Вот почему: ▪️ Из утечки препринтов Microsoft известно, что GPT 3.5 Turbo – это 20B модель (см.скрин). В OpenAI заявляли, что GPT-4o mini стоит на 60% меньше, чем предшественник. Несложная математика: 20-60% = 20B ▪️ Microsoft имеет все доступы к моделям OpenAI и, вероятно, осведомлены об архитектурах. Они также пытаются приблизить свои модели к производительности OpenAI, используя, скорее всего, те же подходы. Так что по таким релизам, как Phi 3.5, можно отдаленно судить об архитектурах OpenAI. ▪️ Ужа давно ходили слухи, что GPT-4 имела 16 экспертов (это MoE). Учитывая, что новая Phi 3.5 MoE от Microsoft – это тоже 16 экспертов, и принимая во внимание пункт 2, можно предположить, что GPT-4o mini – это тоже 16 экспертов по примерно 4В параметров. Получается как раз 8В активных. Кстати, новая архитектура тоже не исключена. Возможно, в OpenAI используют что-то вроде hybrid-mamba 2.

⚙️ Anthropic тихо релизнули еще одну прикольную фичу: она позволит частично менять или получать объяснения кода простым выделением. Всплывающее окно с опциями теперь показывается прямо внутри артефакта и предлагает либо объяснить выделенную часть кода, либо поправить ее.

Курс лекций о фундаментальных моделях от канадского университета Waterloo ☺️ В курсе подробно разбираются такие базовые модели, как CNN и RNN. Также вы найдете все о трансформерах: обучение, настройка, и даже разбор например BERT’а и ELECTRA. Кстати, курс относительно свежий, поэтому авторы рассказывают также о больших языковых и мультимодальных моделях: предварительная обработка данных, файнтюнинг, оптимизация, обучение и многое другое можно найти по ссылке.

Ozon Tech устраивает IT-конференцию, на которой нужно быть Знакомьтесь — E-CODE — пространство, где код меняет и упрощает жизнь. ⏰ 28 – 29 сентября. Онлайн и офлайн (Москва) В программе технологический трек для ML-инженеров и научно-популярный для тех, кто в моделях уже преисполнился. А ещё угощения и развлечения — от настолок до караоке. Вечером — выступления музыкальных групп и афтепати. Количество мест ограничено, не откладывайте регистрацию. 📌 Зарегистрироваться

Почувствовали энергию AGI, исходящую от этого видео? 🤣 А серьезно, почему модели настолько трудно просто переписать слово? Ответ: все из-за токенизации. По этой же причине, например, GPT не может разобрать, сколько букв r в слове strawberry и очень плохо считает. Полное объяснения того, почему так происходит и какие еще проблемы порождает токенизация можно найти в этом нашем посте.

У Google три новые экспериментальные модели! В компании представили: ➡️новую уменьшенную Gemini 1.5 Flash-8B ➡️более мощную Gemini 1.5 Pro ➡️и улучшенную Gemini 1.5 Flash Все модели уже появились на Арене. Новый Gemini-1.5-Flash совершил огромный скачок с 23-го на 6-е место! Gemini-1.5-Pro ​​тоже не отстает и демонстрирует мощные улучшения в коде и математике. А новая мини-модель Gemini-1.5 Flash- 8b превосходит gemma-2-9b и догоняет llama-3-70b.

Ничего необычного, просто Linkedin резюме Дженсена Хуанга, который сначала 5 лет работал посудомойщиком и официантом в закусочной, а потом…

⚡️ Зацените: за последние 18 месяцев стоимость за 2М токенов (input+output) упала в 240 раз! В начале 23 года она равнялась 180 долларам, а сейчас в среднем приближается к 75 центам.

Результаты исследования ML-сообщества от VK и ИТМО Помните, мы просили вас поучаствовать в исследовании о состоянии индустрии, лидерах рынка и в целом ML-карьере в России? Так вот теперь мы делимся с вами его результатами! Откуда ML-щики (то есть вы) берут информацию и какие источники любят? Как выбирают компанию для работы? Кем себя видят в будущем? Все самые интересные и неожиданные результаты – в карточках. Спойлер: мы попали в топ-4 самых любимых ML-каналов 😊

Anthropic пару недель назад незаметно выложили на GitHub интерактивный учебник по промптингу в виде ipynb ноутбуков Особенно полезно для разрабов, которые работают с API LLM: курс разбит на 9 глав с теорией, примерами, упражнениями и ответами на них. Поможет освоить базовые техники, познакомит с такими фичами, как Prompt caching и отдельно научит оптимизировать ответы для кодинга. Кстати, вот вам интересный факт: Anthropic – единственная компания, которая опубликовала в общий доступ свои системные промпты (то есть те промпты с базовыми настройками, которые зашиваются разработчиками в модель как дефолтные). Посмотреть на них можно тут.

Давайте также вспомним, что Илон Маск AKA лучший знаток ИИ по мнению Трампа – это тот человек, который думает, что в его self-driving автомобилях Tesla не используются CNN P.S. Спасибо нашим комментаторам за напоминание

Дональд Трамп: «Никто не знает об ИИ больше, чем Илон Маск, и я был бы открыт для консультаций Илона по вопросам ИИ, если бы был президентом» Кстати, Илон тоже поддержал новый Калифорнийский проект по регуляции ИИ (как и Виталик Бутерин). Альтман курит в сторонке

Что такое API модели и какие существуют инструменты для его создания? 🔹Разберёмся на практическом открытом уроке «Развертывания моделей машинного обучения - создание API». Рассмотрим как перейти от модели в Jupyter notebook к модели, подготовленной для внедрения ✅ Практика: Реализуем API нашей модели с использованием фреймворка FastAPI и запустим ее в виде web-сервиса. Урок приурочен продвинутому курсу «Machine Learning. Advanced» от Otus. 👉 Регистрация и подробности: https://otus.pw/Cfb1/?erid=LjN8KNwD5

КолЛеГи, мы?

Тем временем Илон Маск выкладывает в Твиттере видео с того самого суперкластера Cortex, на котором обещает обучить «самый мощный ИИ в мире» АКА Grok-3. Кластер находится в штаб-квартире Tesla в Остине. Как вам?

Там Hugging Face только что выпустили набор Deep Learning Containers для билда ИИ-моделей в Google Claude В образах уже настроены конфиги + не будет проблем с зависимостями + все контейнеры оптимизированы под окружения в зависимости от задач: под GPU для обучения, под CPU/GPU для инференса и даже для получения эмбеддингов. Уже есть куча кейс-примеров в репозитории. А все доступные контейнеры лежат тут. Все опенсорс, и разработчики обещают активно поддерживать и развивать проект. Напоминаем, что Google Claude в России продолжает работать и отключать его не собираются, так что налетайте 🐳

ТОП-профессия у работодателей сразу после айтишников — аналитик Искусственный интеллект, большие данные, нейросети — самый сок технологий собрался в сфере аналитики и Data Science. При этом в профессию нередко идут бывшие «гуманитарии». Разобраться в сфере, направлениях, рабочих задачах и даже написать свой первый SQL-запрос можно на бесплатном курсе Нетологии «Профессии в аналитике: что выбрать». За 4 занятия вы узнаете: - Как работает наука о данных — что такое Big Data, искусственный интеллект, машинное обучение. - Какие инструменты используют аналитики, попробуете написать свой первый код. - Какие задачи решают разные специалисты, разберёте примеры. - Как стартовать в аналитике, даже с нуля. Обо всём этом простым языком расскажут преподаватели со стажем. Начните учиться бесплатно — https://netolo.gy/dpDF Реклама. ООО "Нетология". Erid 2VSb5x7MBfW

Он готовился писать промпты

Генерация комментариев к коммитам от Андрея Карпаты Еще один крутой пет-проект этих выходных. Андрей увидел в Твиттере мем и решил, что надо бы исправлять ситуацию: сел и написал утилиту, которая с помощью gpt4o-mini сама посмотрит на ваш diff и сгенерирует git commit message. Простой функционал позволит в случае чего перегенерировать или изменить сообщение. И все в одном файле .sh! Учимся у Андрея правильно реагировать на мемы

Production ML: как настроить GPU-ноды в кластерах Kubernetes?   29 августа в 16:00 Selectel проведет практический воркшоп, на котором покажут, как запустить ML-сервис в Kubernetes – подготовить кластер, настроить драйверы на GPU-нодах и запустить автоскейлинг.   На вебинаре рассмотрим особенности работы с кластерами Kubernetes c GPU, настройку драйверов на GPU-нодах и масштабирование нагрузки в продакшене ML-сервисов. Обсудим практические кейсы использования GPU-нод в кластерах Kubernetes от клиентов Selectel.   Мероприятие бесплатное. Посмотреть программу вебинара и зарегистрироваться по ссылке: https://slc.tl/7h7z1 Реклама АО «Селектел». ИНН: 7810962785 Erid: 2VtzquWXJrx