ML Baldini • Nikita Boyandin

Вот и 22) Сложно описать этот год словами, еще сложнее что-то загадывать в следующем(но я уже загадал)))). Главное, что у меня получилось собрать окружение тех людей, с которыми мне очень комфортно и на которых я могу положиться, так что не сбавляем обороты и кайфуем от жизни дальше❤️

Топ-15 сайтов для подготовке к собесу, когда до него осталось три дня😎 Сейчас очень много подборок ресурсов по подготовке к собесам, но часто, когда времени мало, ты не успеваешь пройти все темы. Поэтому ниже я подготовил свой топ-ресурсов, который будет полезен каждому: 1. Когда сказали, что на кодинге будет мл задачи 2. Быстрые вопросы про LLM и docker в виде карточек 3. Архитектура AI-агентов, когда нужно выделиться 4. Понимание процессов в команде и разработке(методичка от моего бро) 5. Как правильно выбирать компанию 6. Хендбук от яндекса по мл, самая лучшая теория 7. Кейсы по MLSD, которые точно спросят 8. Если совсем все забыл и теорию надо вспоминать с нуля 9. Все, что тебе нужно знать про промпты 10. Практика по коду, меняя душная, чем на leetcode 11. Деплой и лучшие практики 12. Самое визуальное обьяснение LLM 13. Лучшая статья про трансформеры 14. Как работают нейронные сети 15. Все, что нужно быстро вспомнить про вероятности 💗 - если нужно больше таких подборок

HARD SKILLS🫥 Сегодня разобрали, как использовать AI-агентов для закрытия задач в спринте😎 Автор поста: @ml_baldini #hardskills

Легендарный продукт NAASralli))) #Мем

Та самая ИП контора в Кипре😁

#ништяки 🍑 В поисках крутых инфоповодов и тем для моих постов я наткнулся на довольно крутой курс по всему ML, который включает в себя 260 уроков от линейной алгебры до сложных агентских взаимодействий, а также реально сложные вещи, как инфраструктура, KV-cache и методы квантизации, но главное он АБСОЛЮТНО бесплатный. Сайт курса: https://aiengineeringfromscratch.com/ Репозиторий курса: https://github.com/rohitg00/ai-engineering-from-scratch 💗 - почаще скидывать такие ништяки

Любой AI продукт

#memes

#Что_там с ML в формуле-1😎 За последние полтора года я вернулся в стаю ярых болельщиков формулы и отдельно madmax, до этого смотрел формулу с 2013 по 2016 года, но устал от донимации Мерседес и начал следить за биатлоном(привет-привет, донимация Фуркада). Кажется в конце 2025 можно было почти точно предсказать результат гонки исходя из конфигурации трассы, формы пилота и прогноза погоды, поэтому я нашел пайплайн системы предсказания результатов гонки. Параметры архитектуры: 1️⃣В качестве базового параметра используется детерминированный алгоритм расчета времени прохождения круга (градусы шин, уровень топлива, DRS, трафик). 2️⃣Модель остаточных значений LightGBM, обученная на исторических данных телеметрии FastF1 для коррекции изменений темпа, внедряется в процесс генерации профиля водителя перед выполнением моделирования методом Монте-Карло. 3️⃣Метод Монте-Карло с 10 000 итерациями, позволяющий получить распределения P10/P50/P90 для каждого гонщика в каждой гонке. 4️⃣Вспомогательный классификатор опасностей для автомобиля безопасности (для каждого круга), модулирующий вероятность срабатывания системы безопасности в симуляции. 5️⃣Версионирование функций в процессе разработки: возраст шин × состав резины, разница в результатах квалификации, вариативность сектора, частота активации DRS, коэффициент эволюции трассы, разница в погодных условиях. 6️⃣Оптимизатор стратегий работает с 400 итерациями (отдельно от основного механизма Монте-Карло), чтобы поддерживать приемлемое время отклика веб-сайта. Сам проект на гите: https://github.com/XVX-016/F1-PREDICT Сайт проекта: https://f1.tanmmay.me/#/simulation Кажется, было бы классно под новый регламент сделать более совершенную систему, в которой прикрутить агента с новостями и агента-стратега. 💗 - если было бы интересно

На злобу дня)

Какое самое вкусное место в Москве-Питер💗

Распознай, кто говорит, и выиграй 600 тысяч рублей! 💙 ИТ-компания «Криптонит» приглашаюет на ML-дататон «Криптонит».Тембр! ❗️Задача — разработать модель распознавания по голосу, устойчивую к искажениям аудиосигнала. Тебе предстоит обучить Speaker Recognition модель, устойчивую к искажениям аудио, возникающим в реальных сценариях эксплуатации речевых интерфейсов и систем обработки звука: 🔹искажения, вносимые акустической средой; 🔹посторонние шумы; 🔹реверберация; 🔹большое расстояние до микрофона; 🔹искажения каналов связи. Участвуй и ты сможешь: 🟦 получить шанс разделить призовой фонд в 600 000 рублей; 🟦разработать решения в области Audio/Speech ML; 🟦 прокачать скиллы в Speaker Recognition и Deep Learning. 👆 Регистрируйтесь до 10 апреля включительно!

Чем для меня отличается джун от тимлида и почему сеньоров будет сложно заменить ИИ👻 Раньше когда я себя спрашивал, как мне расти дальше, ответ был неизменным - тебе нужно улучшить или добавить какой-нибудь хард скилл. Но кажется с появлением сильных LLM, различных copilot и cursor все это изменилось в сторону абстракции над проектами. Сейчас постараюсь обьяснить: 1 ступень - джун: пилит отдельные функции. Контекст узкий: вот тикет, вот acceptance criteria, вот ревью. 2 ступень - мидл: берет на себя часть функционала. Есть декомпозиция задачи, но всякие агенты уже умеют это 3 ступень - сеньор: держит в голове весь проект. Он видит, как части связаны между собой, где технический долг превратится в проблему, и куда система движется через полгода. 4 ступень - тимлид: уже с абстракцией на команду. Люди, процессы, мотивация, связь с бизнесом, приоритеты, которые не записаны ни в одном Jira-тикете. Чем выше абстракция - тем больше решений завязано на контекст, который не влезает ни в один промпт. Стратегия, политика, доверие, интуиция о людях. И вот, что получается. Начиная с позиции senior, LLM тебя не может заменить, так как ей не хватает общего контекста(по крайней мере пока), а с позиции тимлида кажется ИИ не сможет выполнять обязанности, так как на первый план выходят человеские отношения, которые часто не обьяснимы логикой ИИ.

Как DS/ML за 9 месяцев вырасти на 30% в зарплате и выйти на еще более интересные проекты? Освойте Deep Learning. Голосовые помощники, распознавание лиц, рекомендации в приложениях, медицинская диагностика — нейросети используются уже во всех сферах бизнеса. Компании ищут DL-специалистов, чтобы точнее обучать и настраивать нейросети под свои запросы. За 9 месяцев вы изучите все актуальные модели последних лет и получите крепкую базу в DL, углубившись в каждое направление. Что вы освоите:

🟠Создание и обучение нейросетей с нуля 🟠Компьютерное зрение (Computer Vision) 🟠NLP (обработка текста) 🟠Генеративные модели 🟠MLOps и продакшн-подход

🕖 Залетайте скорее, количество мест на поток ограничено! Бронируйте место на курсе прямо сейчас и получите скидку 30% 😶ПОЛУЧИТЬ СКИДКУ НА КУРС

Обзор на "Найти ментора" В декабре я прочитал книгу "Найти ментора". Почему меня она так сильно заинтересовала эта книга💃 1. Я не совсем согласен, как позиционируют менторство сейчас 2. Многие люди, которые называют себя менторами также вызывают вопросы 3. Сама идея именно найти ментора, для меня является примерно тем же, как парни ищут отношения, а не пытаются развиваться Плюсы этой книги😎 1️⃣ Легко читается, хороший язык повествования 2️⃣ Много правильной мотивации, которая показывает реальные истории взаимодействия людей и их мотивы для помощи 3️⃣ В пух и прах разбивает 90 процентов людей, которые сейчас называют себя менторами, приводится четкое определение, которое разделяет менторство, наставничество и так далее Минусы этой книги😐 1️⃣ Все истории успеха взяты не из нашей страны и автор правильно подчеркивает, что менторство у нас не развито, так как капитал в России живет последние 35 лет и только сейчас вырастает первое поколение, которое реально может менторить. Также сами эти истории рассказаны как показатель взаимного успеха, но почему то никто не говорит, как они получили эти связи или что за ними стояло(например, история Дональда Трампа и Рой Кона) 2️⃣ Автор слишком идеализирует менторство, как будто только ментор способен вывести человека на новый уровень 3️⃣ Книга повторяет многие идеи из "Следующий уровень. Книга для тех, кто достиг своего потолка", поэтому нацелена на людей, которые уже достигли определённых успехов и находятся в состоянии стагнации и будет бесполезна для совсем начинающих 4️⃣ Несмотря на вроде бы четкий путь, для меня эта книга слишком общая, чтобы помочь большенству людей Мой итог😠 Я считаю, что мне со многими людьми повезло по жизни и сразу нескольких могу назвать менторами. Важно понимать, что менторство - это не панацея. Оно может быть мощным инструментом, но только в сочетании с личной инициативой и усилиями. Без собственной работы, осознания своих целей и регулярных шагов к их реализации даже лучший ментор не сможет вытащить человека из стагнации. Ментор - это скорее проводник, но не маг, который решит все проблемы за вас.(и тут оказывается, что в выводах я пересказал книгу на 300 страниц) Если вам нравится такие обзоры литературы, то обязательно ставьте лайки и подписываетесь на канал💗

Подготовка к секции MLSD💃 Для многих, кто в первых раз идет на интервью middle/senior ml, секция ml system design может показаться чем-то сложным и не понятным. Не переживайте, при качественной подготовке, вы получить не интервью в привычном понимании, а прикольный кейс, который проверит ваш опыт, знание инфраструктуры, подходы к решению мл задачи, но все-таки для этого у вас должен быть фундамент. 1️⃣ Разбейте весь системный дизайн по этапам Тут для меня 9 шагов: постановка бизнес проблемы(тут вы должны получить как можно больше информации от интервьера), метрики, компоненты архитектуры(MVP логика), хранение данные и ее подготовка, Feature Engineering, разработка модели и оффлайн тестирование, Prediction Service, онлайн тестирование и деплой, мониторинг и улучшения. Подбирайте для себя структуру до собеседования, чтобы не отвечать на лету. 2️⃣ Проработаете каждую задачу мл отдельно Кажется, что проектов и доменов достаточно много, но большенство из них можно описать внутри этих задач: рекомендательная система, поиск, ранговая система, NLP(чат-боты) и CV(OCR). Редко ваша задача будет другой и я советую подготовить каждую из них. 3️⃣ Поучите метрики, аб тесты В mlsd есть несколько тем, которые нужно доучить специально в mlsd: онлайн-метрики, аб тесты и неплохо еще знать uplift-моделирование. Это поможет вас выделить из толпы. 4️⃣ Подготовке пару кейсов по инфраструктуре Вам нужно понимать не только мл модель, но и как она будет функционировать на проде, а значит вы должны знать, что такое kuber, docker, s3, kafka и так далее. 5️⃣ Всегда думайте, как вы сможете улучшить ваше решение В конце интервью вас спросят, а как же вы улучшите вашу систему. Варианта два: либо вы говорите о системе заведомо чуть меньше, а потом упоминаете об этом, либо говорите о данных или инференсе, которые всегда можно улучшить 6️⃣ Проводите перекрестное мок-интервью Попросите кого то из друзей придумать кейс и с вами его решить и отвалидировать, так вам сразу будут видны ваши пробелы и вы сможете их закрыть перед собесом 7️⃣ Чем больше правильных вопросов вы сможете задать, чем проще вам будет проходить интервью Важно на первом этапе задать как можно больше вопросов про бизнес задачу и саму систему, потому что дальше хорошим тоном для команды будет то, что вы будете сами рассказывать все решение без их помощи. Обзательно перед собесом обязательно посмотрите кейсы, которыми занимается команда, часто именно их будут задавать и вы будете уже готовы💃 💗 - если хоть раз проходил секцию mlsd

Квантизация LLM(Часть 2) 3️⃣ GPTQ (обобщенное постобучающее квантование) GPTQ - это усовершенствованная техника постобработки данных, разработанная для достижения точности, близкой к точности QAT, с использованием только калибровочных данных. Она работает послойно, итеративно квантуя веса одного слоя и корректируя оставшиеся веса для компенсации ошибки квантования. Основная идея основана на решении задачи послойной реконструкции. Она направлена ​​на поиск квантованных весов которые минимизируют разницу между выходными данными квантованного слоя и исходного слоя FP32, используя входные активации из калибровочного набора: GPTQ использует информацию второго порядка (приблизительную матрицу Гессе) для более эффективного решения этой задачи оптимизации, чем более простые методы, что позволяет добиться точного квантования до 3 или 4 бит. 4️⃣ AWQ (квантование весов с учетом активации) AWQ - это ещё один сложный метод постобработки с квантизацией, который учитывает, что не все веса одинаково чувствительны к квантизации. Он показывает, что веса, связанные с большими значениями активации, оказывают непропорционально большое влияние на выходные данные модели. Квантизация этих «значимых» весов может привести к значительному снижению точности. Подход AWQ заключается в выявлении этих важных весовых коэффициентов путем анализа масштабов активации в калибровочном наборе данных. Затем он избирательно сохраняет точность этих важных весовых коэффициентов, применяя масштабирующий коэффициент для каждого канала. Это масштабирование эффективно уменьшает диапазон квантования для несущественных весовых коэффициентов, позволяя более точно представить существенные весовые коэффициенты в рамках ограниченного битового бюджета. 5️⃣ SpQR SpQR выводит сжатие на новый уровень, сочетая квантование с разреженностью. Он учитывает, что LLM-модели часто содержат сильно влияющие «выбросы» в своих весах или активациях, которые трудно точно квантовать с помощью стандартных методов. Агрессивное квантование этих выбросов может серьезно ухудшить производительность модели. SpQR решает эту проблему, выявляя выбросы (значения с большими значениями) и сохраняя их в формате с более высокой точностью (например, FP16), но используя разреженное представление. Оставшиеся, более многочисленные значения, не являющиеся выбросами, затем могут быть квантованы гораздо более агрессивно (например, до 3 или 4 бит) с минимальным влиянием. Этот гибридный подход направлен на достижение высоких коэффициентов сжатия за счет использования как разреженности (хранение только важных выбросов), так и низкобитного квантования (для основной части весов). Он требует тщательного управления разреженным форматом во время вывода, но может обеспечить значительное уменьшение размера модели при сохранении точности. Полезные ссылки 1️⃣ Базовое понимание от HugginFace про квантизацию и квантизацию LLM 2️⃣ Крутая статья на Хабре 3️⃣ Ну и статья на английском про все виды квантизации

Квантизация LLM(Часть 1) Две самых больных тем для меня в тех собесах по LLM - дообучение и квантизация LLM. Думаю с первой я еще разберусь, а вот со второй мы сегодня повозимся. Как мы храним числа в памяти компьютера ⚫️Целочисленные числа Целые числа представляются в памяти с помощью фиксированного количества битов. Количество битов, выделяемое для хранения числа, определяет диапазон значений, которые могут быть представлены этим числом. Пример:

INT8 (8 бит) может хранить значения от -128 до 127 (с учетом знака). INT16 (16 бит) может хранить значения от -32,768 до 32,767. INT32 (32 бита) может хранить значения от -2,147,483,648 до 2,147,483,647.

⚫️Вещественные числа Вещественные числа хранятся в памяти в формате с плавающей точкой. Это позволяет представлять числа с большой точностью и использовать их в вычислениях, где важно учитывать дробные части. Формат с плавающей точкой разделяет число на два компонента:

Мантиссу (основная значащая часть числа) Экспоненту (показатель степени, который указывает на положение десятичной точки)

Наиболее распространенные форматы с плавающей точкой:

FP32 (32 бита): используется 1 бит для знака, 8 бит для экспоненты и 23 бита для мантиссы. Это стандартный формат для хранения вещественных чисел в большинстве вычислительных операций. FP64 (64 бита): аналогичный, но с удлиненной мантиссой и экспонентой, что позволяет представлять числа с еще большей точностью.

Что такое квантизация и зачем она нужна Квантование - это процесс преобразования непрерывных значений или значений с высокой точностью в меньший набор дискретных значений с более низкой точностью. В контексте моделей глубокого обучения, особенно моделей с низкой точностью, это в первую очередь включает в себя уменьшение количества битов, используемых для представления весов и, часто, активаций. Типы квантизации 1️⃣ Посттренировочное квантование (PTQ) Постобучающее квантование применяется после полного обучения модели. Как правило, его реализация быстрее, поскольку не требует переобучения. Методы постобучения обычно требуют небольшого репрезентативного калибровочного набора данных. ⚫️Статический PTQ Статический PTQ квантует как веса, так и активации в автономном режиме. Он использует набор калибровочных данных для определения диапазона активаций, проходящих через различные слои модели. Эта информация используется для расчета соответствующих коэффициентов масштабирования и нулевых точек для активации, наряду с активациями для весов. ⚫️Динамический PTQ Динамический PTQ упрощает процесс, квантуя веса в автономном режиме, но определяя масштабирующие коэффициенты для активаций динамически во время вывода. Каждый тензор активации квантуется на лету на основе его наблюдаемого диапазона во время выполнения. Это позволяет избежать необходимости в калибровочном наборе данных, но вносит дополнительные затраты времени на вычисление коэффициентов масштабирования и квантование активаций во время каждого прямого прохода. 2️⃣ Обучение с учетом квантования (QAT) Обучение с учетом квантования имитирует эффекты квантования в процессе обучения или тонкой настройки модели. Оно вставляет в граф модели операции «фиктивного квантования». Эти операции имитируют эффекты округления и ограничения квантования во время прямого прохода, но позволяют градиентам проходить относительно беспрепятственно во время обратного прохода, часто с использованием сквозного оценщика (STE). Благодаря возможности адаптации модели к снижению точности в процессе обучения, QAT часто обеспечивает более высокую точность по сравнению с методами PTQ, особенно при квантовании до очень малых битовых ширин (например, INT4 или ниже). Основной недостаток заключается в увеличении сложности и вычислительных затрат, связанных с переобучением или тонкой настройкой модели.