Machine learning Interview

🚀 Релиз от NVIDIA: Llama-Nemotron-Ultra 253B! Llama-Nemotron-Ultra — модель с 253B параметрами, специально заточенная под задачи reasoning . 📦 Что внутри: - LLaMA 405B, радикально преобразованная с помощью NAS pruning - Пост-тренинг с фокусом на reasoning: SFT + RL - Вычисления в FP8 для производительности без потери качества - Open weights + открытые данные 🧠 Подходит для сложных задач рассуждения, настройки под кастомные пайплайны и исследований в области AGI. 🔗 Попробовать: https://huggingface.co/nvidia/Llama-3_1-Nemotron-Ultra-253B-v1 #LLM #NVIDIA #OpenWeights #Reasoning #RLHF #FP8 #AIresearch #HuggingFace

📕 Андрей Карпаты опубликовал новый пост- необычный путь распространения LLM, их влияние на людей и организации, причины разрыва и взгляд в будущее. В нем он анализирует необычное распространение больших языковых моделей (LLM). Вот его содержание: В отличие от традиционных технологий, которые обычно проходят путь от государственных и военных структур через корпорации к индивидуальным пользователям, LLM сразу стали широко доступны обычным людям. Это позволило моделям значительно расширить свои возможности в таких областях, как программирование, анализ данных и создание контента, без необходимости привлекать узких специалистов. ChatGPT — самое быстрорастущее приложение в истории, у него 400 миллионов активных пользователей в неделю. Люди используют его для написания текстов, программирования, перевода, обучения, анализа, исследований и генерации идей Это не просто улучшение жизни— это мощный бустер возможностей человека. И барьер для входа использования LLM невероятно низкий: модели бесплатны или дешевы, быстры, доступны всем через API или локально, и говорят на любом языке, включая сленг и эмодзи. Никогда еще человек не получал такого технологического скачка так быстро. Почему же эффект для корпораций и государственных институтов не такой весомый? Во-первых, LLM дают "квази-экспертные" знания: широкие, но неглубокие и ненадежные. Для организаций, где уже есть эксперты (инженеры, юристы, аналитики), это лишь слегка повышает эффективность. А вот для человека, который обычно эксперт лишь в одном, LLM открывают новые горизонты: программировать, разбираться в юриспруденции, анализировать данные или создавать контент — все это теперь возможно без посторонней помощи. Во-вторых, организации решают более сложные задачи: интеграции, устаревшие системы, безопасность, регуляции, координация. Ошибки LLM тут куда опаснее — "вайб кодить" не выйдет. В-третьих, есть инерция: бюрократия, культура компаний, переобучение — все это тормозит внедрение. Пока LLM радикально меняют жизнь людей, а не организаций. Мэри, Джим и Джо получают больше, чем Google или правительство США. Но что дальше? Если топовые модели станут сильно дороже и лучше, крупные игроки смогут "купить интеллект", и элита снова уйдет в отрыв. Сегодня Билл Гейтс использует тот же GPT-4o, что и вы, но завтра его ребенок может учиться у GPT-8-pro-max, а ваш — у GPT-6-mini. Сейчас мы находимся в уникальном моменте: будущее уже здесь, и технологии удивительно равномерно распределены. Будущее тут, и оно доступно для всех. Власть людям! 🔗 Оригинал @ai_machinelearning_big_data #AndrejKarpathy #influencer

Российская языковая модель A-Vibe от Авито возглавила рейтинг легких ИИ-решений (до 10 млрд параметров) в независимом бенчмарке MERA. Разработка команды классифайда обошла признанных зарубежных конкурентов — GPT-4o mini от OpenAI, Gemma 3 27B от Google, Claude 3.5 Haiku от Anthropic и Mistral Large. Модель демонстрирует впечатляющие результаты работы с русским языком. В тестах генерации кода A-Vibe показала результат на 25% лучше, чем Gemini 1.5. При ведении диалогов она оказалась на 32% точнее Llama 3.1. А в анализе смысла текста превзошла Claude 3.5 Haiku на 23%. Технические возможности A-Vibe позволяют ей одновременно обрабатывать до 32 тысяч токенов контекста. Это дает модели серьезное преимущество при работе с объемными документами и поддержании длительных осмысленных диалогов. Уже сегодня технология активно используется в сервисах Авито, помогая продавцам создавать качественные описания товаров и ускоряя коммуникацию в мессенджере платформы. «Первое место доказывает, что оптимизированная архитектура и качественные данные могут обеспечить отличные результаты даже при небольшом размере модели. A-Vibe создавалось оптимальной по соотношению между качеством, скоростью работы и затратой ресурсов. Такой баланс позволяет обеспечивать быструю обработку запросов даже в периоды пиковой нагрузки и масштабировать технологию на всю аудиторию платформы», — отметил Андрей Рыбинцев, старший директор по данным и аналитике Авито. До конца года Авито внедрит в свою нейросеть еще 20 сценариев, а в будущем может сделать ее общедоступной. Познакомиться с рейтингом можно на сайте MERA. В фильтре «Размер модели» выберите «≥5B — 10B», чтобы получить рейтинг среди небольших моделей. Цифры Human Benchmark — это результат тестирования реальных людей.

🔥 «Упражнения по машинному обучению» В этой книге более 75 упражнений. И она абсолютно БЕСПЛАТНА. 🔗 Книга 🔗 GitHub @machinelearning_interview

⚡️ Implement minimal-GPT from scratch. MinimalGPT — это небольшое учебное пособие (гайд), в котором демонстрируется «упрощённая» реализация архитектуры GPT. На странице раскрываются основные принципы работы модели и приводится минимально необходимый код для её запуска. Основная идея заключается в том, чтобы показать, как устроена GPT‑модель на базовом уровне, без избыточного усложнения и обилия вспомогательных библиотек. Внутри гайда обычно можно найти: ▪ Описание основных слоёв GPT (внимание, Feed-Forward блоки и т.д.) ▪ Минимальные примеры кода (часто на Python с использованием PyTorch или аналогичных фреймворков) ▪ Краткие пояснения к каждому этапу (инициализация слоёв, механизм attention, обучение/инференс) ▪ Рекомендации по расширению и дальнейшему совершенствованию кода Таким образом, MinimalGPT служит отправной точкой для понимания того, как работает GPT, и даёт возможность собрать простейшую версию модели своими руками. 🔗 Читать @machinelearning_books

🦙 Встречайте, дамы и господа, LLaMA 4: мультимодальные MoE модели! Llama 4 Omni разработана для понимания и обработки информации модальностей, а не только текста. Доступна в 3х вариантах: Llama 4 Scout и Llama 4 Maverick и анонсированный Llama 4 Behemoth. У Llama 4 Scout (109B) контекстное окно размером 10 М, 17B активных параметров, 16 экспертов, может быть запущена на 1ом GPU! Llama 4 Maverick (400B) окно в 1M, 128 экспертов, 17B активных параметров. У зверюги бегемота обещают окно в 2T!!! 16 экспертов, 288B активных параметров. Сейчас выпущены только Scout и Maverick. - Model Card - Веса - Релиз @ai_machinelearning_big_data

✔️ Google запускает функцию 'Discover Sources' в NotebookLM. Google представила новую функцию "Discover Sources" для сервиса NotebookLM, позволяющую пользователям искать в Интернете релевантную информацию по запросу. Она позволяет задать целевую тему, после чего NotebookLM формирует коллекцию из 10 релевантных источников со всего интернета. Discover Sources доступно для всех пользователей. Оно расширяет функциональность NotebookLM, интегрируя веб-поиск непосредственно в проекты пользователя. 📌 blog.google @machinelearning_interview

✔️ ECLECTIC: взгляд Google на то, как LLM понимают разные языки Исследователи из Google Research представили ECLeKTic — новый бенчмарк, предназначенный для оценки способности больших языковых моделей (LLM) переносить знания между языками. Исследование направлено на выявление того, насколько эффективно модели могут применять информацию, полученную на одном языке, для решения задач на другом.​ Бенчмарк включает вопросы, сформулированные на одном языке, ответы на которые содержатся в соответствующих статьях Википедии. Эти вопросы затем переводятся на другие языки, для которых аналогичных статей нет. Таким образом, модели должны демонстрировать способность извлекать и применять знания, отсутствующие в целевом языке.​ Оценка моделей: Испытания восьми современных LLM показали, что даже передовые модели испытывают трудности с межъязыковым переносом знаний. Это подчеркивает необходимость дальнейших исследований и улучшений в этой области.​ Вместо простых вопросов используются тесты с множественным выбором, где неправильные ответы (дистракторы) специально сделаны очень похожими на правильный и правдоподобными. Чтобы выбрать верный вариант, модели нужно действительно понять нюансы на целевом языке, а не угадывать. Минимизация "артефактов перевода": Вопросы тщательно создавались экспертами на 10 различных языках (включая арабский, хинди, японский, русский и др.). Они адаптированы культурно и лингвистически так, чтобы стратегия "перевести-решить-перевести обратно" работала плохо. ECLECTIC – сложный тест: Он выявляет слабости в понимании, которые могут быть не видны на других бенчмарках. 🌟 Лучшие результаты у Gemini 2.5 Pro: до 52,6% общего успеха и 77,0% коэффициента удачного переноса знаний. ​ В отличие от OpenAI Google на своих же бенчмаркх занимают первые места 😂 Результаты показывают, что текущим LLM еще предстоит улучшить способность по-настоящему переносить и применять знания между языками. 🟡Подробнее 🟡Paper @ai_machinelearning_big_data #AI #ml #google #benchmark

Растите сильную команду. Топ-5 курсов Яндекс Практикума для IT 👾 Технологии меняются каждый день — проверено Яндексом. Мы ощущаем перемены на своих проектах. Постоянные вызовы, новые инструменты, штормы на рынках. Знаем, как важно, чтобы команда быстро развивалась и адаптировалась к изменениям. Поэтому создаём актуальное обучение, которое соответствует реальным задачам IT-сферы. Нам доверяют: 5000+ компаний уже обучили 36 000+ сотрудников в Яндекс Практикуме. 👉 Вот топ-5 курсов, которые выбирали компании для развития IT-команд в 2025 году: — SQL для работы с данными и аналитики — DevOps для эксплуатации и разработки — Python-разработчик — Архитектура программного обеспечения — Управление командой разработки — Навыки аргументации 👉Подобрать курс Реклама, АНО ДПО “Образовательные технологии Яндекса”, ИНН 7704282033, erid: 2VtzqvjtMhs

🖥 Топ 17 GitHub-репозиториев для изучения Python: 1. 30-Days-Of-Python — 30-дневный челлендж по основам Python. 2. Python Basics — азы Python для новичков, просто и с примерами. 3. Learn Python — справочник с кодом, пояснениями и практикой. 4. Python Guide — гайд по практикам, инструментам и сложным темам. 5. Learn Python 3 — руководство по Python 3 с практикой для начинающих. 6. Python Programming Exercises — 100+ задач по Python. 7. Coding Problems — алгоритмы и структуры данных для собесов. 8. Project-Based-Learning — Python через реальные проекты. 9. Projects — идеи проектов для прокачки навыков. 10. 100-Days-Of-ML-Code — ML на Python шаг за шагом. 11. TheAlgorithms/Python — алгоритмы и структуры данных на Python. 12. Amazing-Python-Scripts — полезные скрипты: от утилит до автоматизации. 13. Geekcomputers/Python — скрипты для сети, файлов и задач. 14. Materials — код и проекты от Real Python. 15. Awesome Python — топ фреймворков, библиотек и ресурсов. 16. 30-Seconds-of-Python — короткие сниппеты для быстрых решений. 17. Python Reference — скрипты, туториалы и лайфхаки. #python #github #learning

🤖 Освойте продвинутые методы NLP и работайте с LLM на высоком уровне Хотите разбираться в архитектуре LLM, дообучать модели под свои задачи и применять самые передовые NLP-методы? Курс «NLP. Advanced» научит вас работать с трансформерными моделями, адаптировать GPT, BERT, LangChain и RAG под реальные бизнес-кейсы, а также развертывать AI-решения. Вы освоите передовые методики машинного обучения для NLP, получите опыт работы с cutting-edge технологиями и расширите карьерные перспективы. 🎁 Успейте записаться до старта курса и получите скидку до 15% по промокоду nlp_adv5 ➡️ Оставьте заявку прямо сейчас и присоединяйтесь к группе: https://otus.pw/KzgT/ #реклама О рекламодателе

📚 Prompt-in-context-learning — это открытый проект от EgoAlpha Lab, собирающий актуальные методики работы с LLM, превращая разрозненные знания в структурированную систему. Здесь вы найдете множество интересных проверенных техник— от базовых промтов до продвинутых стратегий in-context learning. 📌 Репозиторий включает не только теоретические работы по prompt engineering, но и готовые примеры для ежедневных задач: от генерации кода до анализа данных. Материалы обновляются ежедневно, включая свежие исследования и кейсы из реальных проектов. 🤖 GitHub @machinelearning_interview

🦾 Курс искусственный интеллект (ML) в медицине Научитесь создавать качественные мультимодальные медицинские датасеты и осуществлять техническую поддержку разметки данных Ориентирйтесь в зоопарке современных подходов к машинному обучению и умейте анализировать результаты машинного обучения ✅ Выпускной проект: Разработка и внедрение модели от появления данных и размеченных датасетов до машинного обучения, анализа результатов и выбора моделей.  👇 Проверить свой уровень и пройти тест на курс:  https://otus.pw/eSBA/?erid=2W5zFJho1HJ #реклама О рекламодателе

🕊️ Hummingbird — инструмент от Microsoft, позволяющий преобразовывать классические ML алгоритмы в тензорные вычисления. 📝 Как это работает? — Суть в том, что вместо привычного последовательного выполнения условий в деревьях Hummingbird использует матричные операции, что открывает доступ к GPU-ускорению и оптимизациям нейросетевых движков. При этом API остаётся знакомым любому, кто работал с scikit-learn — можно просто подменить модель без переписывания кода инференса. Пока проект поддерживает не все алгоритмы, но уже охватывает ключевые сценарии ⚙️ 🤖 GitHub @machinelearning_interview

✔️ Qwen3, по слухам, будет представлена на следующей неделе. Китайский медиапортал Sina.com.cn сообщил, что в его распоряжении есть информация, указывающая на то, что Alibaba Group планирует выпуск новой модели Qwen3 следующей неделе (7- 11 апреля). По словам экспертов медиаресурса Huxiu.com , это будет самый важный модельный продукт Alibaba в первой половине 2025 года, после выпуска DeepSeek-R1 команда Alibaba Cloud Basic Model Team еще больше сместила вектор разработки в сторону способности модели к рассуждениям. Sina Technology обратилась за подтверждением к Alibaba Cloud, но на момент публикации официального ответа не последовало. sina.com.cn ✔️ Microsoft закрывает ИИ-лабораторию в Шанхае. Microsoft свернула работу своей лаборатории IoT и ИИ в технологическом кластере Чжанцзян (Шанхай), следуя стратегии сокращения присутствия в Китае. Объект, открытый в 2019 году для поддержки местных стартапов уже опустел: логотип демонтирован, оборудование вывезено. За 5 лет лаборатория помогла реализовать 258 проектов, привлекла 9,4 млрд юаней инвестиций и обучила около 10 тыс. специалистов. Решение закрыть центр стало частью плана ухода Microsoft с китайского рынка. В 2023 году компания предложила сотрудникам, работающим над ИИ, переехать за рубеж, а также закрыла все розничные магазины в стране. По словам президента Microsoft Брэда Смита, на Китай приходится всего 1,5% глобальной выручки. scmp.com ✔️ Руководитель отдела исследований FAIR Жоэль Пино покинет свой пост в мае. Жоэль Пино, вице-президент по исследованиям в области ИИ компании Марка Цукерберга и глава группы FAIR, объявила о своих планах покинуть компанию в мае после почти 8 лет работы. Пино возглавляла FAIR с начала 2023 года и курировала разработку моделей Llama. Ожидается, что уход Пино приведет к появлению вакансии высокого уровня в подразделении ИИ компании, но непосредственный преемник пока не назван. wsj.com ✔️ Все SOTA-модели провалились на матолимпиаде-2025. Тесты топовых LLM, проведенные matharena.ai на сложных задачах математической олимпиады США (USAMO-2025) показали печальные результаты. Модели решали 6 доказательных задач — каждая оценивалась в 7 баллов, высший балл - 42. Лидеры теста (DeepSeek-R1 и Gemini-2.0-flash-thinking) набрали меньше 5%, что ставит под сомнение их способность к глубокому математическому анализу. Несмотря на провал, часть специалистов уверена — прогресс LLM в математике всё же есть, и он не сводится к «загрязнению» данных. Исследование, в рамка которого проводилось тестирование - «Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad» подытоживает: LLM, даже лучшим, пока далеко до уровня человека в соревновательных дисциплинах. matharena.ai ✔️ OpenAI представила новый голос ChatGPT "Shade". OpenAI добавила новую голосовую опцию для ChatGPT под кодовым названием "Shade". Этот голос, описанный как "Поговори с понедельником", имеет характерную визуализацию "угрюмого черного" в расширенном голосовом режиме. Новая опция доступна в приложении для iOS, и пользователи отмечают его уникальное звучание и эстетику "тяжелого понедельника". OpenAI в X (ex-Twitter) @ai_machinelearning_big_data #news #ai #ml

⚡️ Проект llama-3.2-from-scratch, созданный пользователем rasbt (Себастьян Рашка), представляет собой реализацию модели Llama 3.2 на языке PyTorch с нуля. Цель проекта — предоставить понятный и минималистичный код для изучения и исследования архитектуры больших языковых моделей (LLM).​ Основные особенности проекта: - Простота и доступность кода: Реализация оптимизирована для читаемости, что делает её подходящей для образовательных целей и исследований.​ - Минимальные зависимости: Для работы требуются только библиотеки torch, tiktoken и blobfile, что упрощает установку и использование.​ - Предоставление предобученных весов: В репозитории доступны веса моделей, конвертированные из официальных весов, предоставленных компанией Meta. Это позволяет пользователям сразу приступить к экспериментам без необходимости обучать модели с нуля.​ - Гибкость в выборе моделей: Поддерживаются различные версии моделей Llama 3.2, включая базовые и инструкционные варианты с 1 и 3 миллиардами параметров.​ - Примеры использования: Включены примеры кода для загрузки моделей, настройки токенизатора и генерации текста, что облегчает начало работы с проектом.​ Важно отметить, что предоставленные веса моделей были конвертированы из официальных весов Meta. Для получения оригинальных весов и информации о лицензии рекомендуется обратиться к официальным репозиториям Meta на Hugging Face.​ В целом, llama-3.2-from-scratch — это ценный ресурс для разработчиков и исследователей, желающих глубже понять внутреннее устройство современных языковых моделей и экспериментировать с их архитектурой. https://huggingface.co/rasbt/llama-3.2-from-scratch @machinelearning_interview

⚡️Анализируем продажи на маркетплейсах с помощью Python С каждым днем все больше бизнесов выходят на маркетплейсы, а значит еще более ценными становятся аналитики, которые умеют с ними работать. Хотите научиться использовать Python для анализа продаж и создания эффективных стратегий? Андрон Алексанян - CEO Simulative в прямом эфире проанализирует продажи на маркетплейсах с помощью Python. Никаких первоапрельских розыгрышей, только полезные знания! 🧡 Что будем делать: 🟠Напишем скрипт на Python, который каждый час собирает статистику о ранжировании карточки на WB по ключевым запросам; 🟠Построим наглядные визуализации для отслеживания динамики ранжирования; 🟠Обсудим, как упаковать этот проект в идеальное портфолио. 🕗 Встречаемся 01 апреля 18:30 по МСК 😶Зарегистрироваться на бесплатный вебинар

📹 Топ-15 технических YouTube-каналов для изучения ИИ с нуля: 1) Andrej Karpathy — сочетание общего и технического контента, плейлист "Zero to Hero" обязателен к просмотру 2) Uproger — доступные уроки по программированию и ИИ, идеально для начинающих и тех, кто хочет углубить свои знания. 3) Umar Jamil — технический блог, где автор реализует методы ML и LLM с нуля 4) Simon Oz — технические видео по низкоуровневому машинному обучению 5) Tunadorable — отличные обзоры научных статей, реализация 6) GPU Mode — технические интервью и разборы всего, что связано с GPU 7) AI Jason — эксперименты с ИИ, дизайн ПО и новые модели, с понятным и полным разбором. 8) Ferdinand Mom — всё о распределённом обучении и выводах 9) Welch Labs — уникальный глубокий взгляд на комплексность алгоритмов машинного обучения. 10) Artem Kirsanov — нейронаука и машинное обучение с необычного авторского взгляда + отличная визуализация контента. 11) David Ondrej — новые модели, создание приложений с ИИ, практично для разработчиков https://t.co/BEOr0MgHag @DavidOndrej1 12) 3Blue1Brown Потрясающие визуализации, которые делают абстрактные математические концепции понятными и интуитивными. 13) Lex Fridman Глубокие беседы с лидерами индустрии ИИ, позволяющие получить широкий взгляд на современные тенденции. 14) Machine Learning Street Talk Технические погружения и обсуждения с ведущими исследователями в области ИИ и машинного обучения. Ссылка: 15) StatQuest with Joshua Starmer PhD Доступные и понятные объяснения основ машинного обучения и статистики для начинающих. Этот список для технической аудитории. Очень сложно выбрать всего 15 каналов, ведь есть множество других, создающих отличный контент. Если знаете ещё каналы, дайте пишите в комментариях! @machinelearning_interview

🔥 Пошаговый гайд создания системы автоматического распознавания речи с помощью PyTorch и Hugging Face С эти гайдом вы сможете: - Загружать и обрабатывать речь данные - Настраивать предварительно обученную модель Wav2Vec2 - Оценивать производительность модели с помощью коэффициента ошибок слов (WER) - Развертывать модель для перевода речи в текст в режиме реального времени 🔗 Читать

🖥 Подготовка к собеседованию на Python разработчика: нашел сборник самых частых вопросов с ответами и примерами кода. Это квинтэссенция примеров кода и паттернов, охватывающая 99% возможных вопросов на собеседовании. Шпаргалка объемная, время чтения - 96 минут. На русском языке. 🟢Github 🟢Видео 🟢Полный список @machinelearning_interview