Machine learning Interview

🧠 Современные методы статистической теории в машинном обучении - Видео - Colab - Полный курс @machinelearning_interview

✔️ Native Sparse Attention - революция в механизмах внимания от Deepseek. NSA (Natively Sparse Attention) — новый механизм внимания, предложенный на заменуFull Attention, который значительно ускоряет обработку длинных последовательностей текста без потери качества модели. NSA использует динамическую иерархическую стратегию, которая сочетает сжатие токенов на грубом уровне с точным отбором ключевых токенов. Это позволяет сохранить глобальное понимание контекста и локальную точность. NSA поддерживает сквозное обучение, совместим с GQA и MQA, что делает его пригодным не только для инференса, но и для обучения. Модели, обученные с использованием NSA показали 9х ускорение при прямом распространении и 6х при обратном для последовательностей длиной 64к токенов относительно Full Attention. В декодировании - 11х. arxiv.org @machinelearning_interview

✔ MoBA: Mixture of Block Attention for Long-Context LLMs представляет собой революционное решение для обработки длинных контекстов в языковых моделях. Вот что в нём интересно: • Инновационная архитектура: - Блочное разреженная внимание: Полный контекст делится на блоки, и каждый токен учится выбирать наиболее релевантные блоки, что позволяет эффективно обрабатывать длинные последовательности. • Параметрически независимый механизм выбора: Внедрён механизм топ-k без дополнительных параметров, который автоматически переключается между полным и разреженным вниманием, что делает модель гибкой и адаптивной. • Эффективность и масштабируемость: MoBA обеспечивает значительное ускорение (например, 6.5x скорость при 1 млн входных токенов) без потери производительности, что особенно важно для задач с длинным контекстом. • Практическое применение: Модель уже доказала свою эффективность в продакшене и демонстрирует превосходное качество работы. Проект MoBA будет полезен всем, работающим над масштабированием LLMs и задачами с длинным контекстом, предоставляя эффективный и гибкий механизм внимания, который можно легко интегрировать в существующие системы. ▪ Github

🚀 Deep Seek представили NSA – инновационную Sparse Attention технологию для ультрабыстрого обучения и инференса с длинным контекстом! Основные детали: • Динамическая иерархическая разреженность – модель умело распределяет внимание, выделяя ключевые моменты в длинных последовательностях. • Грубое сжатие токенов – снижает объём обрабатываемых данных без потери важной информации. • Точный выбор токенов – сохраняет критически значимые детали для высокой точности. Благодаря оптимизации под современное железо NSA не только ускоряет инференс, но и снижает затраты на предобучение, при этом демонстрируя результаты, сравнимые или превосходящие Full Attention модели на общих тестах, задачах с длинным контекстом и инструктивном рассуждении. Подробности и технические детали в статье: https://arxiv.org/abs/2502.11089

🔥 FlashVideo — это проект, направленный на создание высококачественного видео с использованием эффективных методов генерации! Проект включает две стадии: первая отвечает за генерацию видео с разрешением 270p, вторая — за улучшение качества до 1080p. 🔐 Лицензия: Apache-2.0 🖥 Github

📊 Бесплатный вебинар для тех, кто хочет освоить машинное обучение с нуля! Присоединяйтесь к практическому уроку «Задача регрессии в ML на пальцах» от OTUS. В прямом эфире обсудим один из ключевых методов машинного обучения — регрессионный анализ. На вебинаре вы: - познакомитесь с таким классом задач, как регрессия - детально изучите один из базовых алгоритмов машинного обучения — линейную регрессию - научитесь применять линейную регрессию на практике - сможете задать вопросы по Data Science 📅 Занятие пройдет 26 февраля в 20:00 мск. Все участники вебинара получат скидку на курс «Специализация Machine Learning»: С нуля до Middle ML инженера (Data Scientist) за 11 месяцев. Успейте занять место на бесплатном вебинаре: https://otus.pw/nOzP/?erid=2W5zFJ2m6Wk Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🌟 DeepSearcher: ИИ-комбайн для ваших данных. Проект объединяет использование LLM, векторные базы данных для выполнения задач поиска, оценки, ризонинга на основе предоставленных данных (файлы, текст, источники). Позиционируется разработчиками как инструмент для управления знаниями предприятия, интеллектуальных QA-систем и сценариев поиска информации. DeepSearcher умеет использовать при необходимости информацию из интернета, совместим с векторными базами Milvus и их сервис-провайдером Zilliz Cloud, эмбедингами Pymilvus, OpenAI и VoyageAI. Есть возможность подключения LLM DeepSeek и OpenAI по API напрямую или через TogetherAI и SiliconFlow. Поддерживается локальная загрузка файлов, подключение веб-краулеров FireCrawl, Crawl4AI и Jina Reader. В ближайших планах - добавление возможности веб-клиппера, расширение списка поддерживаемых векторных баз, создание RESTful API интерфейса. ▶️ Локальная установка и запуск:

# Clone the repository
git clone https://github.com/zilliztech/deep-searcher.git

# Create a Python venv
python3 -m venv .venv
source .venv/bin/activate

# Install dependencies
cd deep-searcher 
pip install -e .

# Quick start demo
from deepsearcher.configuration import Configuration, init_config
from deepsearcher.online_query import query

config = Configuration()

# Customize your config here
config.set_provider_config("llm", "OpenAI", {"model": "gpt-4o-mini"})
init_config(config = config)

# Load your local data
from deepsearcher.offline_loading import load_from_local_files
load_from_local_files(paths_or_directory=your_local_path)

# (Optional) Load from web crawling (`FIRECRAWL_API_KEY` env variable required)
from deepsearcher.offline_loading import load_from_website
load_from_website(urls=website_url)

# Query
result = query("Write a report about xxx.") # Your question here

📌Лицензирование: Apache 2.0 License. 🖥GitHub @ai_machinelearning_big_data #AI #ML #Agents #DeepSearcher

🌟 DeepSearcher: ИИ-комбайн для ваших данных. Проект объединяет использование LLM, векторные базы данных для выполнения задач поиска, оценки, ризонинга на основе предоставленных данных (файлы, текст, источники). Позиционируется разработчиками как инструмент для управления знаниями предприятия, интеллектуальных QA-систем и сценариев поиска информации. DeepSearcher умеет использовать при необходимости информацию из интернета, совместим с векторными базами Milvus и их сервис-провайдером Zilliz Cloud, эмбедингами Pymilvus, OpenAI и VoyageAI. Есть возможность подключения LLM DeepSeek и OpenAI по API напрямую или через TogetherAI и SiliconFlow. Поддерживается локальная загрузка файлов, подключение веб-краулеров FireCrawl, Crawl4AI и Jina Reader. В ближайших планах - добавление возможности веб-клиппера, расширение списка поддерживаемых векторных баз, создание RESTful API интерфейса. ▶️ Локальная установка и запуск:

# Clone the repository
git clone https://github.com/zilliztech/deep-searcher.git

# Create a Python venv
python3 -m venv .venv
source .venv/bin/activate

# Install dependencies
cd deep-searcher 
pip install -e .

# Quick start demo
from deepsearcher.configuration import Configuration, init_config
from deepsearcher.online_query import query

config = Configuration()

# Customize your config here
config.set_provider_config("llm", "OpenAI", {"model": "gpt-4o-mini"})
init_config(config = config)

# Load your local data
from deepsearcher.offline_loading import load_from_local_files
load_from_local_files(paths_or_directory=your_local_path)

# (Optional) Load from web crawling (`FIRECRAWL_API_KEY` env variable required)
from deepsearcher.offline_loading import load_from_website
load_from_website(urls=website_url)

# Query
result = query("Write a report about xxx.") # Your question here

📌Лицензирование: Apache 2.0 License. 🖥GitHub @ai_machinelearning_big_data #AI #ML #Agents #DeepSearcher

🔥 Micro Agent — это инструмент командной строки, который использует возможности искусственного интеллекта для автоматической генерации и исправления кода! 💡 Его основная задача — создавать тесты и писать код, соответствующий этим тестам, обеспечивая разработчикам эффективный и надежный процесс разработки. 🔐 Лицензия: MIT 🖥 Github

Хочешь обучить нейронку, но не хватает локальных мощностей? На новую видеокарту не хватает денег? Зачем покупать, когда можно арендовать!  immers.cloud — это облачный сервис, предоставляющий доступ к мощным видеокартам для самых различных задач. 💰 Экономия: тарифы от 23 рублей/час, оплата только за фактическое время использования ⚡️ Быстрый старт: видеокарты и серверы готовы к работе за пару минут 📈 Гибкость и масштабирование до любой конфигурации: 11 видеокарт на выбор 🔧 Удобство:готовые образы для ML задач, чтобы не тратить время на настройку 🎁 Подготовили приятный бонус для тебя: +20% к пополнению баланса

⚡️ Разбор собеседования по машинному обучению в Озон 2025 https://uproger.com/razbor-sobesedovaniya-po-mashinnomu-obucheniyu-v-ozon-2025/ @machinelearning_interview

⭐️ Awesome-LLM-Synthetic-Data - курируемый список ресурсов, инструментов и исследований, связанных с использованием синтетических данных для больших языковых моделей (LLM). Чем полезен: - Централизованная база знаний: Вместо того чтобы самостоятельно искать статьи, библиотеки и исследования по синтетическим данным, здесь собрана готовая, структурированная подборка материалов. - Актуальные инструменты и методы: Репозиторий включает ссылки на инструменты для генерации синтетических данных, методы оценки их качества и примеры интеграции в пайплайны обучения LLM. Для практикующего специалиста это может стать источником идей для оптимизации процессов обучения и экспериментов с новыми методами. - Поддержка исследований и разработки: Если ваша работа связана с решением проблем, где реальных данных не хватает или данные зашумлены, использование синтетически данных может значительно улучшить результаты. Этот репозиторий поможет изучить современные подходы к генерации и использованию синтетических данных, что особенно актуально при разработке и тестировании новых моделей. ▪ Github @machinelearning_interview

🔥 Бесплатный курс от Microsoft «ИИ-агенты для начинающих» Курс содержит пошаговые инструкции с примерами кода, которые помогут научиться создавать автономных агентов с использованием машинного обучения. Фокус на AI-агентах: Если вас интересует именно разработка агентов — например, для симуляций, игр или интерактивных систем — данный курс будет полезен. Каждый урок включает в себя: - Лекцию, (видео уроки появятся в марте 2025 года) - Примеры кода на Python с поддержкой Azure AI Foundry и Github Models - Практические задания - Ссылки на полезные дополнительные ресурсы Если это ваш первый опыт работы с агентами, у Microsoft есть еще 1 курс «Генеративный ИИ для начинающих», который содержит 21 урок по построению моделей с помощью GenAI, лучше начать с него. Переведен на 9 различных языков (русского нет). ▪ Github @ai_machinelearning_big_data #course #Microsoft #aiagents #ai #ml #opensource #freecourse

🔥 LLM Reasoners — это библиотека с открытым исходным кодом, разработанная для улучшения способности больших языковых моделей выполнять сложные рассуждения с использованием передовых алгоритмов! Она рассматривает многошаговые рассуждения как процесс планирования и поиска оптимальной цепочки рассуждений, достигая баланса между исследованием и эксплуатацией с помощью концепций "Мировой модели" и "Вознаграждения". 🔎 Основные особенности LLM Reasoners: 🌟 Современные алгоритмы рассуждений: Библиотека предлагает новейшие алгоритмы поиска для рассуждений с LLM, такие как Reasoner Agent, масштабирование на этапе вывода с помощью PRM, рассуждение через планирование, MCTS, Tree-of-Thoughts и другие. 🌟 Интуитивная визуализация и интерпретация: LLM Reasoners предоставляет инструменты визуализации, помогающие пользователям понимать процесс рассуждений. Даже для сложных алгоритмов, таких как Монте-Карло Tree Search, пользователи могут легко диагностировать и понимать процесс с помощью одной строки кода на Python. 🌟 Эффективные рассуждения с LLM: Библиотека оптимизирует производительность передовых методов рассуждений, интегрируя SGLang, высокопроизводительную инфраструктуру вывода LLM, поддерживающую структурированную генерацию. Также поддерживаются другие бэкенды LLM, такие как Huggingface Transformers, OpenAI API, Exllama, Fairscale, Llama.cpp и другие. 🌟 Строгая реализация и воспроизводимость: LLM Reasoners уделяет приоритетное внимание точности и надежности своих реализаций, обеспечивая, что алгоритмы не являются лишь теоретическими концепциями, а практически применимыми инструментами. Все методы тщательно разработаны, чтобы соответствовать их оригинальным формулировкам и производительности. 🔐 Лицензия: Apache-2.0 🖥 Github

Евгений Разинков – преподаватель ML в Казанском университете с многолетним стажем, руководитель собственной команды ML-инженеров и автор популярного канала по машинному обучению на YouTube приглашает вас в свою AI-школу. Особенности: • теория и практика • акцент на самостоятельную реализацию архитектур с нуля • полное понимание того, что происходит внутри нейронной сети • архитектуры от сверточных нейронных сетей до трансформеров и языковых моделей. Регулярные живые QA-сессии, дружное комьюнити, а также компетишены, где можно будет посоревноваться (в командах и поодиночке) в решении ML задач. От вас: владение Python и знание основ классического ML (регрессия, классификация, градиентный спуск). Если классический ML не знаете - есть базовые курсы по ML. 7 месяцев, 4 курса: • AI: от основ до языковых моделей • Math for AI - необходимый математический бэкграунд • MLOps - всё про жизненный цикл модели, логирование, версионирование, docker • Decision making in AI - управление AI-проектом и стратегия В рамках Capstone Project вы с нуля реализуете и обучите небольшую языковую модель для генерации простых историй, а также выведете ее в продакшн. Полная стоимость за 7 месяцев (все 4 курса): • 112 000 рублей (единоразово) или • 17 000 рублей в месяц Если материалы вам не понравятся, мы вернем деньги за текущий оплаченный месяц (и последующие при единоразовой оплате)! Старт уже 17 февраля, скорее регистрируйтесь здесь! Еще больше подробностей о курсе ищите в видео и на странице с отзывами участников. Кстати, теоретические видео курса AI: от основ до трансформеров находятся в открытом доступе на канале Евгения! ООО «Лаборатория Евгения Разинкова», ИНН: 5043088023, erid: 2VtzqxKcuC1

🌟 Oumi: опенсорс-фреймворк полного цикла для LLM. Oumi - открытая платформа для разработки, файнтюна, оценки и экспериментов с языковыми и мультимодальными моделями, созданная совместными усилиями исследователей из 13 ведущих университетов. Oumi предоставляет инструменты и рабочие процессы для разработки и запуска масштабных экспериментов на кластере, развертывания моделей в рабочей среде и поддерживает методы распределенного обучения (FSDP, DDP): 🟢обучение и файнтюн моделей от 10M до 405B параметров методами SFT, LoRA, QLoRA и DPO; 🟢поддержку популярных семейств моделей: Llama, DeepSeek, Qwen и Phi; 🟢синтез и курирование обучающих данных с использованием LLM-judge; 🟢быстрое развертывание моделей в средах vLLM и SGLang; 🟢проведение комплексного бенчмаркинга моделей по стандартным тестам; 🟢возможность подключения по API OpenAI, Anthropic и Vertex AI; 🟢интеграция с библиотекой Transformers. В репозитории проекта собраны готовые ноутбуки и скрипты для каждого из этапов жизненного цикла моделей, а подробная документация по использованию поможет легко освоить эту платформу. 📌Лицензирование: Apache 2.0 License. 🟡Статья 🟡Документация 🟡Сообщество в Discord 🖥GitHub @ai_machinelearning_big_data #AI #ML #Oumi #Framework

✔ DeepHermes-3 Preview Новый LLM, который объединяет возможности логического рассуждения и интуитивного языка. Модель использует новые данные для рассуждений на основе Hermes 3 Datamix, позволяет включать или выключать длинные цепочки рассуждений, обеспечивая точность за счет большего времени на вычисления. Это большое преимущество перед другими моделями, так как дает гибкость в выборе требуемой точности, при этом экономя ресурсы, если цепочка рассуждений не нужна. ▪ DeepHermes-3 Preview. @machinelearning_interview

🎲 Теория вероятностей играет ключевую роль в машинном обучении, статистике и анализе данных. В этой статье мы разберем 12 задач, которые помогут лучше понять применение теории вероятностей на практике с использованием Python. ✔️ Читать статью

✔️ Perplexity AI представила новую ультрабыструю поисковую модель Sonar. Perplexity запустила обновленную версию поисковой модели Sonar, которая основана на Llama 3.3 70B и работает на мощностях от Cerebras Systems. Внутренние тесты, проведенные Perplexity показали, что Sonar превосходит GPT-4o mini и Claude 3.5 Haiku по удовлетворенности пользователей и сравнивается с GPT-4o и Claude 3.5 Sonnet в поисковых задачах. Cerebras Systems использует уникальные Wafer Scale Engines, позволяющие Sonar обрабатывать 1200 токенов в секунду, что дает почти мгновенные ответы. Доступ к Sonar ограничен для платных пользователей Pro, но Perplexity планирует сделать его более широко доступным в будущем. perplexity.ai @machinelearning_interview

✔️ Perplexity AI представила новую ультрабыструю поисковую модель Sonar. Perplexity запустила обновленную версию поисковой модели Sonar, которая основана на Llama 3.3 70B и работает на мощностях от Cerebras Systems. Внутренние тесты, проведенные Perplexity показали, что Sonar превосходит GPT-4o mini и Claude 3.5 Haiku по удовлетворенности пользователей и сравнивается с GPT-4o и Claude 3.5 Sonnet в поисковых задачах. Cerebras Systems использует уникальные Wafer Scale Engines, позволяющие Sonar обрабатывать 1200 токенов в секунду, что дает почти мгновенные ответы. Доступ к Sonar ограничен для платных пользователей Pro, но Perplexity планирует сделать его более широко доступным в будущем. perplexity.ai @machinelearning_interview