Machine learning Interview

🌟 Xorbits — масштабируемый Python фреймворк для задач ML и DS, ориентированный на скорость Xorbits позволяет, к примеру, легко использовать данные для обучения генеративных моделей а также разворачивать обученные модели в своей инфраструктуре. Xorbits может использовать несколько ядер/GPU, может работать на 1 машине или масштабироваться до тысяч машин для поддержки обработки терабайтов данных. Xorbits предоставляет набор полезных библиотек для анализа данных и ML. 🖥 GitHub 🟡 Доки @machinelearning_interview

🔥Осваиваем алгоритмы обучения с подкреплением и получаем ценные навыки в ML! ⚡29 августа в 20:00 мск. приглашаем на открытый урок "Основные алгоритмы обучения с подкреплением SARSA и Q-learning", где мы разберём: - обучение с подкреплением и его отличия от других подходов ML; - функцию ценности состояния и ценности действия-состояния, их связь и как они помогают агенту учиться; - уравнение Беллмана; - метод SARSA;- метод Q-learning.  На практической части мы на Python, «с нуля», без использования каких-либо фреймворков, реализуем два алгоритма обучения с подкреплением и убедимся, что наш агент успешно обучается. 👉Регистрация https://otus.pw/q3nn/?erid=LjN8JyJVr Встречаемся в преддверии старта курса «Reinforcement Learning» в OTUS. Все участники вебинара получат специальную цену на обучение!

🌟 Упражнения в использовании R для ML Держите несколько практических заданий по ML и их решение на R. Вот некоторые из заданий: — кластеризация и классификация — работа с текстом — определение выбросов в датасете — проведение статистических тестов 🟡 ML exercises @machinelearning_interview

🌟 Инструмент для ускорения обучения LLM YaFSDP Алгоритм YaFSDP позволяет существенно ускорить процесс обучения больших языковых моделей. Руководитель группы претрейна YandexGPT рассказал, как команда работала над созданием библиотеки, были ли референсы и сложности в процессе. 📎 Ссылка @machinelearning_interview

⚡️ Mistral-NeMo-Minitron-8B-Base: Базовая Minitron 8B от Nvidia NVIDIA и Mistral AI представили модель Mistral-NeMo-Minitron 8B, одну из наиболее точных открытых моделей в своем классе для генерации текста. Mistral-NeMo-Minitron-8B-Base получена в результате обрезки (pruning) и дистилляции Mistral-NeMo 12B. В процессе создания была урезана размерность эмбеддинга и промежуточная размерность MLP (с 14336 до 11520). Комбинация применяемых методов позволила оставить количество attention heads и слоев неизменным. После обрезки было продолжено обучение с дистилляцией, используя корпус данных от Nemotron-4 15B размером 380 миллиардов токенов для получения окончательной модели, что примерно в 40 раз меньше, чем необходимо для тренировки модели такой же плотности с нуля. Корпус обучения (набор данных) по структуре точно такой же, как в недавно представленной другой модели, собранной по такой же методике обрезки и дистилляции. Дата актуальности корпуса обучения - июнь 2023 года. При создании Mistral-NeMo-Minitron 8B использованы техники Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE). Архитектурные характеристики: 🟢total params - 8B; 🟢active non-embedding params - 7.3B; 🟢embedding size - 4096; 🟢attention heads - 32; 🟢MLP intermediate dimension - 11520; 🟢number of layers - 40; 🟢input context - 8000. Поддержка Mistral-NeMo-Minitron-8B-Base в Hugging Face Transformers будет реализована в ближайшем обновлении. Для инференса модели выполните рекомендованные разработчиками инструкции или запустите модель в NeMo v.24.05 Есть неофициальные квантованные (imatrix) GGUF - версии модели в 8 разрядностях, от 1-bit (2. 12 Gb) до 16-bit (16.08 Gb). 📌Лицензирование : NVIDIA Open Model License. 🟡Страница проекта 🟡Модель 🟡Набор GGUF 🟡Arxiv 🟡Demo @ai_machinelearning_big_data #AI #NVIDIA #LLM #ML #Minitron

🌟 Создание технологии эмоционального синтеза в Алисе Читаем статью о том, как виртуального ассистента Яндекса Алису научили понимать и выражать голосом различные эмоции. Также Алиса может постепенно менять оттенки эмоций в рамках одного диалога с пользователем. Технология доступна в новой колонке Станции Лайт 2. Разработчики рассказали, как создавали подходящую для новых возможностей модель синтеза речи. 🟡 Хабр @machinelearning_interview

🤗 Hugging Face выпустили пошаговый гайд по созданию и обучению своей личной робо-руки. Компания Hugging Face опубликовала подробную инструкцию по созданию и обучению роботизированной руки. В ней подробно рассказывается, где приобрести необходимые компоненты, как настроить нейронную сеть, а также приведены лекции, иллюстрирующие процесс сборки. Крутой бесплатный курс - рекомендуем) @machinelearning_interview

📌MoE-модель с технологией MLA Компания DeepSeek создала модель, которая состоит из 236 миллиардов параметров. При этом на каждый токен активно используется 27 миллиардов. NLP-специалисты разобрали статью с подробным описанием модели DeepSeek-V2. 🟡Ссылка на пост @machinelearning_interview

Встречаемся 14 сентября на Practical ML Conf в Москве и онлайн! Machine learning, проверенный практикой* * Сгенерировано YandexGPT Главная конференция Яндекса по ML для экспертов: качественные технические доклады от ключевых инженеров, максимум пользы и знаний о практическом применении. Ключевые темы конференции: CV / NLP / Speech / RecSys / MLOps / Data science В числе спикеров: – Степан Комков — Яндекс Поиск, старший разработчик службы синтеза речи; – Дмитрий Антипов — Сбер, АБТ, тимлид разработки; – Виктор Плошихин — Yandex Cloud, руководитель ML-лаборатории в Yandex Platform Engineering. Во вдохновляющем футуристичном пространстве «Суперметалл» мы поговорим о кейсах, которые не найти в научных статьях, ведь когда они появятся — вы уже не сможете оказаться в числе визионеров. Ждём вас, чтобы заглянуть в будущее вместе — офлайн и онлайн. Реклама. ООО "Яндекс", ИНН 7736207543

🖥 Продвинутый Python с уклоном в DS и ML Держите отличный учебник/туториал по продвинутым темам Python. Здесь освещается большое количество разных тем, вот некоторые: — ООП: классы, магические методы, атрибуты — декораторы — загрузка и предобработка датасета — кросс-валидация — построение разных графиков 🟡 Advanced Python @machinelearning_interview

🔥 Прикладная независимая конференция по data science Организаторы HighLoad++ делают первую офлайн конференцию AiConf 2024. И это не просто конференция, а площадка для обмена опытом, общения и профессионального роста для Data Scientist, ML инженеров. ➡️ Среди тем конференции: - Работа со звуком - Компьютерное зрение и генерация изображений - Обработка естественного языка - Рекомендательные системы и поиск - Умные механизмы - Дискуссии на тему "ML будущего" - Оптимизация использования железа ➡️ На AiConf 2024 вас ждут: -Более 700 участников - Доклады от Эмели Драль, Олега Бартунова, Алексея Голомедова - Свежие доклады от лидеров рынка Ozon, Яндекса, Huawei, а также из реального сектора  - Рассказы о кейсах и технологиях, которые можно сразу применить в своих проектах. Всё свежее, из первых рук — Неформальное общение на afterparty  ❗️Кстати, ребята в своем телеграм-канале (https://t.me/UseDataConfChannel) делают розыгрыш офлайн-билета, приглашаем поучаствовать. До встречи на AiConf 2024!

🌟 Machine Learning в продакшене — открытая книга Здесь описывается много чисто практических вещей, с которыми сталкивается ML-специлист, внедряющий модель в продакшен. Приводится много примеров хороших практик, которые помогут строить масштабируемые и надёжные ML-системы 🟡 Machine Learning in Production @machinelearning_interview

📌Подборка полезных ресурсов для изучения ML и для подготовки к собеседованию Здесь приводится много ссылок на ресурсы, которые объясняют основы Computer Science, матанализ и линейную алгебру, теорию вероятностей и статистику. Плюс затрагиваются такие темы как: — классическое ML — байесовское ML — Deep Learning — NLP — Reinforcement Learning — применение ML, в частности в биологии и медицине Почти все практические примеры связаны с Python и R 🟡 ML resources @machinelearning_interview

🔥 Прикладная независимая конференция по data science Организаторы HighLoad++ делают первую офлайн конференцию AiConf 2024. И это не просто конференция, а площадка для обмена опытом, общения и профессионального роста для Data Scientist, ML инженеров. ➡️ Среди тем конференции: - Работа со звуком - Компьютерное зрение и генерация изображений - Обработка естественного языка - Рекомендательные системы и поиск - Умные механизмы - Дискуссии на тему "ML будущего" - Оптимизация использования железа ➡️ На AiConf 2024 вас ждут: -Более 700 участников - Доклады от Эмели Драль, Олега Бартунова, Алексея Голомедова - Свежие доклады от лидеров рынка Ozon, Яндекса, Huawei, а также из реального сектора  - Рассказы о кейсах и технологиях, которые можно сразу применить в своих проектах. Всё свежее, из первых рук — Неформальное общение на afterparty  ❗️Кстати, ребята в своем телеграм-канале (https://t.me/UseDataConfChannel) делают розыгрыш офлайн-билета, приглашаем поучаствовать. До встречи на AiConf 2024!

📌Введение в Deep Learning Здесь можно найти ответы на многие свои вопросы по ML и Deep Learning; тут на примерах объясняются самые важные концепции: от построения своей нейросети и перечисления необходимых фреймворков до сравнения разных архитектур и настройки гиперпараметров Можно использовать как один из материалов для подготовки к собеседованию 🟡 Introduction to Deep Learning @machinelearning_interview

ТГУ и Skillfactory открывают набор на онлайн-магистратуру "Компьютерное зрение и нейронные сети"! На этой программе вы: - Освоите Computer Vision: от классических методов до трехмерных моделей; - Выберите специализацию — AR, генеративный дизайн или робототехнику Решите актуальные бизнес-задачи для вашего портфолио, а диплом ТГУ подтвердит ваши навыки; - Получите доступ к мощному суперкомпьютеру CYBERIA от ТГУ для обучения нейросетей. Обучение проходит онлайн, сохраняя при этом все преимущества очного формата. Технический "бэкграунд" необязателен. Главное - наличие любого высшего образования. Студенческие льготы и отсрочка от армии сохраняются. Оставьте заявку прямо сейчас и получите доступ к бесплатным подготовительным курсам и мероприятиям от ТГУ! Количество мест ограничено. Ссылка: https://go.skillfactory.ru/84mG1Q Реклама. ООО «Скилфэктори». erid: LjN8KNEGR

⚡️ Подборка проектов по ML, на которых можно набить руку и прокачать скиллы Среди эти проектов: — раскрашивание чёрно-белых изображений с помощью CV — реализация простого чат-бота — распознавание пола и возраста — прогнозирование временных рядов Самое то, чтобы закрепить понимание ML-алгоритмов на практике 🖥 GitHub @machinelearning_interview

Как сократить расходы на инференс LLM? Кейс компании “Актион” 22 августа, 16:00 Selectel проводет вебинар, на котором расскажет, как команда «Актион» сократила расходы на GPU на 60% и увеличила пропускную способность в 36 раз благодаря решению Compressa на инфраструктуре Selectel. Вместе с коллегами из Compressa и «Актион» обсудим способы оптимизации open-source LLM-моделей на своем сервере и преимущества использования облака для инференса LLM. Сравним производительность LLM и стоимость токенов до и после оптимизации. Разберем кейс «Актион» и Compressa по обработке 100 000+ генераций в день всего на одной GPU-карте и узнаем, как удалось сократить расходы на инференс LLM. Мероприятие бесплатное. Посмотреть программу вебинара и зарегистрироваться можно по ссылке: https://slc.tl/46nmn Реклама АО «Селектел». ИНН: 7810962785 Erid: 2VtzqvSRMR6

📌Deep Learning на практике Очень полезный практический учебник/туториал по Deep Learning; каждый раздел подробно объясняет, что происходит в конкретном Jupyter Notebook'е Вот некоторые из затрагиваемых тем: — NLP и работа с текстом — классификация изображений — распознавание (начиная с классического MNIST и до более сложных примеров) 🟡 Deep Learning на практике 🖥 Ноутбуки на GitHub @machinelearning_interview

⚡️ Крутейший сервис, который поможет понять, как устроены нейросети — Нашёл отличную вещь, которая поможет разобраться в устройстве нейросетей — Interactive Tools. Это библиотека интерактивных визуализаций, демонстрирующих, как работают такие нейросети, как ChatGPT, Midjourney и другие. Например, Transformer Explainer наглядно объясняет, как ChatGPT выбирает следующее слово в тексте (подсказка: это как T9, но на максималках) и почему иногда выдаётся не самое вероятное слово. 📌 Interactive Tools @machinelearning_interview