Machine learning Interview

«Как интересные задачи затягивают в Data Science» Команда DS из большого синего банка запустила новый сезон подкаста «Деньги любят техно», в котором топ-эксперты рассказывают про ML в их компаниях. Самое интересное: сферы не повторяются, то есть можно послушать и сравнить, насколько различаются задачи и подходы в ML в технологической сфере и в компаниях из других отраслей, в том числе очень “традиционных”. Первый эпизод про ML в IT — со старшим директором по данным и аналитике «Авито» Андреем Рыбинцевым. Ведут подкаст начальник управления моделирования партнерств и ИТ-процессов ВТБ Юлий Шамаев и технологический обозреватель Марина Эфендиева. В новом сезоне подкаст выходит не только в аудио, но и в видео-версии на всех популярных платформах. — Смотреть и слушать можно тут 👈 — А просто слушать тут 👈

🌟 Awesome-list советов по поступлению в аспирантуру и научной работе. Репозиторий GitHub "advice", в котором содержится обширная коллекция ссылок на ресурсы, предлагающие советы по различным аспектам поступления в аспирантуру, проведения исследований и жизни в аспирантуре, в основном в области информатики, NLP и ML. Автор репозитория - Shaily Bhatt, аспирант первого года обучения в Институте языковых технологий CMU и бывший сотрудник NLU Group в Google Research (Индия). Содержание: Заявки в аспирантуру: 🟢общие советы по заявкам; 🟢советы, специфичные для программ MS; 🟢советы по заявкам на предварительные докторские программы; 🟢советы о том, стоит ли получать докторскую степень; 🟢советы по выбору учебных заведений и научных руководителей. Исследования: 🟠общие советы по исследованиям; 🟠советы для аспирантов; 🟠идеи для исследований; 🟠советы по написанию работ; 🟠советы по рецензированию; 🟠советы по чтению; 🟠советы по публикации и конференциям; 🟠советы по динамике отношений между научным руководителем и аспирантом; 🟠советы по научно-исследовательским стажировкам; 🟠советы по нетворкингу; 🟠советы по выступлениям и презентациям; 🟠советы по продуктивности; 🟠советы по борьбе с синдромом самозванца; 🟠советы по инструментам для исследований. В репозитории также есть раздел "Список списков", в котором собраны ссылки на другие полезные ресурсы. 🖥GitHub @ai_machinelearning_big_data #AI #ML #Resources #Github #Awesome

🖥 PhysGen — это новый метод генерации видео, который преобразует одно изображение и входное условие (например, силу или крутящий момент, приложенные к объекту) для создания реалистичных, физически правдоподобных и временно согласованных видеороликов. Основная идея заключается в интеграции физического моделирования с процессом генерации видео, что обеспечивает правдоподобную динамику объектов на изображении. 💡 Система PhysGen состоит из трех ключевых компонентов: 🌟 Модуль понимания изображения, фиксирующий геометрию, материалы и физические параметры сцены. 🌟 Модель динамики пространства изображения, использующая физику твердого тела для моделирования реалистичного поведения. 🌟 Модуль рендеринга и уточнения, который с помощью генеративной диффузии видео создаёт правдоподобные видеокадры с учётом физики движения. 🔥 Полученные видео реалистичны и точно контролируются, демонстрируя превосходные результаты по сравнению с существующими методами. PhysGen может применяться для создания анимаций и интерактивных видеороликов, а также моделирования динамики объектов. Подробности доступны на странице проекта ▪️Github @machinelearning_interview

Бесплатный экспресс-курс по технологии ускорения ML-моделей Triton от Ozon Tech Курс — это гайд в формате лонгрида, из которого ты узнаешь: — что такое Triton и как в нём происходит типизация данных; — как собрать простую модель под любые нужды; — как оптимизировать модель и дотащить до прода. Чтобы пройти курс, нужно: 1) отправить заявку на этой странице; 2) иметь 2 часа свободного времени. Прокачайся в Data Science🚀

🖥 MaskLLM — метод обрезки языковых моделей для уменьшения вычислительных затрат 🌟 Вместо поиска важных параметров MaskLLM использует выборку Gumbel Softmax для обучения разреженных масок, что обеспечивает высокую точность и возможность переноса между разными задачами. Эффективность MaskLLM оценивали сравнением с другими методами на моделях LLaMA-2, Nemotron-4 и GPT-3. Результаты показали, что MaskLLM достигает более низкой перплексии на наборе данных Wikitext при использовании 2:4 разреженности. Например, для LLaMA-2 7B MaskLLM достиг перплексии 6.72, в то время как SparseGPT показал результат 10.42. 🔗 Прочитать оригинал статьи можно здесь: *клик* @machinelearning_interview

🖥 Большой список вопросов и ответов по Python для подготовки к собеседованию Собираетесь на собеседование на позицию Python Developer? Тогда обратите внимание на эту шпаргалку, где собраны ответы на более чем 100 вопросов, которые часто задают на интервью. Разработчики тщательно подготовили эти материалы, и уверены, что они помогут вам лучше подготовиться к вопросам. Эти вопросы покрывают практически все темы Python + затрагивают азы Computer Science: алгоритмы, структуры данных и т.д. ▶️ Вопросы и ответы @python_job_interview

💼 Обратное собеседование (reverse-interview) это списка вопросов соискателем должности технического специалиста для потенциального работодателя. Это список вопросов, который может быть интересен соискателю должности технического специалиста. Пункты не упорядочены и могут быть неприменимы к конкретной должности или виду работы. Вначале это был просто список вопросов, но со временем он стал включать ещё и те вещи, которых хотелось бы видеть больше, и «красные флажки», то есть вещи, которых хочется избегать. Ещё я обратил внимание, что многие люди, которых я собеседовал, не задавали эти вопросы, и, я думаю, это были упущенные возможности. Разделы вопросов: - Технологии - Должность - Команда - Ваши будущие коллеги - Компания - Бизнес - Удалённая работа - Офисная работа - Компенсация - Больничный, декретный период, отпуск 📌 Вопросы @machinelearning_interview

Группа «Интер РАО» запустила ТурбоХакатон по обработке данных в сфере электроэнергетики. Участвуйте в соревновании с 10 октября по 26 ноября и получите шанс разделить призовой фонд в 500 000 рублей. Регистрация уже открыта Приглашаем на хакатон специалистов в области Data Science и Machine Learning от 18 лет. Участвовать можно индивидуально или в команде до 5 человек. Задачи ТурбоХакатона: 1️⃣ Цифровой ассистент – система «вопрос\ответ» для быстрого поиска ответов во внутренней документации компании через вопросы, заданные в свободной форме 2️⃣ Система рекомендации технологических параметров для оптимизации режимов работы ТЭС 3️⃣ Анализ аномалий в платежах за тепловую энергию 4️⃣ Оптимизация маршрутов обхода многоквартирных домов для проверки состояния приборов учета и контроля достоверности показаний 5️⃣ Оптимизация процесса планирования закупки топлива на электростанциях на основе прогнозирования цены электричества и объемов его выработки Расписание мероприятия: 🔹 08.10 – старт ТурбоХакатона и открытие задач; 🔹 10.10-04.11 – работа над задачей; 🔹 08.11-12.11 – отбор лучших решений для участия в финальном питчинге; 🔹 19.11 – итоговая питч-сессия и презентация решений для жюри ТурбоХакатона; 🔹 26.11 – объявление результатов и награждение победителей. Успейте подать заявку до 4 октября Реклама. Фонд «Энергия без Границ». ИНН 7704278904. erid: LjN8KKXGx

⚡️ Llama 3.1-Nemotron-51B-Instruct: модель от NVIDIA по методу Neural Architecture Search. Llama 3.1-Nemotron-51B-Instruct основана на Llama 3.1-70B и предназначена для NLP-задач генерации текста, чата, рассуждения и обобщения. Мультиязычность наследована от родительская модель. Llama 3.1-Nemotron-51B-Instruct также умеет обрабатывать языки программирования. Архитектура модели построена с использованием методологии Neural Architecture Search (NAS) и блочной дистилляции. NAS позволяет отобрать наиболее эффективные блоки трансформера для каждого слоя модели, а блочная дистилляция обеспечивает перенос знаний от исходной модели Llama 3.1-70B к более компактной Llama 3.1-Nemotron-51B-Instruct. Полученная архитектура имеет нерегулярную структуру блоков с уменьшенным количеством операций внимания и полносвязных слоев, что существенно снижает вычислительную сложность и объем используемой памяти. В процессе обучения модели использовались бенчмаркиMT-Bench и MMLU. Тестирование проводилось на задачах генерации текста, перевода и ответов на вопросы. Результаты показали, что инференс Llama 3.1-Nemotron-51B-Instruct в 2.2 раза быстрее "родительской" модели (Llama 3.1-70B) при сохранении практически той же точности. Благодаря сниженным требованиям к памяти, модель может обрабатывать в 4 раза большие объемы данных на одном GPU. ▶️Рекомендованные аппаратные конфигурации: 🟠FP8 - H100-80GB (версии FP8 пока нет в открытом доступе); 🟢BF16 - 2x H100-80GB GPU или 2x A100-80GB GPU. ▶️Пример инференса на Transformers (версия 4.44.2 или выше):

import torch
import transformers

model_id = "nvidia/Llama-3_1-Nemotron-51B-Instruct"
model_kwargs = {"torch_dtype": torch.bfloat16, "trust_remote_code": True, "device_map": "auto"}
tokenizer = transformers.AutoTokenizer.from_pretrained(model_id)
tokenizer.pad_token_id = tokenizer.eos_token_id

pipeline = transformers.pipeline(
    "text-generation", 
    model=model_id, 
    tokenizer=tokenizer, 
    max_new_tokens=20, 
    **model_kwargs
)
print(pipeline([{"role": "user", "content": "Hey how are you?"}]))

📌Лицензирование : NVIDIA AI Foundation Models Community License. 🟡Страница проекта 🟡Модель 🟡Demo @ai_machinelearning_big_data #AI #ML #LLM #Nemotron

Авито ищет опытных специалистов в команду Data Science — пройдите ускоренный отбор и получите оффер за одни выходные! Вас ждет: — конкурентная зарплата, удаленка и дополнительные дни отпуска; — возможность прокачать свой стек – разрабатывать инструменты монетизации, автоматизировать алгоритмы, обучать LLM и улучшать пользовательский опыт; — участие в создании новых продуктов крупнейшего в мире сервиса объявлений; — сильное IT-комьюнити, которое любит опенсорс. Выбирайте одну из четырех команд DS-направления и присоединяйтесь к Data Weekend Offer — регистрируйтесь до 1 октября: https://u.to/8O3jIA

⚡️ Отличный блог о стратегиях параллелизма в JAX. В нем много подробных рисунков и простого кода. https://astralord.github.io/posts/exploring-parallel-strategies-with-jax/ @machinelearning_interview

🤖 Интересуетесь Data Science и Machine Learning? Изучите модели матричной факторизации на примере ALS и BPRMF. На занятии мы познакомимся с коллаборативной фильтрацией, рассмотрим особенности обучения моделей ALS и BPRMF. а именно: ➡️ Познакомимся с популярным подходом к построению рекомендательных систем: collaborative filtering.  ➡️ Изучим архитектуру моделей ALS и BPRMF. ➡️ Рассмотрим особенности функций потерь, которые используются для обучения этих моделей.  ➡️ Применим модели ALS и BPRMF на практике. 📅 Дата и время: 3 октября в 20:00 мск Участие бесплатное Занятие проходит в преддверии старта курса «Рекомендательные системы». Все участники вебинара получат специальную цену на обучение и персональную консультацию от менеджеров OTUS!  Регистрируйтесь прямо сейчас, чтобы не пропустить урок: https://otus.pw/EFno/ О рекламодателе

🌟 CUTLASS Tutorial: Быстрое матричное умножение с WGMMA на GPU NVIDIA Hopper. Большой, подробный и лаконичный туториал в 2-х частях по оптимизации матричного умножения на микроархитектуре Hopper (H100) с использованием библиотеки CUTLASS. CUTLASS - это набор реализаций алгоритмов линейной алгебры (шаблонов) для использования на CUDA в задачах глубокого обучения, инженерных расчетах и научных исследованиях. ▶️Первая часть посвящена инструкции WGMMA (asynchronous warpgroup matrix-multiply and accumulate) - как она работает, какие ограничения имеет на размер и расположение данных в памяти и как использовать синхронизацию для правильного выполнения операций. В этой части подробно рассматривается концепция «ядерных матриц» и «матричных дескрипторов», которые нужны для эффективной работы с WGMMA. ✔️ Вторая часть про умножение матриц(GEMM) и методы повышения эффективности GEMM-ядра путем конвейеризации. Рассматриваются две стратегии пайплайна : многоступенчатую и warp-specialization, с подробным описанием их концепции, применением CUTLASS для их построения и сравнивается производительность стратегий. В конце туториала кратко описывается реализация конвейеризации в GEMM-ядрах для архитектуры Ampere. @ai_machinelearning_big_data #AI #ML #CUTLASS #Tutorial

🛠 Эксперименты с обучением моделей для нейроредактора в Яндекс Браузере Команда разработки доработала предыдущее решение, что в итоге привело к созданию отдельного инструмента на основе языковой модели YandexGPT. Он помогает пользователям создавать тексты с нуля и улучшать готовые прямо в браузере — например, исправлять ошибки и переписывать в определенном стиле и формате. Для офлайн-метрик использовалась диффалка, написанная на Go. Диффалка работает на основе алгоритма поиска наибольшей общей подпоследовательности (LCS): ищутся наидлиннейшие общие подпоследовательности между версиями текста. Это позволило подсчитывать количество ошибок, которые модель не исправляет, сравнивая вывод модели с текстом, отредактированным человеком, и проверять гипотезы о качестве, экономя время. Эксперименты (переход к Encoder-Decoder, curriculum learning, предобучение) дали ускорение в 2 раза и +10% качества на открытых датасетах. Раньше при нейроредактировании модель могла легко удалить или добавить лишние спецсимволы, что приводило к непредсказуемым результатам. Теперь, с внедрением полноценной поддержки Маркдауна, эта проблема устранена. Для обеспечения корректной обработки разметки применялся подход восстановления: прогон текста через модель, ручное восстановление пропавшей разметки и переобучение модели. В итоге достигнуто сохранение разметки 1:1 в модели исправления ошибок. 📝 Хабр @machinelearning_interview

⚡️ Задача: Предсказание дохода человека. Вам известны все необходимые признаки, а данных достаточно. После построения модели как вы определите, что она получилась хорошей? Чтобы оценить, построенная модель для предсказания доходов человека получилась хорошей, нужно сделать следующее: 1. Выберите метрику качества модели: Для оценки точности модели используйте одну из следующих метрик: Mean Absolute Error (MAE), Mean Squared Error (MSE) или Root Mean Squared Error (RMSE). Эти метрики помогут понять, насколько точно модель предсказывает целевую переменную. 2. Разделите данные на обучающую и тестовую выборки: Используйте обучающую выборку для построения модели, а тестовую — для оценки её качества. Это поможет избежать переобучения, при котором модель хорошо работает на обучающих данных, но плохо на новых примерах. 3. Оцените модель на тестовых данных: Проверьте качество модели на тестовой выборке. Если значения метрик на обучающей и тестовой выборках не сильно различаются, это указывает на отсутствие переобучения и способность модели давать хорошие предсказания. 4. Примените кросс-валидацию: Дополнительно можно использовать кросс-валидацию для оценки стабильности модели. Это позволит убедиться, что модель демонстрирует хорошие результаты на различных подвыборках данных. 👇 Пишите свой вариант ответа в комментариях. @machinelearning_interview

Приглашение на открытый вебинар: Разметка данных с помощью CVAT На данном открытом уроке вы узнаете: - Как осуществляется разметка в CVAT. - Как интегрировать собственную авторазметку. - Про разные виды конвертеров готовой разметки. В результате вебинара вы сможете: - Начать использовать CVAT в своих проектах. - Ускорить процесс разметки в десятки раз. - Стать опытными пользователями CVAT. Для кого это занятие: Этот вебинар будет особенно интересен начинающим и продвинутым разработчикам компьютерного зрения, разметчикам. Присоединяйтесь к открытому вебинару 23 сентября в 20:00 мск! Встречаемся в преддверии старта курса «Компьютерное зрение». Все участники вебинара получат специальную цену на обучение! Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие: https://clck.ru/3DNk5J Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ", ИНН: 9705100963

🖥 Python Training — хороший курс по Python для бизнес-аналитиков JPMorgan Полезный курс сосредоточен на введении в вычисления и визуализацию данных в Python. Подходит для тех, кто не имеет опыта программирования. Вот темы, которые охватывает курс: ▪️основы Python (в Jupyter); ▪️базовые вычисления и работа с данными (NumPy, Pandas); ▪️работа с API; ▪️визуализация данных (Matplotlib, Seaborn); ▪️лучшие практики Python. 🔗 Ссылка на курс #курс #python @machinelearning_interview

🔹 Прогнозируем биткойн с использованием машинного обучения на открытом уроке от Otus. Познакомьтесь с набором инструментов для анализа временных рядов.   Рассмотрим примеры продвинутых моделей ✅ Практика: Скачивание данных с помощью api, предобработка, прогноз средним, sarima, линейной регрессией, бустингом, recurent pro Оставляйте заявку на курс «ML для финансового анализа» и создайте торгового робота для автоматического проведения операций с оценкой уровня риска 👉 Регистрация на урок и подробности: https://otus.pw/PVPa/?erid=LjN8KMvJv

🛠 Интересный проект: разработчик создал простую систему, которая помогает пройти собеседование, фактически отвечая за вас! Алгоритм работает так: Whisper преобразует речь интервьюера в текст, передаёт его ChatGPT, который генерирует ответ. Затем вы просто читаете его с экрана. Всё, что вам нужно — открывать рот и произносить готовые фразы🤣 ▪ GitHub

И получите своё предсказание🔮

Прогнозируйте изменения своих бизнес-метрик с помощью машинного обучения.

Учим начинающих дата-сайентистов ориентироваться в Machine Learning для решения рабочих задач на курсе «Data Science» от Слёрма. За 4 месяца обучения вас ждет: 🌟 Работа с реальными проектами, анализ и визуализация больших данных 🌟 Погружение в ключевые ML-алгоритмы и библиотеки, включая Scikit-learn и CatBoost 🌟 Сведение бизнес-задач в задачи машинного обучения Полная программа курса — здесь 👈 Формат: ⚡️ 132 часа нетривиальной практики с реальными датасетами ⚡️ 25 минут — среднее время видеолекций, которые можно смотреть, когда угодно — хоть за завтраком, хоть по дороге на работу. Старт 30 сентября, присоединяйтесь! Реклама ООО «Слёрм» ИНН 3652901451