Machine learning Interview

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data C++ t.me/cpluspluc Python: t.me/pythonl Хакинг: t.me/linuxkalii Devops: t.me/DevOPSitsec АНАЛИЗ Данных: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/javatg Базы данных: t.me/sqlhub Linux: t.me/linuxacademiya Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Docker: t.me/DevopsDocker Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai Собеседования МЛ: t.me/machinelearning_interview МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Angular: https://t.me/+qIJAuSEb2MQyMDJi 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

🌟 Pangea: открытая мультиязычная МLLM для 39 языков и инструктивный датасет . PANGEA - это модель с 7.94 млрд. параметров на архитектуре LLaVA-Next и с Qwen2-7B-Instruct в качестве LLM-основы, которая была обученная на инструктивном датасете PANGEAINS. PANGEA предназначена для "преодоления" культурных и языковых барьеров в задачах визуального понимания в задачах мультимодального чата, создания аннотаций к изображениям, понимания контекста культурных особенностей, обработке многоязычных VQA и рассуждений на разные темы. Инструктивный датасет PANGEAINS состоит из 6 млн. мультимодальных инструкций на 39 языках. Перевод инструкций с английского языка на другие выполнялся с помощью Gemini 1.5 Pro. Оценка PANGEA проводилась с использованием набора тестов PANGEABENCH(14 наборов данных на 47 языках) . PANGEA продемонстрировала значительные улучшения в кросс-лингвистическом и кросс-культурном понимании. Репозиторий PANGEA на Github содержит подробные инструкции и скрипты по установке, тонкой настройке, оценке результатов обучения и примеры разметки данных для файнтюна. 📌Лицензирование: Apache 2.0 License. 🟡Страница проекта 🟡Arxiv 🟡Датасет 🟡Demo 🖥Github @ai_machinelearning_big_data #AI #ML #MMLM #Pangea

✔️ Google DeepMind разработала систему водяных знаков SynthID для идентификации текста, созданного ИИ. Google DeepMind представила SynthID-Text, систему водяных знаков для маркировки текста, сгенерированного ИИ, которая позволяет определить его происхождение без ущерба для качества и скорости генерации текста. Система работает путем незаметного для человека изменения некоторых слов в выводе чат-бота, создавая "статистическую подпись", которую может обнаружить детектор SynthID. SynthID-Text уже интегрирована в чат-бот Google Gemini и доступна разработчикам и компаниям в открытом доступе. Система не является панацеей: значительное редактирование текста или его перефразирование другим чат-ботом может скрыть водяной знак. deepmind.google @machinelearning_interview

🔥6 ноября приглашаем на открытый урок "Введение в LangChain", где познакомимся с библиотекой LangChain, которая упрощает создание приложений с использованием больших языковых моделей (LLM) 🎓Вы узнаете: - что такое LangChain и каковы его основные возможности; - как установить и настроить LangChain в вашем проекте; - основные компоненты LangChain: цепочки, промпты и другие инструменты; - практические примеры использования LangChain для решения задач обработки естественного языка. 👉Регистрация. Участие бесплатно. https://otus.pw/f07Y5/?erid=LjN8JvJqt Вебинар приурочен к старту курса Natural Language Processing (NLP), обучение на котором позволяет освоить различные языковые модели и создать собственный телеграм-бот. #реклама О рекламодателе

📌 Гайд по распределенному обучению. Репозиторий Github облачного хостинг-провайдера Lambda Labs c исчерпывающим руководством по лучшим практикам распределенного обучения, диагностике часто возникающих ошибок, эффективном использовании доступных ресурсов и приемам логгирования в stdout/stderr и wandb. Вопросы, на которые отвечает это руководство: 🟢Как обновить скрипт обучения/файнтюна на одном GPU для работы на нескольких GPU или нескольких нодах? 🟢Как диагностировать зависания/ошибки, возникающие во время обучения? 🟢Моя модель слишком велика для одного GPU - как мне обучить/настроить ее на кластере? 🟢Как запланировать и запустить обучение на кластере? 🟢Как масштабировать гиперпараметры при увеличении числа воркеров? Руководство состоит из последовательных глав, каждая из которых содержит readme и скрипт train_llm.py. В readme содержатся описания глав, а каждый из обучающих скриптов нацелен на обучение каузальной языковой модели. ▶️ Структура: 🟠Один GPU; 🟠Несколько GPU на одной ноде; 🟠Несколько GPU на нескольких нодах; 🟠Запуск заданий; 🟠Шардинг между GPU (deepspeed); 🟠Шардинг между GPU (FSDP); 🟠Обучение 405B модели; 🟠Диагностика ошибок; 🟠Дополнительные темы (детерминизм, эффективность batch-size и LR, Gradient accumulation и др.). ▶️Локальное использование репозитория:

# Clone repo
git clone https://github.com/LambdaLabsML/distributed-training-guide.git

# Create venv
cd distributed-training-guide
python3 -m venv venv
source venv/bin/activate
python -m pip install -U pip
pip install -U setuptools wheel
pip install -r requirements.txt

📌Лицензирование : MIT License. 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #Github #Guide

Улучшенная версия BPR В рекомендациях, как известно, бейзлайн побить обычно сложно, и часто старые добрые модели работают гораздо лучше новых, если уделить достаточно внимания деталям. Так вышло и в этом случае. BPR (Bayesian Personalized Ranking) была изобретена еще в 2012 году, и за 12 лет расплодилось куча ее реализаций: в каждой библиотеке своя, у кого-то работают похуже, у кого-то получше. А у ресерчеров из T-Bank AI Research получилось создать новый золотой стандарт – SOTA версию алгоритма. Ребята пересмотрели и доработали все компоненты BPR, и, учитывая влияние каждого из параметров, пересобрали эффективную реализацию. Для этого, кстати, понадобилось более 200 000 GPU-часов и 15 000 экспериментов 😱 В итоге в некоторых случаях она превзошла другие модели почти на 50% по точности (в частности, популярную реализацию из RecBole). Это не все: модель обошла даже хайповую Mult-VAE от Netflix и оказалась точнее на 10%! Работу, кстати, уже презентовали на ACM RecSys в Италии. Подробное описание модели и результаты экспериментов доступны в статье Revisiting BPR: A Replicability Study of a Common Recommender System Baseline. Исходный код и дополнительные материалы можно найти на GitHub.

UC Berkeley's "Machine Learning" lecture notes 📓 Book @datascienceiot

⚙️ Яндекс представил четвертое поколение больших языковых моделей YandexGPT Новая линейка генеративных моделей Яндекса лучше отвечает на вопросы, решает более сложные запросы и умеет рассуждать пошагово. Так, качество ответов YandexGPT 4 Pro улучшилось в 70% случаев по сравнению с предыдущей версией. В статье на Хабре команда Яндекса рассказала, как обучала YandexGPT 4, и показала результаты замеров качества и сравнения с другими моделями. ◾️ Хабр @machinelearning_interview

⚡️ Keras Hub: универсальная библиотека для предобученных моделей. Keras Hub – это новая унифицированная библиотека для предобученных моделей, которая объединяет архитектуры NLP и CV, предоставляя разработчикам доступ к набору моделей в рамках единой платформы Keras. Keras Hub упрощает поиск, использование и публикацию моделей, а также поддерживает функции LoRA, квантования и многоузловое обучение для работы с большими наборами данных. Для начала работы с Keras Hub достаточно установить библиотеку с помощью команды pip install --upgrade keras-hub. Keras Hub предоставляет доступ к моделям: Gemma, PaliGemma и Stable Diffusion 3. Также доступны новые функции для разработчиков KerasCV: встроенная предварительная обработка и функции потерь, доступные через keras.losses.<loss_function>. ▪️Блог: developers.googleblog.com ▪️Ознакомьтесь с документацией: https://keras.io/keras_hub/ ▪️Ознакомьтесь с руководствами по началу работы с KerasHub: https://keras.io/guides/keras_hub/ ▪️Поэкспериментируйте с предварительно подготовленными моделями: https://keras.io/api/keras_hub/models/ ▪️Изучите исходный код: https://github.com/keras-team/keras-hub/ ▪️Ознакомьтесь с Keras на Kaggle: https://www.kaggle.com/organizations/keras @machinelearning_interview

NLP Researchers, отметьте в календаре 26 октября🌟 Всего за один день вы сможете пройти все этапы отбора, познакомиться с командой GigaCode и получить оффер. Мы создаем AI ассистента разработчика – GigaCode. Наши модели помогают писать 80к строк кода ежедневно! Решаем задачи по различным подходам в NLP и PLP, проводим ресёрч-эксперименты и обучаем новые SOTA LLM. В работе используем: NLP, DL, ML, Python, Pytorch, Transformers, FSDP, Deepspeed. Чем предстоит заниматься? ✅ реализовывать дизайн экспериментов, формулировать гипотезы для улучшения NLP/PLP моделей и алгоритмов, планировать исследовательские эксперименты с выводами. ✅ проводить эксперименты, писать код, подготавливать датасеты и бенчмарки, проводить замеры и анализ результатов. ✅ обучать модели на кластере, включая обучение моделей с нуля и дообучение опенсорс моделей. Если вы амбициозны и готовы к новым вызовам в PLP и/или NLP направлениях, регистрируйтесь на One Day Offer! Будем делать важнейшие исследования вместе!💚

🖼 VistaDream — фреймворк, который восстанавливает 3D-сцену по одному изображению с помощью методов диффузии. 💡Работает в 2 этапа: на первом этапе создается глобальная 3D-структура объекта , затем с помощью RGB-D inpainting генерируются изображения с разных ракурсов. На втором этапе повышается согласованность между этими изображениями. Этот подход позволяет получать качественную 3D-реконструкцию сцены без дополнительной тренировки моделей. 🖥 Github @vistehno

Как ускорить обучение нейросетей и обработку данных?   С помощью мощных видеокарт GPU: RTX 2080Ti и  RTX 4090. Они подойдут для решения  сложных графических задач, обучения нейросетей и выполнения сложных вычислений в области ИИ   Арендовать и потестить эти видеокарты можно в Selectel — одном из ведущих российских провайдеров ИТ-инфраструктуры.   Что вы сможете при аренде облачного сервера с GPU в Selectel: ● Получить ресурсы для обучения ML-моделей ● Платить только за время использования — почасовая ставка от 29 рублей ● Использовать лучшее железо — к вашим услугам процессоры с частотами 2,4-2,6 Ггц ● Масштабироваться без проблем — мгновенный переезд на более мощную видеокарту ● Выбирать из широкого ассортимента GPU-карт — доступно 9 моделей под самые разные задачи ● Чувствовать себя спокойно — предоставляем бесплатную защиту от DDoS-атак.   Арендовать серверы с почасовой оплатой

📌Исчерпывающий гайд по методам тонкой настройки больших языковых моделей. Подробное руководство от Ирландского центра искусственного интеллекта CeADAR по практическому применению и оптимизации процесса тонкой настройки LLM. В руководстве представлен анализ подходов обучения: контролируемые, неконтролируемые и инструктивные подходы. Гайд подробно рассматривает подготовку наборов данных, выбор подходящей модели, настройку параметров и оценку производительности. Это руководство подходит как для начинающих, так и для опытных специалистов, которые хотят эффективно настраивать и использовать LLM для решения различных задач в области обработки естественного языка. Несмотря на техническую сложность темы, авторы сделали материал доступным для широкой аудитории, используя понятный язык и наглядные примеры. ▶️Содержание: 🟢Введение 🟢Семиэтапный конвейер тонкой настройки LLM 🟢Этап 1: Подготовка данных 🟢Этап 2: Инициализация модели 🟢Этап 3: Настройка обучения 🟢Этап 4: Выбор методов тонкой настройки и соответствующих конфигураций модели 🟢Этап 5: Оценка и валидация 🟢Этап 6: Развертывание 🟢Этап 6: Мониторинг и обслуживание 🟢Платформы и фреймворки для тонкой настройки LLM 🟢Мультимодальные LLM и их тонкая настройка 🟢Частые проблемы, этика и ответственность 🟡Arxiv @ai_machinelearning_big_data #AI #ML #LLM #Guide #Finetune

💡 Новая модель преобразования текста в видео с помощью ИИ от Rhymes Allegro — небольшая и эффективная модель преобразования текста в видео с открытым исходным кодом, которая преобразует ваш текст в потрясающие 6-секундные видеоролики со скоростью 15 кадров в секунду и разрешением 720p. https://huggingface.co/rhymes-ai/Allegro @machinelearning_interview

🌟 MMSearch: бенчмарк мультимодальных моделей по способности поиска. MMSearch — это тест мультимодального поиска, созданный для оценки возможностей LMMs как систем для поиска информации. Этот тест включает тщательно отобранный датасет из 300 запросов из 14 различных областей. Чтобы обеспечить сложность бенчмарка, запросы классифицируются по двум основным категориям: новости и знания. Область новостей состоит из недавних событий на момент сбора данных (август 2024 года), это гарантирует, что ответы на запросы не будут содержаться в обучающих данных для LMM. В области знаний собраны запросы, требующие редких знаний - те, на которые не могут ответить современные LMM, такие как GPT-4o и Claude-3.5. Оценка выполняется по 4 задачам, итог выполнения сравнивается с результатом аннотаторов, в роли которых выступали люди : 🟢запрос (requery): интерпретация запроса о содержимом или об объекте на изображении; 🟢ранжирование (rerank): выбор наиболее релевантного ответа запросу; 🟢обобщение (summarization): анализ результатов задач requery и rerank и формирование ответа на запрос; 🟢сквозной запрос (End-to-End): тест полного цикла, который включает в себя все три задачи сразу (requery+rerank+summarization). ▶️ Локальное выполнение бенчмарка возможно 3 способами: 🟠в VLMEvalKit. Пакет поддерживает более 150 VLM и MMLM моделей; 🟠путем запуска скриптов оценки MMSearch; 🟠в lmms-eval. Пока поддерживается только одна модель для теста MMSearch - LLaVA-OneVision, расширение возможностей - в процессе, настройка среды - тут. ⚠️ Среднее время выполнения самого сложного теста (End-to-End) на одном GPU A100 - 3-5 часов. Лидерборд MMSearch 16 моделей, включая результат выполнения тестов человеком можно посмотреть на странице проекта. 🟡Страница проекта 🟡Arxiv 🟡Датасет 🖥GitHub @ai_machinelearning_big_data #AI #ML #MMLM #Benchmark

🌟 MMSearch: бенчмарк мультимодальных моделей по способности поиска. MMSearch — это тест мультимодального поиска, созданный для оценки возможностей LMMs как систем для поиска информации. Этот тест включает тщательно отобранный датасет из 300 запросов из 14 различных областей. Чтобы обеспечить сложность бенчмарка, запросы классифицируются по двум основным категориям: новости и знания. Область новостей состоит из недавних событий на момент сбора данных (август 2024 года), это гарантирует, что ответы на запросы не будут содержаться в обучающих данных для LMM. В области знаний собраны запросы, требующие редких знаний - те, на которые не могут ответить современные LMM, такие как GPT-4o и Claude-3.5. Оценка выполняется по 4 задачам, итог выполнения сравнивается с результатом аннотаторов, в роли которых выступали люди : 🟢запрос (requery): интерпретация запроса о содержимом или об объекте на изображении; 🟢ранжирование (rerank): выбор наиболее релевантного ответа запросу; 🟢обобщение (summarization): анализ результатов задач requery и rerank и формирование ответа на запрос; 🟢сквозной запрос (End-to-End): тест полного цикла, который включает в себя все три задачи сразу (requery+rerank+summarization). ▶️ Локальное выполнение бенчмарка возможно 3 способами: 🟠в VLMEvalKit. Пакет поддерживает более 150 VLM и MMLM моделей; 🟠путем запуска скриптов оценки MMSearch; 🟠в lmms-eval. Пока поддерживается только одна модель для теста MMSearch - LLaVA-OneVision, расширение возможностей - в процессе, настройка среды - тут. ⚠️ Среднее время выполнения самого сложного теста (End-to-End) на одном GPU A100 - 3-5 часов. Лидерборд MMSearch 16 моделей, включая результат выполнения тестов человеком можно посмотреть на странице проекта. 🟡Страница проекта 🟡Arxiv 🟡Датасет 🖥GitHub @ai_machinelearning_big_data #AI #ML #MMLM #Benchmark

Что такое эксперименты в ML и чем они отличаются от «фичей» в обычной разработке? 🔹Расскажем на открытом уроке «MLFlow и переобучение ML-моделей» почему важно переобучать (retrain) свои модели, чтобы держать их «в тонусе». Разберем какую роль инструменты, такие как MLFlow, играют в процессах регулярного переобучения ✅ Практика: Изучим как выбирать лучшие варианты для отправки в Prod / Staging среду и всегда знать, что у вас «на проде» Урок приурочен курсу «MLOps» от Otus. 👉 Регистрация и подробности: https://otus.pw/3zBs/?erid=LjN8KDo2V #реклама О рекламодателе

🖥 Бесплатный учебник «Introduction to Python for Econometrics, Statistics and Data Analysis»! 🌟 Эта книга предоставляет введение в использование языка Python для эконометрики, статистики и анализа данных. Учебник подходит как для начинающих, так и для тех, кто уже знаком с Python, и охватывает такие темы, как работа с библиотеками NumPy, SciPy, Pandas и Matplotlib для анализа данных и визуализации 🔗 Ссылка: *клик* @machinelearning_interview

Яндекс Игры пришли к нам с запросом:

SELECT * 
FROM subscribers 
WHERE channel_name = 'machinelearning_interview'
AND technical_skills IN ('SQL', 'Airflow', 'MapReduce', 'DataLens') 
AND data_driven_approach = true 
AND analytical_mindset = true 
AND years_of_experience >= 2 
AND fit = true;

Ребята ищут аналитика в свою команду. Яндекс Игры посещают более 40 млн пользователей в месяц, поэтому можно проверять кучу гипотез на крупных выборках и экспериментировать. ВАЖНО. Проверенные гипотезы не пойдут «в стол», а будут помогать команде принимать взвешенные решения и влиять на развитие продукта. Если у тебя есть опыт работы с продуктами, аналитический склад ума и необходимые навыки, — это отличный шанс быстро вырасти и прокачаться на интересных задачах. Описание вакансии здесь, но лучше сразу пишите рекрутеру и договаривайтесь о собеседовании: @danny_md1

🔍 Бесплатный курс «Вероятность для Data Science» знакомит вас с различными базовыми концепциями вероятности. Курс поможет навыки работы с предельной вероятностью и объясняет теорему Байеса, которая рассматривает вероятность возникновения событий на основе возникновения других событий 🔗 Ссылка: *клик* #курс #datascience freecourses