Machine learning Interview

Появился новый сервис для создания умных ассистентов на базе YandexGPT Разработка от Yandex Cloud позволит компаниям создать своего AI-ассистента с помощью Yandex Cloud ML SDK или реализуя запросы к API на языке программирования. Это стало возможно благодаря AI Assistant API, который объединяет языковую модель YandexGPT и технологию поиска по базам знаний Retrieval Augmented Generation (RAG) для интеграции с внешними бизнес‑системами. Технология позволит ускорить внедрение языковых моделей в бизнес-процессы в среднем на 30%. Плюсы AI Assistant API: - Инструмент содержит все необходимые функции для создания умных помощников: создавать код с нуля не нужно. - Внутри инструмента реализованы все нужные взаимодействия модели, баз знаний и хранение контекста - Можно выбрать подходящую версию YandexGPT — Lite или Pro, чтобы адаптировать под свои задачи другие компоненты сервиса: базы знаний и параметры генерации текста. Даже современные LLM-модели не способны знать все внутренние процессы компании. Могут возникнуть проблемы с тем, чтобы, например, помочь сотруднику с оформлением командировки. Однако с помощью AI-ассистента есть возможность наделить модель этими знаниями. В сервис можно загрузить до 1 000 файлов, максимальный размер каждого файла — 128 МБ. @machinelearning_interview

📹 3blue1brown представил самую короткую и понятную лекцию о нейросетях! В новом выпуске он рассказывает о механизме внимания и трансформерах. Лекция стала еще более сжатой и увлекательной! Идеально подходит для абсолютных новичков и даже для тех, кто далек от техники. Автор уложился всего в 9 минут, чтобы доступно объяснить ключевые аспекты работы нейросети с помощью яркой графики и простых примеров. 📌 Оригинал @machinelearning_interview

🖥 Complete-Advanced-SQL-Series Этот репозиторий содержит все, что вам нужно, чтобы прокачать свои навыки работы с #SQL. Более 100 упражнений и примеров по SQL. ▪Github @machinelearning_interview

✔️ Mistral представил новые модели и обновленные функции чат-бота. Mistral выпустила ряд обновлений своих продуктов: платформа чат-ботов Mistral, Le Chat, теперь может осуществлять поиск в Интернете с цитированием источников, подобно ChatGPT и Perplexity. Она также получила инструмент «canvas», аналогичный ChatGPT Canvas, позволяющий пользователям изменять, преобразовывать или редактировать макеты веб-страниц и визуализации данных, используя модели ИИ Mistral. Le Chat теперь может обрабатывать большие PDF-документы и изображения для анализа и обобщения, включая файлы, содержащие графики и уравнения. Некоторые из новых возможностей Le Chat стали возможны благодаря новым моделям Mistral: Pixtral Large, которая может обрабатывать текст и изображения и Mistral Large 3, новой флагманской модели генерации текста. Все новые функции Le Chat останутся бесплатными в бета-версии. Новая версия Pixtral включает 124 миллиарда параметров и поддерживает контекст до 128 тысяч токенов. Модель способна работать с текстовыми данными, изображениями, файлами и графиками. Pixtral Large демонстрирует превосходство в решении сложных математических задач и практических вопросов, опережая такие модели, как Gemini 1.5 Pro и GPT-4o, особенно в области анализа графиков и обработки документов. Обновлённый Le Chat теперь оснащён функцией веб-поиска, возможностью анализа документов, генерацией изображений (с использованием технологии Flux Pro от Black Forest Labs), а также новым режимом Canvas, который позволяет пользователям работать с текстом, кодом и взаимодействовать с чат-ботом, подобно ChatGPT. 📌 mistral.ai @machinelearning_interview

🎓Погружаемся в мир обучения с подкреплением (RL) и изучаем его применение в разработке рекомендательных систем! ⚡3 декабря в 20.00 мск приходите на открытый вебинар "Автоматизация инжениринга признаков", на котором мы разберем: - сильные и слабые стороны алгоритмов классического RL и Deep RL.; - постановку задачи о многоруком бандите для классического и Deep RL. - подходы к применению задачи о многоруком бандите для разработки рекомендательных систем 👉Регистрация. Участие бесплатно https://otus.pw/cWAV/?erid=LjN8KQrn8 Встречаемся в преддверии старта курса «Reinforcement Learning» в OTUS. Обучение на курсе позволит применять алгоритмы RL для решения разнообразных задач в реальном мире, включая игровую индустрию, робототехнику, управление энергетическими системами и управление финансовым портфелем #реклама О рекламодателе

⚡️ BRIA Background Removal v2.0 Model. RMBG v2.0 - новая модель удаления фона, предназначенная для эффективного отделения переднего плана от фона в различных категориях и типах изображений. Точность, эффективность и универсальность RMBG v2.0 конкурирует с ведущими SOTA-моделями. RMBG-2.0 разработана на основе архитектуры BiRefNet и обучена на более чем 15 000 высококачественных, высокого разрешения, вручную маркированных (с точностью до пикселя), полностью лицензированных изображений. Модель доступна на HF в двух версиях : pytorch и safetensors. Демо можно попробовать на HF Space. ▶️Пример кода запуска на Transformers:

from PIL import Image
import matplotlib.pyplot as plt
import torch
from torchvision import transforms
from transformers import AutoModelForImageSegmentation

model = AutoModelForImageSegmentation.from_pretrained('briaai/RMBG-2.0', trust_remote_code=True)
torch.set_float32_matmul_precision(['high', 'highest'][0])
model.to('cuda')
model.eval()

# Data settings
image_size = (1024, 1024)
transform_image = transforms.Compose([
    transforms.Resize(image_size),
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

image = Image.open(input_image_path)
input_images = transform_image(image).unsqueeze(0).to('cuda')

# Prediction
with torch.no_grad():
    preds = model(input_images)[-1].sigmoid().cpu()
pred = preds[0].squeeze()
pred_pil = transforms.ToPILImage()(pred)
mask = pred_pil.resize(image.size)
image.putalpha(mask)

image.save("no_bg_image.png")

📌Лицензирование: 🟢Некоммерческое использование: Creative Commons license 🟠Коммерческое использование: на основании коммерческого соглашения с BRIA 🟡Модель 🟡Demo @ai_machinelearning_big_data #AI #ML #BiRefNet #RMBG #BRIAAI

🔥 Интересный сайт, на котором предоставлена подробная визуальная реализация работы таких LLM, как GPT-2 (small и XL), GPT-3 и nano-gpt! 🔗 Ссылка: *клик* @machinelearning_interview

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data C++ t.me/cpluspluc Python: t.me/pythonl Linux: t.me/linuxacademiya Хакинг: t.me/linuxkalii Devops: t.me/DevOPSitsec Data Science: t.me/datascienceiot Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/javatg Базы данных: t.me/sqlhub Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Docker: t.me/DevopsDocker Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai Собеседования МЛ: t.me/machinelearning_interview МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Разработка игр: https://t.me/gamedev 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

🌟 LLaMA-Mesh: метод генерации 3D-мешей с помощью LLM. LLaMA-Mesh - метод, разработанный NVIDIA Labs, позволяющий генерировать 3D-модели с помощью текстовых инструкций, используя LLM. В отличие от других методов, LLaMA-Mesh представляет координаты вершин и определения граней 3D-сеток в виде простого текста, что позволяет напрямую интегрировать их с LLM без расширения словаря, минимизируя дополнительные затраты на обучение и позволяя использовать знания, которые уже имеют LLM. Метод основан на файнтюне LLaMA-3.1-8B-Instruct на специальном наборе данных., который состоит из пар "текст-3D" и интерактивных диалогов, содержащих текст и 3D-модели. В результате этого обучения, LLaMA-Mesh получает способность генерировать высококачественные 3D-сетки с различной топологией, сопоставимые по качеству с моделями, обученными с нуля, при этом сохраняя языковые способности, обеспечивая понимание сложных инструкций и ведения контекстуально-зависимых диалогов. Оценка LLaMA-Mesh проводилась на качественных и количественных экспериментах. Результаты качественных тестов демонстрируют высокую точность, качество и разнообразие сгенерированных 3D-моделей, а также сохраненные языковые возможности модели. Количественные тесты в бенчмарках MMLU, PIQA, HellaSwag и GSM8K подтвердили сохранение языковых способностей, сравнимые с фундаментальными моделями LLaMA. ⚠️ Код и предварительно обученные веса обещают опубликовать в ближайшее время. 🟡Страница проекта 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #3DGen #LlamaMesh #NVIDIA

📌Machine Learning cheatshee Шпаргалка по ML от Стэнфорда, здесь даны метрики классификации, метрики регрессии, описывается кросс-валидация, регуляризация и не только 📎 Шпаргалка 🟡 PDF-версия @machinelearning_interview

⚡️ JanusFlow: унифицированная MMLM понимания и генерации изображений от DeepSeekAI. JanusFlow - уникальная комбинация LLM с Rectified Flow и SDXL-VAE для задач понимания и генерации изображений. Архитектура JanusFlow построена на улучшенной версии DeepSeek-LLM-1.3B, дополненной двумя специализированными энкодерами изображений: SigLIP для задач понимания и ConvNeXt для задач генерации. Разделение энкодеров предотвращает интерференцию задач и повышает эффективность модели. JanusFlow обучалась в 3 этапа. На первом этапе адаптировались линейные слои, энкодер и декодер генерации. На втором этапе - унифицированное предварительное обучение всей модели, за исключением визуального энкодера. На третьем этапе - SFT с использованием инструкций, диалогов и примеров генерации изображений. В тестах генерации изображений MJHQ FID-30k, GenEval и DPG-Bench, JanusFlow превосходит SD1.5 и SDXL. В тестах понимания MMBench, SeedBench и GQA, JanusFlow превосходит LLaVA-v1.5 и Qwen-VL-Chat. Локальный запуск возможен в CLI на Transformers и с webUI на Gradio. Примеры CLI-инференса для задач понимания и генерации можно найти в репозитории проекта. ▶️Установка и запуск с GradioUI:

# install the necessary dependencies
pip install -e .
pip install diffusers[torch]

# run local gradio demo
pip install -e .[gradio]

python demo/app_janusflow.py

📌Лицензирование кода : MIT License. 📌Лицензирование модели: DeepSeek Model License. 🟡Модель 🟡Arxiv 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #MMLM #Deepseek #JanusFlow

Яндекс проведет «Ночь опенсорс библиотек» На мероприятии можно будет познакомиться с разработчиками крупных опенсорс проектов и внести вклад в их развитие, даже если это ваш первый коммит. ML-специалисты смогут познакомиться с кейсами оптимизации обучения с помощью CatBoost (библиотека для градиентного бустинга на дереве решений) и YaFSDP (библиотека для ускорения обучения LMM). А еще поучаствовать в воркшопах и мини-хакатонах, пройти экскурсию по закрытым частям библиотеки и изучить генеративную визуализацию с лайфкодингом под живую музыку. Ивент состоится 14 декабря в московской Библиотеке иностранной литературы. Зарегистрироваться можно тут до 4 декабря.

🔥 Огромный репозиторий со различной литературой по различным разделам IT, в том числе по машинному обучению, data science и ИИ! 🔐 Лицензия: CC-BY-4.0 🖥 GitHub @machinelearning_interview

🤖Вы слышали о ChatGPT, но не знаете, как он работает? А как языковые модели меняют мир, в котором мы живём? Если вы хотите разобраться в этом и узнать, как применять эти технологии в своих проектах, не пропустите наш бесплатный открытый урок 20 ноября в 18:00 мск! ⚡️На вебинаре: -погрузимся в историю развития языковых моделей от базовых концепций до современных LLM (Large Language Models), таких как ChatGPT. -Вы узнаете, какие методы и технологии стоят за этими интеллектуальными системами и как их можно использовать для решения задач Natural Language Processing (NLP). Спикер Мария Тихонова – PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ. 👉Регистрация: https://vk.cc/cE9ydZ?erid=LjN8KB2Xt  Встречаемся в преддверии старта курса «Natural Language Processing (NLP)». Все участники вебинара получат специальную цену на обучение! Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

📌 Практические упражнения и дополнительные материалы к книге "Build a Large Language Model (From Scratch)" Репозиторий на Github c прикладными упражнениями, ноутбуками с кодом для разработки, предварительной подготовки и тонкой настройке LLM-модели типа GPT по одной из лучших книг о построении LLM с нуля. ▶️ О книге: В книге вы узнаете и поймете, как работают большие языковые модели изнутри, создавая собственную LLM шаг за шагом, c подробным объяснением каждого этапа понятным языком, диаграммами и примерами. Метод, описанный в книге демонстрирует подход, используемый при создании крупных фундаментальных моделей, таких как те, что лежат в основе ChatGPT. В репозитории к каждой главе книги соответствуют несколько (3-4) прикладных примеров в формате ipynb или в виде исполняемого python-скрипта. Код ориентирован на широкую аудиторию, разработан для запуска на обычных ноутбуках и не требует специализированного оборудования. ▶️Главная ценность репозитория - дополнительные практические материалы, которые помогут глубже изучить тонкости и нюансы процесса настройки и обучения LLM: Настройка 🟢Советы на настройке Python 🟢Установка пакетов и библиотек Python 🟢Руководство по настройке среды Docker Глава 2: Работа с текстовыми данными 🟠Сравнение различных реализаций Byte Pair Encoding (BPE) 🟠Понимание разницы между embedding и линейными слоями 🟠Dataloader Intuition с простыми числами Глава 3: Код механизмов внимания 🟢Сравнение эффективных реализаций Multi-Head Attention 🟢Буферы PyTorch Глава 4: Реализация модели GPT с нуля 🟠Анализ FLOPS Глава 5: Предварительное обучение на немаркированных данных 🟢Альтернативная загрузка весов с HuggingFace с использованием Transformers 🟢Предварительное обучение GPT на наборе данных проекта Gutenberg 🟢Добавление дополнительных функций в цикл обучения 🟢Оптимизация гиперпараметров для предварительного обучения 🟢Создание пользовательского интерфейса для взаимодействия с LLM 🟢Преобразование GPT в Llama 🟢Llama 3.2 с нуля 🟢Memory-efficient загрузка модели Глава 6: Тонкая настройка для классификации 🟠Дополнительные эксперименты по точной настройке различных слоев и использованию более крупных моделей 🟠Тонкая настройка различных моделей на основе датасета обзоров фильмов IMDB объемом 50 тыс. строк. 🟠Создание пользовательского интерфейса для взаимодействия с классификатором спама на основе GPT Глава 7: Тонкая настройка для следования инструкциям 🟢Утилиты набора данных для поиска близких дубликатов и создания записей в пассивном залоге 🟢Оценка ответов на инструкции с использованием API OpenAI и Ollama 🟢Создание датасета для точной настройки инструкций 🟢Улучшение набора данных для точной настройки инструкций 🟢Создание набора данных предпочтений с помощью Llama 3.1 70B и Ollama 🟢DPO для процедуры LLM Alignment 🟢Создание пользовательского интерфейса для взаимодействия с моделью GPT с тонкой настройкой инструкций 🖥Github @ai_machinelearning_big_data #AI #ML #LLM #Tutorial #Github

Разбираем тестовое задание на позицию Junior Аналитика в Самокат Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму. Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем решать типичные задачи на SQL, которые дают на собеседованиях аналитикам на основании данных из Самоката. Что будет на вебинаре: - Проведем аналитику заказов и клиентов с помощью SQL - Разберем фишки кода на SQL: CASE в агрегациях, удобная фильтрация и другие - Построим мини-дашборд продаж в Metabase Вебинар проведет Андрон Алексанян, CEO Simulative 🕗Встречаемся 12 ноября в 19:00 🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике! Зарегистрироваться на бесплатный вебинар

🔘GSCo: совместное использование LLM общего назначения и экспертных моделей в медицинской визуализации. GSCo (Generalist-Specialist Collaboration) - система, которая использует преимущества моделей общего назначения (GFM) и экспертных моделей для повышения точности анализа медицинских изображений. В процессе создания GFM была разработана MedDr – самая большая на данный момент модель общего назначения с открытым исходным кодом для медицины. MedDr обучалась на наборе данных из 2 млн. пар "изображение - текст" различных медицинских модальностей. Параллельно были созданы небольшие экмпертные модели для конкретных задач. На этапе совместного инференса используются два механизма: MoED (Mixture-of-Expert Diagnosis) и RAD (Retrieval-Augmented Diagnosis). MoED использует прогнозы экспертных моделей как справочную информацию, а RAD применяет их для поиска похожих случаев. Результаты MoED и RAD объединяются и предоставляются MedDr в качестве контекстной информации. Чтобы оценить MedDr и GSCo был создан датасет из 28 наборов данных и 250 000 тестовых изображений из 10 медицинских модальностей. Результаты экспериментов показали, что MedDr превосходит другие GFM в решении многих задач медицинской визуализации. GSCo демонстрирует высокую производительность по сравнению как с GFM, так и со специализированными моделями, особенно в задачах диагностики заболеваний вне области обучения. 📌 Читать полностью @machinelearning_interview

Разбираем основные принципы работы AutoML на открытом уроке «AutoML и подбор гипер-параметров» от Otus 🔹В эфире проговорим про основные концепции, преимущества и недостатки AutoML Рассмотрим разные способы подбора гиперпарамеров, их плюсы и минусы ✅ Практика на примере популярных библиотек pycaret и hyperopt. Получите базовые навыки работы с инструментами для автоматизации подбора моделей и гиперпараметров 👉 Регистрация и подробности: https://otus.pw/6kvy/?erid=LjN8KKuaR #реклама О рекламодателе

💡 cognitive-load — это репозиторий, посвящённый снижению когнитивной нагрузки в программировании. В нём собраны лучшие практики и рекомендации, как упрощать восприятие кода и интерфейсов, чтобы они стали более понятными и удобными для работы. 🌟 Основная цель — уменьшить усилия, которые требуется приложить для понимания и использования программного обеспечения, что способствует повышению продуктивности и улучшению пользовательского опыта. 🔐 Лицензия: CC-BY-4.0 🖥 Github @machinelearning_interview

🔉 Hertz-dev 8.5 B Hertz-dev - это мощная модель для работы с аудио с открытым исходным кодом. Hertz-dev создан на основе 20 миллионов уникальных часов высококачественных аудиоданных. Hertz-dev - это базовая модель, без тонкой настройки, RLHF. Ее можно настроить практически для любой задачи моделирования звука, от трансляции в реальном времени до классификации аудио. Поддерживает: преобразование речи в текст, перевод, классификация, распознавание речи, преобразование текста в речь и многое другое! 📌 Ссылка @machinelearning_interview