Machine learning Interview

есom.teсh meetup — Generative AI 6 декабря 18:00 в Москве пройдёт митап по прикладному использованию генеративных технологий для специалистов по Data Science! Обсудим технические аспекты экспериментов с нейронными сетями, посмотрим свежие кейсы внедрения ИИ в бигтехе и не только. В программе: 👁‍🗨 Виртуальная фотосъемка для продавца на маркетплейсе: возможности Gen AI. Арнольд Сааков, руководитель отдела разработки сервисов искусственного интеллекта в ecom.tеch. 👁‍🗨 От потоковой обработки к генерации: AI-алгоритмы для автоматизации работы с фотографиями товаров на маркетплейсе. Александр Савельев, руководитель группы развития технологий компьютерного зрения в ecom.tеch; Татьяна Гришина, менеджер продукта в ecom.tеch. 👁‍🗨 Секретный доклад. Митап будет интересен тем, кто уже работает или проходит обучение в области Data Science и интересуется генеративными технологиями! 🧠 Регистрируйтесь и пересылайте знакомым! Реклама. ООО "УМНОЕ ПРОСТРАНСТВО", ИНН 7811554010, Erid: 2VSb5z72bzg

⭐️ Katz - это мощный инструментарий от facebookresearch для анализа временных рядов. Это легкая и простая в использовании библиотека . Она позволяет делать: - Прогнозирование - Обработку данных - Извлечение признаков - Моделирование Установка: pip install --upgrade pip pip install kats Пример использования:

# import packages
import numpy as np
import pandas as pd

from kats.consts import TimeSeriesData
from kats.detectors.cusum_detection import CUSUMDetector

# simulate time series with increase
np.random.seed(10)
df_increase = pd.DataFrame(
    {
        'time': pd.date_range('2019-01-01', '2019-03-01'),
        'increase':np.concatenate([np.random.normal(1,0.2,30), np.random.normal(2,0.2,30)]),
    }
)

# convert to TimeSeriesData object
timeseries = TimeSeriesData(df_increase)

# run detector and find change points
change_points = CUSUMDetector(timeseries).detector()

` ▪Примеры работы: https://github.com/facebookresearch/Kats/tree/main/tutorials ▪Пакет Kats Python: https://pypi.org/project/kats/ ▪Блог Facebook: https://engineering.fb.com/2021/06/21/open-source/kats/ ▪Исходный код: https://github.com/facebookresearch/kats @machinelearning_interview

Как сэкономить до 44% на профессиональных GPU? 💰 Профессиональные GPU стоят дорого и покупать их не всегда выгодно. Например, если вам нужно протестировать сервис или выполнить краткосрочную задачу. Оптимальное решение — арендовать видеокарту в облаке. Тем более сейчас в Selectel вы можете сделать это с большой выгодой. Скидка на аренду GPU NVIDIA A100 (40 ГБ) — 29%, а на NVIDIA A30 (24 ГБ) доходит до 44%. Кроме скидки, при аренде GPU в облаке Selectel вы получаете: 🔹Отсутствие переплат и тарификацию только за используемые ресурсы 🔹Экономию на инфраструктуре благодаря прерываемым облачным серверам и возможности заморозки ресурсов 🔹Широкий выбор готовых конфигураций серверов под любые задачи и возможность индивидуальной настройки Арендуйте GPU со скидкой до 44% в облаке Selectel: https://slc.tl/lll90 Реклама, АО «Селектел», ИНН: 7810962785, ERID: 2Vtzqx3sapf

📖 Конспект лекций по теории графов в Университете штата Пенсильвания (для студентов бакалавриата) 📌 PDF: https://roam.libraries.psu.edu/system/files/e-books/MATH485-Graph_Theory.pdf @machinelearning_interview

⚡️ "Самая быстрая библиотека глубокого обучения с подкреплением" Библиотека C++ Deep RL, создана для запуска DL проектов "на лету" за считанные секунды Что она предлагает: 📐 Высокопроизводительная библиотека C++ Deep RL, оптимизированная для задач непрерывного контроля ✅ Собственные реализации алгоритмов TD 3, PPO, SAC с ускорением CPU/CUDA ✅ Поддержка развертывания микроконтроллеров (ESP32, Teensy, PX4, iOS) ✅ Привязка Python через PyPI для среды залов 🔹 В 2-4 раза быстрее, чем существующие библиотеки RL на CPU / GPU ▪Github ▪Colab ▪Документация @machinelearning_interview

Появился новый сервис для создания умных ассистентов на базе YandexGPT Разработка от Yandex Cloud позволит компаниям создать своего AI-ассистента с помощью Yandex Cloud ML SDK или реализуя запросы к API на языке программирования. Это стало возможно благодаря AI Assistant API, который объединяет языковую модель YandexGPT и технологию поиска по базам знаний Retrieval Augmented Generation (RAG) для интеграции с внешними бизнес‑системами. Технология позволит ускорить внедрение языковых моделей в бизнес-процессы в среднем на 30%. Плюсы AI Assistant API: - Инструмент содержит все необходимые функции для создания умных помощников: создавать код с нуля не нужно. - Внутри инструмента реализованы все нужные взаимодействия модели, баз знаний и хранение контекста - Можно выбрать подходящую версию YandexGPT — Lite или Pro, чтобы адаптировать под свои задачи другие компоненты сервиса: базы знаний и параметры генерации текста. Даже современные LLM-модели не способны знать все внутренние процессы компании. Могут возникнуть проблемы с тем, чтобы, например, помочь сотруднику с оформлением командировки. Однако с помощью AI-ассистента есть возможность наделить модель этими знаниями. В сервис можно загрузить до 1 000 файлов, максимальный размер каждого файла — 128 МБ. @machinelearning_interview

📹 3blue1brown представил самую короткую и понятную лекцию о нейросетях! В новом выпуске он рассказывает о механизме внимания и трансформерах. Лекция стала еще более сжатой и увлекательной! Идеально подходит для абсолютных новичков и даже для тех, кто далек от техники. Автор уложился всего в 9 минут, чтобы доступно объяснить ключевые аспекты работы нейросети с помощью яркой графики и простых примеров. 📌 Оригинал @machinelearning_interview

🖥 Complete-Advanced-SQL-Series Этот репозиторий содержит все, что вам нужно, чтобы прокачать свои навыки работы с #SQL. Более 100 упражнений и примеров по SQL. ▪Github @machinelearning_interview

✔️ Mistral представил новые модели и обновленные функции чат-бота. Mistral выпустила ряд обновлений своих продуктов: платформа чат-ботов Mistral, Le Chat, теперь может осуществлять поиск в Интернете с цитированием источников, подобно ChatGPT и Perplexity. Она также получила инструмент «canvas», аналогичный ChatGPT Canvas, позволяющий пользователям изменять, преобразовывать или редактировать макеты веб-страниц и визуализации данных, используя модели ИИ Mistral. Le Chat теперь может обрабатывать большие PDF-документы и изображения для анализа и обобщения, включая файлы, содержащие графики и уравнения. Некоторые из новых возможностей Le Chat стали возможны благодаря новым моделям Mistral: Pixtral Large, которая может обрабатывать текст и изображения и Mistral Large 3, новой флагманской модели генерации текста. Все новые функции Le Chat останутся бесплатными в бета-версии. Новая версия Pixtral включает 124 миллиарда параметров и поддерживает контекст до 128 тысяч токенов. Модель способна работать с текстовыми данными, изображениями, файлами и графиками. Pixtral Large демонстрирует превосходство в решении сложных математических задач и практических вопросов, опережая такие модели, как Gemini 1.5 Pro и GPT-4o, особенно в области анализа графиков и обработки документов. Обновлённый Le Chat теперь оснащён функцией веб-поиска, возможностью анализа документов, генерацией изображений (с использованием технологии Flux Pro от Black Forest Labs), а также новым режимом Canvas, который позволяет пользователям работать с текстом, кодом и взаимодействовать с чат-ботом, подобно ChatGPT. 📌 mistral.ai @machinelearning_interview

🎓Погружаемся в мир обучения с подкреплением (RL) и изучаем его применение в разработке рекомендательных систем! ⚡3 декабря в 20.00 мск приходите на открытый вебинар "Автоматизация инжениринга признаков", на котором мы разберем: - сильные и слабые стороны алгоритмов классического RL и Deep RL.; - постановку задачи о многоруком бандите для классического и Deep RL. - подходы к применению задачи о многоруком бандите для разработки рекомендательных систем 👉Регистрация. Участие бесплатно https://otus.pw/cWAV/?erid=LjN8KQrn8 Встречаемся в преддверии старта курса «Reinforcement Learning» в OTUS. Обучение на курсе позволит применять алгоритмы RL для решения разнообразных задач в реальном мире, включая игровую индустрию, робототехнику, управление энергетическими системами и управление финансовым портфелем #реклама О рекламодателе

⚡️ BRIA Background Removal v2.0 Model. RMBG v2.0 - новая модель удаления фона, предназначенная для эффективного отделения переднего плана от фона в различных категориях и типах изображений. Точность, эффективность и универсальность RMBG v2.0 конкурирует с ведущими SOTA-моделями. RMBG-2.0 разработана на основе архитектуры BiRefNet и обучена на более чем 15 000 высококачественных, высокого разрешения, вручную маркированных (с точностью до пикселя), полностью лицензированных изображений. Модель доступна на HF в двух версиях : pytorch и safetensors. Демо можно попробовать на HF Space. ▶️Пример кода запуска на Transformers:

from PIL import Image
import matplotlib.pyplot as plt
import torch
from torchvision import transforms
from transformers import AutoModelForImageSegmentation

model = AutoModelForImageSegmentation.from_pretrained('briaai/RMBG-2.0', trust_remote_code=True)
torch.set_float32_matmul_precision(['high', 'highest'][0])
model.to('cuda')
model.eval()

# Data settings
image_size = (1024, 1024)
transform_image = transforms.Compose([
    transforms.Resize(image_size),
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

image = Image.open(input_image_path)
input_images = transform_image(image).unsqueeze(0).to('cuda')

# Prediction
with torch.no_grad():
    preds = model(input_images)[-1].sigmoid().cpu()
pred = preds[0].squeeze()
pred_pil = transforms.ToPILImage()(pred)
mask = pred_pil.resize(image.size)
image.putalpha(mask)

image.save("no_bg_image.png")

📌Лицензирование: 🟢Некоммерческое использование: Creative Commons license 🟠Коммерческое использование: на основании коммерческого соглашения с BRIA 🟡Модель 🟡Demo @ai_machinelearning_big_data #AI #ML #BiRefNet #RMBG #BRIAAI

🔥 Интересный сайт, на котором предоставлена подробная визуальная реализация работы таких LLM, как GPT-2 (small и XL), GPT-3 и nano-gpt! 🔗 Ссылка: *клик* @machinelearning_interview

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data C++ t.me/cpluspluc Python: t.me/pythonl Linux: t.me/linuxacademiya Хакинг: t.me/linuxkalii Devops: t.me/DevOPSitsec Data Science: t.me/datascienceiot Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/javatg Базы данных: t.me/sqlhub Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Docker: t.me/DevopsDocker Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai Собеседования МЛ: t.me/machinelearning_interview МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Разработка игр: https://t.me/gamedev 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

🌟 LLaMA-Mesh: метод генерации 3D-мешей с помощью LLM. LLaMA-Mesh - метод, разработанный NVIDIA Labs, позволяющий генерировать 3D-модели с помощью текстовых инструкций, используя LLM. В отличие от других методов, LLaMA-Mesh представляет координаты вершин и определения граней 3D-сеток в виде простого текста, что позволяет напрямую интегрировать их с LLM без расширения словаря, минимизируя дополнительные затраты на обучение и позволяя использовать знания, которые уже имеют LLM. Метод основан на файнтюне LLaMA-3.1-8B-Instruct на специальном наборе данных., который состоит из пар "текст-3D" и интерактивных диалогов, содержащих текст и 3D-модели. В результате этого обучения, LLaMA-Mesh получает способность генерировать высококачественные 3D-сетки с различной топологией, сопоставимые по качеству с моделями, обученными с нуля, при этом сохраняя языковые способности, обеспечивая понимание сложных инструкций и ведения контекстуально-зависимых диалогов. Оценка LLaMA-Mesh проводилась на качественных и количественных экспериментах. Результаты качественных тестов демонстрируют высокую точность, качество и разнообразие сгенерированных 3D-моделей, а также сохраненные языковые возможности модели. Количественные тесты в бенчмарках MMLU, PIQA, HellaSwag и GSM8K подтвердили сохранение языковых способностей, сравнимые с фундаментальными моделями LLaMA. ⚠️ Код и предварительно обученные веса обещают опубликовать в ближайшее время. 🟡Страница проекта 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #3DGen #LlamaMesh #NVIDIA

📌Machine Learning cheatshee Шпаргалка по ML от Стэнфорда, здесь даны метрики классификации, метрики регрессии, описывается кросс-валидация, регуляризация и не только 📎 Шпаргалка 🟡 PDF-версия @machinelearning_interview

⚡️ JanusFlow: унифицированная MMLM понимания и генерации изображений от DeepSeekAI. JanusFlow - уникальная комбинация LLM с Rectified Flow и SDXL-VAE для задач понимания и генерации изображений. Архитектура JanusFlow построена на улучшенной версии DeepSeek-LLM-1.3B, дополненной двумя специализированными энкодерами изображений: SigLIP для задач понимания и ConvNeXt для задач генерации. Разделение энкодеров предотвращает интерференцию задач и повышает эффективность модели. JanusFlow обучалась в 3 этапа. На первом этапе адаптировались линейные слои, энкодер и декодер генерации. На втором этапе - унифицированное предварительное обучение всей модели, за исключением визуального энкодера. На третьем этапе - SFT с использованием инструкций, диалогов и примеров генерации изображений. В тестах генерации изображений MJHQ FID-30k, GenEval и DPG-Bench, JanusFlow превосходит SD1.5 и SDXL. В тестах понимания MMBench, SeedBench и GQA, JanusFlow превосходит LLaVA-v1.5 и Qwen-VL-Chat. Локальный запуск возможен в CLI на Transformers и с webUI на Gradio. Примеры CLI-инференса для задач понимания и генерации можно найти в репозитории проекта. ▶️Установка и запуск с GradioUI:

# install the necessary dependencies
pip install -e .
pip install diffusers[torch]

# run local gradio demo
pip install -e .[gradio]

python demo/app_janusflow.py

📌Лицензирование кода : MIT License. 📌Лицензирование модели: DeepSeek Model License. 🟡Модель 🟡Arxiv 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #MMLM #Deepseek #JanusFlow

Яндекс проведет «Ночь опенсорс библиотек» На мероприятии можно будет познакомиться с разработчиками крупных опенсорс проектов и внести вклад в их развитие, даже если это ваш первый коммит. ML-специалисты смогут познакомиться с кейсами оптимизации обучения с помощью CatBoost (библиотека для градиентного бустинга на дереве решений) и YaFSDP (библиотека для ускорения обучения LMM). А еще поучаствовать в воркшопах и мини-хакатонах, пройти экскурсию по закрытым частям библиотеки и изучить генеративную визуализацию с лайфкодингом под живую музыку. Ивент состоится 14 декабря в московской Библиотеке иностранной литературы. Зарегистрироваться можно тут до 4 декабря.

🔥 Огромный репозиторий со различной литературой по различным разделам IT, в том числе по машинному обучению, data science и ИИ! 🔐 Лицензия: CC-BY-4.0 🖥 GitHub @machinelearning_interview

🤖Вы слышали о ChatGPT, но не знаете, как он работает? А как языковые модели меняют мир, в котором мы живём? Если вы хотите разобраться в этом и узнать, как применять эти технологии в своих проектах, не пропустите наш бесплатный открытый урок 20 ноября в 18:00 мск! ⚡️На вебинаре: -погрузимся в историю развития языковых моделей от базовых концепций до современных LLM (Large Language Models), таких как ChatGPT. -Вы узнаете, какие методы и технологии стоят за этими интеллектуальными системами и как их можно использовать для решения задач Natural Language Processing (NLP). Спикер Мария Тихонова – PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ. 👉Регистрация: https://vk.cc/cE9ydZ?erid=LjN8KB2Xt  Встречаемся в преддверии старта курса «Natural Language Processing (NLP)». Все участники вебинара получат специальную цену на обучение! Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

📌 Практические упражнения и дополнительные материалы к книге "Build a Large Language Model (From Scratch)" Репозиторий на Github c прикладными упражнениями, ноутбуками с кодом для разработки, предварительной подготовки и тонкой настройке LLM-модели типа GPT по одной из лучших книг о построении LLM с нуля. ▶️ О книге: В книге вы узнаете и поймете, как работают большие языковые модели изнутри, создавая собственную LLM шаг за шагом, c подробным объяснением каждого этапа понятным языком, диаграммами и примерами. Метод, описанный в книге демонстрирует подход, используемый при создании крупных фундаментальных моделей, таких как те, что лежат в основе ChatGPT. В репозитории к каждой главе книги соответствуют несколько (3-4) прикладных примеров в формате ipynb или в виде исполняемого python-скрипта. Код ориентирован на широкую аудиторию, разработан для запуска на обычных ноутбуках и не требует специализированного оборудования. ▶️Главная ценность репозитория - дополнительные практические материалы, которые помогут глубже изучить тонкости и нюансы процесса настройки и обучения LLM: Настройка 🟢Советы на настройке Python 🟢Установка пакетов и библиотек Python 🟢Руководство по настройке среды Docker Глава 2: Работа с текстовыми данными 🟠Сравнение различных реализаций Byte Pair Encoding (BPE) 🟠Понимание разницы между embedding и линейными слоями 🟠Dataloader Intuition с простыми числами Глава 3: Код механизмов внимания 🟢Сравнение эффективных реализаций Multi-Head Attention 🟢Буферы PyTorch Глава 4: Реализация модели GPT с нуля 🟠Анализ FLOPS Глава 5: Предварительное обучение на немаркированных данных 🟢Альтернативная загрузка весов с HuggingFace с использованием Transformers 🟢Предварительное обучение GPT на наборе данных проекта Gutenberg 🟢Добавление дополнительных функций в цикл обучения 🟢Оптимизация гиперпараметров для предварительного обучения 🟢Создание пользовательского интерфейса для взаимодействия с LLM 🟢Преобразование GPT в Llama 🟢Llama 3.2 с нуля 🟢Memory-efficient загрузка модели Глава 6: Тонкая настройка для классификации 🟠Дополнительные эксперименты по точной настройке различных слоев и использованию более крупных моделей 🟠Тонкая настройка различных моделей на основе датасета обзоров фильмов IMDB объемом 50 тыс. строк. 🟠Создание пользовательского интерфейса для взаимодействия с классификатором спама на основе GPT Глава 7: Тонкая настройка для следования инструкциям 🟢Утилиты набора данных для поиска близких дубликатов и создания записей в пассивном залоге 🟢Оценка ответов на инструкции с использованием API OpenAI и Ollama 🟢Создание датасета для точной настройки инструкций 🟢Улучшение набора данных для точной настройки инструкций 🟢Создание набора данных предпочтений с помощью Llama 3.1 70B и Ollama 🟢DPO для процедуры LLM Alignment 🟢Создание пользовательского интерфейса для взаимодействия с моделью GPT с тонкой настройкой инструкций 🖥Github @ai_machinelearning_big_data #AI #ML #LLM #Tutorial #Github