Machinelearning

СберТех представил замену IntelliJ IDEA – среду разработки GIGA IDE 1 июля JetBrains отключила россиянам возможность скачивать одну из самых известных сред разработки на Java – IntelliJ IDEA, что заставило многих разработчиков побеспокоиться. Но СберТех представил решение - российскую среду разработки GIGA IDE, которая может стать заменой ушедшей среде. GIGA IDE позволяет вести разработку на популярных языках программирования, обеспечивает совместимость с востребованными плагинами, а встроенный в среду AI-ассистент GIGA CODE позволяет писать код до 25% быстрее. - GIGA IDE Desktop – это интегрированная среда разработки, которая включает 70 инструментов для облегчения задач разработки, автоматизации тестирования и администрирования приложений. Разработчики уже могут скачать GIGA IDE Desktop на платформе GitVerse. - GIGA IDE Cloud позволит вести разработку в облаке, расширив возможности устройства дополнительными облачными ресурсами. Чтобы первыми получить доступ к GIGA IDE Cloud – регистрируйтесь на платформе GitVerse на раннее тестирование. *AI (Artificial Intelligence) - «искусственный интеллект»

🌟 Paint by Inpaint — высокоточный Instruct pix2pix по текстовому запросу. Navve Wasserman с коллегами представили улучшенный вариант Instruct pix2pix - "Paint by Inpaint". Методика улучшения: — был создан конвейер обработки изображений, который с помощью модели inpaint добавлял объекты на изображения. Затем, сравнивая исходное изображение с полученным, вычиталась разница — так получился датасет PIPE — датасет PIPE был аннотирован большой моделью VLM и обработан для устранения артефактов маскированя объектов — так получился набор высокодетализированных объектов для вычитания — эти два противоположных процесса: удаление и добавление объектов совместили, примменя контроль большей точностью (аналогично GAN), в результате чего была получена модель, очень точно добавляющая объекты на изображения по текстовому запросу. Предобученные модели Paint-By-Inpaint: - addition-base-model - базовое добавление объектов - addition-finetuned-model - файнтюн на датасете MagicBrush - general-base-model - удаление и добавление объектов - general-finetuned-model - файнтюн на датасете MagicBrush Датасет PIPE для обучения и тестирования на HuggingFace Пример загрузки тестового набора:

from datasets import load_dataset
from torch.utils.data import DataLoader
from dataset.dataset import PIPE_Dataset

data_files = {"train": "data/train-*", "test": "data/test-*"}
pipe_dataset  = load_dataset('paint-by-inpaint/PIPE',data_files=data_files)

train_dataset = PIPE_Dataset(pipe_dataset, split='train')
train_dataloader = DataLoader(train_dataset, batch_size=32, shuffle=True)

test_dataset = PIPE_Dataset(pipe_dataset, split='test')
test_dataloader = DataLoader(test_dataset, batch_size=1, shuffle=True)

▪ Страница проекта Paint by Inpaint ▪ Paper ▪ Demo ▪ GitHub @ai_machinelearning_big_data

🌟 ManiWAV:— обучение роботизированные системы аудио-визуальному самоконтролю. Исследователи из Stanford и Сolambia University при поддержке Toyota Research Institute разработали метод аудиовизуального обучения роботизированных манипуляторов, который превосходит некоторые альтернативные подходы по контактным операциям и может быть применим к любой релевантной промышленной среде. https://github.com/real-stanford/maniwav/blob/main/assets/audio_teaser.jpg?raw=true Для самостоятельного тестирования и применения нужны: - совместимость с Universal Manipulation Interface (UMI) - установить микрофоны на целевой манипулятор (рекомендации + модель грипера с держателем) - загрузить датасет и модель Доступны режимы тренировки и тестирования ( под ссылками строки кода для выполнения команд) Тренировка выполняется при помощи CUDA, рекомендованный GPU: NVIDIA GeForce RTX 3090 24 GB, но есть поддержка multi-GPU 🟡 Страница проекта ManiWAV 🟡 Paper 🟡Summary Video 🖥 GitHub @ai_machinelearning_big_data

🔥 Depth Anything v2: Новый уровень построение карты глубины Версия 2 значительно улучшена за счет комбинации уточненных синтетических данных и hi-res набора реальных изображений в датасете обучения. Диапазон параметров моделей - от 25М до 1.3B. 💙 👉 Линейка моделей: - Depth-Anything-V2-Small (24.8М) Apache-2.0 - Depth-Anything-V2-Base (97.5М) CC-BY-NC-4.0 - Depth-Anything-V2-Large (335М) CC-BY-NC-4.0 - Depth-Anything-V2-Giant (1.3В) CC-BY-NC-4.0 Coming soon 👉 Реализовано использование V2: - TensorRT - ONNX - ComfyUI - Transformers.js (real-time depth in web) - Android ▪Paper ▪Project ▪Repo ▪Demo @ai_machinelearning_big_data

Станьте профессионалом в области Data Science и машинного обучения в магистратуре от Центрального университета! Центральный университет — современный вуз, созданный при поддержке ведущих компаний России: Т-Банка, Авито и других. Получите диплом магистра в области математики и компьютерных наук и обучайтесь на основе реальных кейсов ведущих ИТ-компаний у профессоров из МГУ, МФТИ, РЭШ и практиков из индустрии. Хорошая новость для тех, кто уже имеет опыт в Data Science и машинном обучении — вы можете пропустить базовое обучение и закончить магистратуру за 3 семестра. У каждого студента будет: - личный ментор по траектории обучения; - доступ к карьерному центру с коучами и консультантами; - опыт работы в проектах партнеров уже во время обучения. Участвуйте в онлайн-отборе, чтобы выиграть грант на обучение до 1,2 млн рублей. Больше подробностей про университет и конкурс грантов по ссылке! erid:2Vtzqw3oacG Реклама, АНО ВО «Центральный университет», ИНН 7743418023

⚡️ Microsoft обновила собственный бесплатный курс по генеративному ИИ В курсе видео, практика (код) и дополнительные материалы. Пргорамма курса состоит из изучения структуры и работы LLM, тонкостям промптинга, созданию собственного приложения для генерации изображений, функционалу RAG для LLM и принципам файнтюна. Для прохождения курса нужны: - учетная запись на Azure - доступ к api OpenAI Разумеется, все методики и манипуляции предлагается выполнять обучающимся в экосистеме Microsoft, на их мощностях и с использованием их сервисов. Бэкенд учебного приложения для генерации картинок - DALLE и Midjourney. Большие надежды строить относительно курса не стоит - экосисистема Microsoft требует отдельных компетенций, но в качестве базового структурированного курса для новичков - вполне подойдет. 🖥 Курс полностью выложен на Github: https://github.com/microsoft/generative-ai-for-beginners @ai_machinelearning_big_data

🌟 CriticGPT — модель на основе GPT-4, которая помогает увидеть ошибки в ответах ChatGPT Вчера OpenAI выкатили CriticGPT, которая пишет критические замечания к ответам ChatGPT для нахождения ошибок в ответе, что особенно полезно для RLHF (обучения с подкреплением на основе человеческой обратной связи). А вот статья от OpenAi - "LLM Critics Help Catch LLM Bugs - для технарей, о том, как создавался CriticGPT. Из нее следует, что: - аннотаторам-людям в 63 % случаев больше нравились критические заметки CriticGCO, сделанные CriticGPT, чем заметки, сделанные людьми, особенно когда речь шла о поиске ошибок, связанных с LLM ( это к пункту поста про 60%), как видите - формулировка отличается, смысл совершенно другой. - новая техника под названием "Force Sampling Beam Search" используется в CriticGPT, чтобы помочь критикам писать более качественные и подробные рецензии.Этот метод также снижает вероятность "галлюцинаций", которые возникают, когда ИИ делает или предлагает ошибки, которых нет или которые не имеют значения. В CriticGPT одним из важнейших преимуществ является то, что пользователи могут изменять степень тщательности поиска ошибок. То есть процесс не автоматический, вовлеченность человека важна на ранних этапах - CriticGPT не справляется с длинными и сложными заданиями по кодированию, поскольку обучался на коротких ответах ChatGPT - CriticGPT не всегда находит ошибки, которые распространяются на несколько участков кода Плюсы: - Безусловно, это большой шаг вперед в области рецензирования кода с помощью ИИ. - Он улучшит прикладной подход рецензирования кода, позволит сочетать возможности GPT-4 с продвинутым обучением и новыми методами контроля качества ответов. 🟡 Блог-пост OpenAI 🟡Статья @ai_machinelearning_big_data

⚡️ Gemma 2 9B GGUF — набор квантизованных версий Gemma 2 Встречайте набор моделей, полученных квантизацией Gemma 2 с разной степенью сжатия. Для квантизации использовался этот датасет Особенности: - GGuf версии очень слабы, более-менее адекватная - 9B (Q4 и Q5) - Фокус "специализации": текст (стилистика, словарный запас, обсуждения), применимо только к English-language content, программирование - обучение синтаксису и паттернам написания кода ( прокачка скиллов модели по ЯП не уточняются), математика - решение задач, логика постоения ответов. - Модель не поддерживает системные промты 🤗 Hugging Face 🟡 Неквантизованная Gemma 2 @ai_machinelearning_big_data

🖥 Unstructured — библиотека Python для предобработки сырых данных — pip install "unstructured[all-docs]" Unstructured предоставляет компоненты для предобработки изображений, текстовых документов; поддерживает многие форматы: PDF, HTML, Word docs и др. Запустить библиотеку в контейнере:

docker run -dt --name unstructured downloads.unstructured.io/unstructured-io/unstructured:latest
docker exec -it unstructured bash

🖥 GitHub 🟡 Доки @ai_machinelearning_big_data

Лето в самом разгаре, а это значит, что пора на фестиваль! “ЛЦТ.Фест” – событие, которое нельзя пропустить. Сегодня отгремел первый день феста, где гости могли посетить вдохновляющие лекции от топовых экспертов, инновационную выставку с современными решениями, астрошатер с тарологом, а также погрузиться в мир виртуальной реальности в киберпространстве. Завтра будет не менее насыщенный день. А вечером отметим окончание самого масштабного хакатона страны “Лидеры цифровой трансформации” концертом ANNA, группы ХЛЕБ и диджей-сеты от BARBARA и организаторов. Фестиваль проходит в кластере “Ломоносов” по адресу: Раменский бульвар, дом 1. Участие в фестивале бесплатное. У вас еще есть шанс попасть на фест, для этого надо зарегистрироваться на сайте. В поле промокода введите “Machinelearning”. Вход осуществляется строго по билетам. Реклама ГБУ «Агентство инноваций Москвы» ИНН 7703770430 erid: 2SDnjcN9xkS

🌟 Scikit-LLM — библиотека Python, призванная упростить разработку сложных и готовых к продакшену конвейеров NLP — pip install scikit-llm Scikit-LLM может взаимодействовать с различными провайдерами LLM, независимо от того, работают ли они локально (например, GPT4All) или в облаке (включая Azure, OpenAI и Vertex AI). Scikit-LLM поддерживает широкий спектр задач анализа текста, включая классификацию, анализ эмоциональной составляющей и т.д. Для сложных сценариев можно объединить несколько задач в конвейер scikit-learn. 🖥 GitHub 🟡 Доки @data_analysis_ml

В нейросети GigaChat появился новый персонаж - Контент-мейкер. Теперь большинство ваших задач вы можете поручить ему — он подробно расспросит о деталях задачи, уточнит, какая ЦА креатива, поможет с генерацией разного рода контента - и многое другое. Контент-мейкер может: 🔹Помочь с написанием SMM-стратегии 🔹Решить проблему "белого листа" и нагенерить креативов 🔹Разработать контент-план 🔹Разработать УТП для вашего бренда 🔹Сформировать тональность коммуникации для вашего сообщества Персонаж Контент-мейкер в GigaChat отлично справится с каждой из этих задач. Попробуй пообщаться с ним уже сейчас! 🖥 доступен в веб-версии и в боте Telegram 🖥 находится в разделе «Персонажи» или «Выбрать персонажа GigaChat» 🆘 — Контент-мейкер, придумай смешную подпись к этому посту 📝 — надо было попросить Контент-мейкера придумать смешную подпись к посту

🌟 EAGLE — метод, позволяющий ускорить генерацию ответов от LLM Можно ли генерировать ответ от LLM на двух RTX 3060 быстрее, чем на A100 (которая дороже в 16+ раз)? Да, это возможно с алгоритмом EAGLE (Extrapolation Algorithm for Greater Language-model Efficiency), точность ответов при этом сохраняется. EAGLE позволяет экстраполировать вектора контекстных признаков второго верхнего слоя LLM, что значительно повышает эффективность генерации. EAGLE в 2 раза быстрее Lookahead (13B), и в 1.6 раз быстрее, чем Medusa (13B). И да, EAGLE можно комбинировать с другими методами ускорения, такими как vLLM, DeepSpeed, Mamba, FlashAttention, квантование и аппаратная оптимизация. 🤗 Hugging Face 🖥 GitHub @ai_machinelearning_big_data

🌟 SPPO — инструмент оптимизации предпочтений языковой моделью. LLM показывают впечатляющие возможности, однако довольно сложно добиться соблюдения ими этических норм. Эту проблему можно частично решить при помощи обучения с подкреплением на основе человеческой обратной связи (RLHF), или обучения с подкреплением на основе предпочтений (PbRL). Оба метода имеют недостатки, и приводят к заметному снижению показателей моделей. В этой свежей работе Yue Wu с коллегами предлагает новый способ обеспечения этичности LLM — SPPO (Self-Play Preference Optimization). Как видно на графиках SPPO не снижает производительность моделей так сильно, как RLHF и PbRL, что позволяет повысить точность ответов, не рискуя допустить неэтичные ответы LLM. 🖥 GitHub 🤗 Hugging Face 🟡 Arxiv @ai_machinelearning_big_data

Deep Learning — суперсила, работающая подобно человеческому мозгу. Специалисты в этой области разрабатывают нейросети, объединяя анализ данных и программирование. Рекомендации фильмов, переводчики или генерация ответов на вопросы как от Siri - это все их работа. Deep Learning Инженеров нанимают крупные компании, а начальная зарплата в среднем 120 000 рублей в месяц. Создавать и обучать такие нейросети вы научитесь в онлайн-школе Data Science KARPOV.COURSES. Учиться вы будете у практикующих специалистов — поэтому за 4 месяца вы получите все знания и навыки, которые пригодятся в реальной работе. Школа поможет вам с трудоустройством — 89% студентов находят работу в первые 3 месяца благодаря карьерному сопровождению. Присоединяйтесь к курсу со скидкой 5% по промокоду AIMLBDD: https://clc.to/erid_LjN8KVWmd

🌟 Cambrian-1 — семейство мультимодальных LLM, ориентированных на CV-задачи Cambrian-1 — это семейство MLLM, разработанных с упором на работу с визуальной информацией. На страничке Cambrian-1 представлены модели 3 размеров (8B, 13B и 34B), данные для обучения, скрипты для обучения на TPU. Скоро на GitHub появится скрипт для обучения на GPU. 🟡 Страничка Cambrian-1 🖥 GitHub 🤗 Hugging Face @ai_machinelearning_big_data

⚡️ Еще один интересный анонс, Meta LLM Compiler - новое семейство моделей (7B и 13B), на базе Meta Code Llama, для задач оптимизации и генерации кода. LLVM Compiler - это новая SOTA в области оптимизации кода и дизассемблирования. Модели доступны под лицензией как для научных исследований, так и для коммерческого использования. Эти модели могут эмулировать компилятор, прогнозировать оптимальные проходы для создания кода и дизассемблировать код. ▪HF ▪Статья @ai_machinelearning_big_data

⚡️ Выпущена Gemma 2! Google только что выпустил новую версию своего открытого LLM! Gemma 2 выпущен в двух размерах, 9B и 27B, модели тренировались на 8T и 13T токенов. Модель Gemma 2 приближается к производительности Llama 3 70B, Claude 3 Sonnet и GPT-4! ▪HF: huggingface.co/collections/google/g-667d6600fd5220e7b967f315 ▪Blog: https://blog.google/technology/developers/google-gemma-2/ @ai_machinelearning_big_data

🔥В OTUS стартует курс "Machine Learning. Professional", обучение на котором позволит последовательно освоить современные инструменты анализа данных и на профессиональном уровне создавать модели машинного обучения.  Студенты курса выбирают самостоятельно темы выпускных работ, поэтому все выпускные проекты на курсе–это ценные исследования для ML.   ⚡08 июля в 18.00 мск приглашаем на открытый урок курса "Дерево решений - простой и интерпретируемый ML-алгоритм", на котором мы: - разберем алгоритм решающего дерева (дерева решений), который широко применяется для решения задач машинного обучения;  - применим полученные знания на практике для решения задачи классификации. 👉Регистрация https://otus.pw/b6sE/?erid=LjN8KCQW9

✅ GPTCache : A Library for Creating Semantic Cache for LLM Queries GPTCache - инструмент, который позволяет ускорить работу и повысить масштабируемость вашего приложения, за счет кэширования ответов от LLM. GPTCache может помочь значительно сократить расходы на работу с LLM (до 10 раз)💰 и увеличить скорость вывода моделями( до 100 раз) ⚡ при работе с API OpenAI/HuggingFace Hub/Bard/Anthropic. В инструменте используется семантическое кэширование, для поиска и хранения похожих или взаимосвязанных запросов, что позволяет увеличить вероятность попадания данных в кэш и повысить эффективность кэширования. ❗️ После получения результатов поиска модель выполняет оценку сходства и возвращает результаты при достижении установленного порога. Вы можете настроить порог, который изменит точность результатов нечеткого поиска. Подробнее в документации. pip install gptcache ▪Github: https://github.com/zilliztech/GPTCache ▪Docs: gptcache.readthedocs.io @ai_machinelearning_big_data