Machinelearning

⚡️ ReproModel — набор no-code инструментов для обучения и тестирования AI-моделей. ReproModel — GUI, который упрощает эффективность исследований, предоставляя стандартизированные модели, загрузчики данных и процедуры обработки. Он включает в себя полный спектр уже существующих бенчмарков, экстрактор кода и дескриптор LLM. Этот набор инструментов помогает исследователям модульно структурировать свою разработку и сравнивать производительность каждого этапа конвейера воспроизводимым способом. По заявлению разработчика, инструмент помогает сократить время разработки, расчета и обучение модели как минимум на 40%. *️⃣Лицензирование: MIT License *️⃣Для локального запуска необходим NodeJS *️⃣Для локального запуска генератора методологий необходима Ollama 🖥 GitHub [ Stars: 35 | Issues: 0 | Forks: 1 ] 🟡 Демо видео на Youtube #opensource #train #LLM #SOTA

⚡️ MOTIA — outpaint видео (добавление контента за границами области просмотра) с сохранением межкадровой согласованности. MOTIA — двухэтапный конвейер на основе генеративной диффузии. Первая фаза (input-specific adaptation) выполняет outpaint первого кадра видео и определяет паттерн закономерности для дорисовки в последующих кадрах. Вторая фаза (pattern-aware outpainting) делает непосредственно outpaint всего видео на основе знаний первой фазы, добавляя шум и контролирует пространственную геометрию, сохраняя возможную плавность и бесшовность. Судя по бенчмаркам разработчика, MOTIA - один из лучших методов на данный момент. Запустить:

conda env create -f environment.yml
git clone https://huggingface.co/wangfuyun/Be-Your-Outpainter
bash run.sh

🖥 GitHub 🟡 Модели на HF 🟡 Страничка MOTIA 🟡 Arxiv @ai_machinelearning_big_data

Изучите применение ChatGPT в рабочих целях, чтобы получить от этого прибыль. Сейчас самое время начать использовать искусственный интеллект. Здесь вы узнаете, почему стоит освоить ChatGPT. Это поможет вам: - Использовать ChatGPT в вашей профессиональной сфере. - Предлагать компаниям разработку индивидуально дообученного ChatGPT по заказу. - Увеличить свой доход, освоив навык создания индивидуально дообученного ChatGPT. Зарегистрируйтесь на бесплатный вебинар, чтобы узнать больше деталей. Реклама. ООО "ТЕРРА ЭЙАЙ". ИНН 9728019395. erid: LjN8KPpVo

⚡️ RouteLLM - фреймворк с открытым исходным кодом для эффективной маршрутизации между несколькими LLM Метод построения маршрутов (роутеров) использует данные о предпочтениях для обучения управляющего роутера, который может предсказывать, какие запросы могут быть обработаны слабыми моделями, а какие требуют более мощных. RouteLLM обещает значительное снижение затрат без ущерба для качества ответов. В тестах, таких как MT Bench и MMLU, RouteLLM достиг высокой производительности при меньшем количестве вызовов на мощные модели. В фреймворке реализована поддержка вызова по API (OpenAI, Anthropic, Google, Amazon Bedrock) и локального бекэнда (Ollama) Преднастроены 4 роутера, обученных на паре моделей gpt-4-1106-preview и  mixtral-8x7b-instruct-v0.1 : mf - использует модель матричной факторизации, обученную на данных о предпочтениях sw_ranking - использует взвешенный расчет ELO для маршрутизации, где каждый голос взвешивается в зависимости от того, насколько он похож на запрос пользователя bert - использует классификатор BERT causal_llm - использует классификатор отдельной LLM настроенный на данные о предпочтениях. random - случайным образом направляет запрос к случайной модели. 🟡Arxiv 🟡Страница проекта 🟡Модели (Augmented for routes) на HF 🖥Github [ Stars: 686 | Forks: 52 | Issues:2] #LLM #ML #machinelearning #opensource @ai_machinelearning_big_data

🌟 CLIP-DINOiser — MaskCLIP с семантической сегментацией под управлением DINO Метод CLIP-DINOiser использует только один прямой проход CLIP и двух легких сверточных слоев при выводе, при этом не требует дополнительного контроля и дополнительной VRAM. В результате применение методв значительно снижается уровень шума. Метод демонстрирует высокие результаты в бенчмарках COCO, Pascal Context, Cityscapes и ADE20k. Код запуска:

python demo.py --file_path [path to the image file] --prompts [list of the text prompts separated by ',']

❗️ Дополнительно нужно установить MMCV and MMSegmentation 🟡 Страничка CLIP-DINOiser 🟡 Arxiv 🖥 GitHub 🟡 Jupyter Notebook @ai_machinelearning_big_data

⚡️ Встречайте Kolors — диффузионная модель для генерации изображений с упором на фотореализм Kolors — это большая диффузионная модель, опубликованная вчера командой Kuaishou Kolors. Kolors была обучена на миллиардах пар "текст-изображение" и показывает отличные результаты в генерации сложных фотореалистичных изображений. По результатам оценки 50 независимых экспертов, модель Kolors генерирует более красивые изображения, чем Midjourney-v6, Stable Diffusion 3, DALL-E 3 и другие модели 🟡 Страничка Kolors 🟡 Попробовать 🖥 GitHub @ai_machinelearning_big_data

🌟 Arcee Agent 7B — свежая модель на базе Qwen2-7B Arcee Agent 7B превосходит GPT-3.5-Turbo, и многие другие модели в написании и интерпретации кода. Arcee Agent 7B особенно подходит для желающих реализовать сложные решения на основе ИИ без вычислительных затрат на большие языковые модели. И да, также имеются квантизованные GGUF-версии Arcee Agent 7B. 🤗 Hugging Face @ai_machinelearning_big_data

⚡️ Обновление nanoLLaVA-1.5 1B На днях обновилась Vision-Language модель nanoLLaVA-1.5 1B. Значительно улучшилась производительность по сравнению с v1.0, при этом размер остался таким же небольшим, что очень удобно для многих применений 🤗 Hugging Face @ai_machinelearning_big_data

🌟 MInference 1.0 by Microsoft pre-release В преддверии предстоящей ICML 2024 (Вена, 21-27 июля 2024 г.) Microsoft опубликовала результаты исследования проекта MInference. Данный метод позволяет ускорить обработку длинных последовательностей за счет разреженных вычислений, применение уникальных шаблонов в матрицах. Методика MInference не требует изменений в настройках предварительного обучения. Проведенные исследователями Microsoft синтетические тесты метода на моделях LLaMA-3-1M, GLM4-1M, Yi-200K, Phi-3-128K и Qwen2-128K показывают сокращение задержек и ошибок при предварительном заполнении до 10 раз на A100 с сохранением точности. 🟡 Discuss at Huggingface 🖥 GitHub 🟡 Arxiv 🟡 Страница проекта MInference 1.0 @ai_machinelearning_big_data

⚡Дмитрий Зауэрс назвал принципы для регулирования искусственного интеллекта в финансовой отрасли На Финансовом конгрессе в Санкт-Петербурге обсудили подходы к регулированию искусственного интеллекта. В дискуссии на эту тему приняли участие представители Газпромбанка, Яндекса, ВТБ, Московской биржи, Центра технологий искусственного интеллекта Сколтеха. Модератор сессии «Искусственный интеллект: подходы к регулированию» Первый заместитель Председателя ЦБ РФ Ольга Скоробогатова отметила, что банки преуспели в использовании традиционных инструментов с использованием ИИ, но появляются новые инструменты, и в связи с этим возникает вопрос о том, как защитить бизнес и потребителей от некачественных моделей и как должна быть распределена ответственность. 😃Заместитель Председателя Правления Газпромбанка Дмитрий Зауэрс считает, что необходим дифференцированный подход к регулированию использования ИИ в финансовой сфере.

«В целом, можно выделить три вида моделей. Первое — это большие модели общего назначения, например, большие лингвистические модели. Второй уровень — модели, при создании которых банки заинтересованы в сотрудничестве, в частности для анти-фрод решений. И, третье — это модели, за счет которых банки конкурируют друг с другом, и они всегда будут разрабатываться внутри. На мой взгляд, большие модели по сути становятся естественными монополиями. И здесь требуется серьезное регулирование для того, чтобы общество в целом могло получать пользу от этих разработок. Что касается общих для банков решений, то здесь также нужны какие-то нормы, потому что требуется обмен большим количеством данных, и он должен быть регламентирован. Когда речь идет о моделях за счет, которых банки конкурируют, — тут нужно нулевое регулирование», — сказал Дмитрий Зауэрс.

«В том числе тут обсуждалась интерпретируемость моделей, я считаю, что это является ограничением для развития технологий, потому что более сильный класс моделей, например, нейросети, не являются интерпретируемыми. В качестве сравнения: большинство не понимает, как устроены двигатели внутреннего сгорания, но успешно пользуется автомобилями. И также интерпретируемость моделей не влияет на их эффективность», — объяснил он.

Участники дискуссии в целом согласились с предложенным подходом и сошлись на мнении, что регулирование не должно создавать барьеры для развития ИИ-технологий.

«В скором времени конкуренция на финансовом рынке превратится в конкуренцию между дата-сайентистами», — отметил Дмитрий Зауэрс.

@gazprombank

🌟 Опубликована модель CodeGeeX4-ALL-9B семейства CodeGeeX4 CodeGeeX4-ALL-9B - мультиязычная модель для генерации кода, обученная на GLM-4-9B. Новая версия семейства позволяет поддерживать комплексные функции: - завершение и генерация кода; - интерпретатор кода; - вопросы и ответы по коду на уровне репозитория; - веб-поиск (при наличии агента) CodeGeeX4-ALL-9B показала конкурентоспособную производительность в общедоступных тестах BigCodeBench и NaturalCodeBench. По заявлению авторов, это самая мощная модель генерации кода с числом параметров менее 10B, превосходящая в некоторых аспектах более крупные модели общего назначения и обеспечивающая лучший баланс между скоростью вывода и производительности модели. ⚠️ Лицензирование Модель имеет собственный тип лицензирования: - бесплатно и неограниченно для для научно-образовательных и исследовательских проектов - коммерческие проекты должны пройти регистрацию в форме https://open.bigmodel.cn/mla/form и выполнять соблюдение условий Запустить:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

device = "cuda" if torch.cuda.is_available() else "cpu"
tokenizer = AutoTokenizer.from_pretrained("THUDM/codegeex4-all-9b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "THUDM/codegeex4-all-9b",
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    trust_remote_code=True
).to(device).eval()
inputs = tokenizer.apply_chat_template([{"role": "user", "content": "write a quick sort"}], add_generation_prompt=True, tokenize=True, return_tensors="pt", return_dict=True ).to(device)
with torch.no_grad():
    outputs = model.generate(**inputs)
    outputs = outputs[:, inputs['input_ids'].shape[1]:]
    print(tokenizer.decode(outputs[0], skip_special_tokens=True))

🖥 GitHub 🟡 HF Models 🟡 Demo 🟡 VS Code Extension 🟡 Jetbrains Extension @ai_machinelearning_big_data

🌟”Баннерная крутилка” — какую роль в ней играет ML Яндекс рассказал на Хабре о том, как работает один из самых высоконагруженных сервисов. Всего за 200 миллисекунд крутилка перебирает базу из миллиарда документов и выдает наиболее релевантные для пользователя. Автор рассказал, какие решение они применили, как устроены стадии отбора документов и какую роль в них играет ML. 🟡 Habr @ai_machinelearning_big_data

🌟 Lazy Diffusion — трансформер для редактирования изображений практически в реалтайме LazyDiffusion — это диффузионный трансформер, который очень быстро генерирует объекты по промпту в области, заданной маской. Генерируются только пиксели под маской, и время выполнения зависит больше от размера маски, чем от размера изображения. Если маска размера ~10% от всего изображения, то LazyDiffusion показывает в 10 раз большую скорость, чем другие модели и методы инпейнтинга. 🟡 Страничка Lazy Diffusion 🟡 Arxiv @ai_machinelearning_big_data

⚡️ InternLM представила XComposer-2.5 - мультимодальную 7B VLM с увеличенным контекстом для ввода и вывода. InternLM-XComposer-2.5 справляется с задачами по текстовому описанию изображений со сложной композицией, достигая возможностей GPT-4V. Обученная с помощью чередующихся контекстов "изображение - текст" длиной 24 КБ, она может легко расширяться до контекстов длиной 96 КБ посредством экстраполяции RoPE. По сравнению с предыдущей версией 2.0, InternLM-XComposer-2.5 имеет три основных улучшения: - понимание сверхвысокого разрешения; - детальное понимание видео; - обрабатывать в контексте 1 диалога несколько изображений. С применением extra Lora, XComposer-2.5 способна выполнять комплексные задачи: - создание веб-страниц; - создание высококачественных текстовых статей с изображениями. XComposer-2.5 была оценена по 28 тестам, превзойдя существующие современные модели с открытым исходным кодом в 16 тестах. Она также близко конкурирует с GPT-4V и Gemini Pro по 16 ключевым задачам. 🖥 GitHub 🟡 Arxiv 🟡 Model 🟡 Demo 📺 Demo video

⚡️ Long-CLIP — набор моделей на основе CLIP для работы с длинными текстовыми описаниями. Long-CLIP — это модифицированная вариация классического CLIP, поддерживающая обработку до 248 текстовых токенов и позволяющая генерировать точные изображения на основе длинного промпта. Тестирование Long-CLIP на 1 миллионе пар "текст - изображение" показало превосходство над CLIP на 20% при работе с длинным текстовым описанием и на 6% при работе с обычным. 🟡Models 🖥 GitHub 🟡 Arxiv @ai_machinelearning_big_data

🌟 MoMA — open-source модель от ByteDance для генерации изображений по референсу. MoMA не требует обучения и позволяет быстро генерировать изображения изображения с высокой точностью детализации и сохранением идентичности. Скорость MoMA обеспечивается оптимизацией механизма внимания, который передает признаки исходного изображения в диффузионную модель. Модель является универсальным адаптером и может быть применена к различным моделям без изменений. На сегодняшний день MoMA превосходит в синтетических тестах аналогичные существующие методы и позволяет создавать изображения с высоким уровнем соответствия промпту максимально сохраняя стиль референсного изображения. ✍️ Рекомендованые параметры оптимизации потребления VRAM : 22 GB or more GPU memory:

args.load_8bit, args.load_4bit = False, False

18 GB or more GPU memory:

args.load_8bit, args.load_4bit = True, False

14 GB or more GPU memory:

args.load_8bit, args.load_4bit = False, True

🟡 Страничка MoMA 🖥 GitHub 🤗 Hugging Face 🟡 Demo

🌟 DragAnything — метод анимирования чего угодно на изображении По сравнению с аналогичными методами, DragAnything обладает рядом преимуществ. Во-первых, DragAnything, позволяющий явно указать траекторию движения объекта, более удобен для реального использования. Во-вторых, DragAnything позволяет управлять движением любых объектов, включая фон. Ну и наконец, DragAnything позволяет одновременно управлять движением нескольких объектов. 🟡 Страничка DragAnything 🖥 GitHub 🟡 Arxiv @ai_machinelearning_big_data

🔥ESPNet XEUS - новая SoTA распознования речи. Мультиязычная модель распознавания и перевода речи от Университета Карнеги-Меллона, которая обучена более чем 4000 языкам! 🔥 > Лицензия MIT > 577 миллионов параметров. > Превосходит MMS 1B и w2v-BERT v2 2.0 > Архитектура E-Branchformer > Датасет 8900 часов аудиозаписей на более чем 4023 языках git lfs install git clone https://huggingface.co/espnet/XEUS ▪ HF: https://huggingface.co/espnet/xeus ▪ Dataset: https://huggingface.co/datasets/espnet/mms_ulab_v2 @ai_machinelearning_big_data

🔥 Microsoft незаметно обновила Phi-3 Mini — значительно улучшено понимание кода на Python, C++, Rust и Typescript — улучшен вывод, теперь он более структурированный — улучшено понимание сложных предложений — добавлена поддержка тега <|system|>. — улучшена способность к рассуждению и понимание длинного контекста Это обновление коснулось контрольных точек 4K и 128K 🤗 Hugging Face @ai_machinelearning_big_data

СберТех представил замену IntelliJ IDEA – среду разработки GIGA IDE 1 июля JetBrains отключила россиянам возможность скачивать одну из самых известных сред разработки на Java – IntelliJ IDEA, что заставило многих разработчиков побеспокоиться. Но СберТех представил решение - российскую среду разработки GIGA IDE, которая может стать заменой ушедшей среде. GIGA IDE позволяет вести разработку на популярных языках программирования, обеспечивает совместимость с востребованными плагинами, а встроенный в среду AI-ассистент GIGA CODE позволяет писать код до 25% быстрее. - GIGA IDE Desktop – это интегрированная среда разработки, которая включает 70 инструментов для облегчения задач разработки, автоматизации тестирования и администрирования приложений. Разработчики уже могут скачать GIGA IDE Desktop на платформе GitVerse. - GIGA IDE Cloud позволит вести разработку в облаке, расширив возможности устройства дополнительными облачными ресурсами. Чтобы первыми получить доступ к GIGA IDE Cloud – регистрируйтесь на платформе GitVerse на раннее тестирование. *AI (Artificial Intelligence) - «искусственный интеллект»