Математика Дата саентиста

🌟 VEnhancer: Генеративное улучшение синтезированного видео. VEnhancer - генеративная система апсемлинга пространственно-временных характеристик, которая улучшает результаты существующих методов преобразования текста в видео путем добавления большего количества деталей в пространственной области и синтетического детализированного движения во временной области. Он гибко адаптируется к различным коэффициентам апсемплинга в диапазоне 1x~8x. VEnhancer устраняет артефакты и коллизии движения сгенерированных видео, используя диффузионную модель и дообученные модели ControlNet. Несколько дней назад VEnhancer получил обновление: 🟢Поддержка длинных видео (путем разбиения видео на несколько фрагментов с перекрытиями); 🟢Быстрая выборка с 15 шагами без потери качества (путем установки --solver_mode 'fast' в команде скрипта); 🟢Использование временного VAE для уменьшения мерцания. Эксперименты, проведенные во время разработки показывают, что VEnhancer превосходит существующие методы апсемплинга видео и современные методы улучшения синтезированных видео. ⚠️ Для обработки видео в 2K разрешении при fps=>24 требуется около 80 GB VRAM. Использование VEnhancer возможно через CLI, с помощью GradioUI и в виде неофициальной ноды (WIP) для ComfyUI. ▶️Установка:

# Clone repo
git clone https://github.com/Vchitect/VEnhancer.git
cd VEnhancer

# Create environment
conda create -n venhancer python=3.10
conda activate venhancer

# Install requirments:
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2
pip install -r requirements.txt

▶️Установка пакета ffmpeg:

sudo apt-get update && apt-get install ffmpeg libsm6 libxext6  -y

▶️Инференс с помощью CLI:

bash run_VEnhancer.sh

▶️Инференс с помощью GradioUI:

python gradio_app.py

🟡Страница проекта 🟡Arxiv 🟡Модель 🟡Demo Video 🖥Github [ Stars: 224 | Issues: 8 | Forks: 13] @ai_machinelearning_big_data #AI #Text2Video #VEnchancer #ML

Станьте AI-разработчиком на Python и зарабатывайте от 150.000₽ в месяц 🔥🔥🔥 Мы научим вас создавать и тренировать нейронные сети, и вы сможете: 1️⃣ Устроиться разработчиком в крупную компанию и зарабатывать от 150 тыс. ₽ в месяц 2️⃣ Разрабатывать такие проекты на заказ и зарабатывать от 500 тыс. ₽ за проект 3️⃣ Создать нейро-сотрудника в вашей компании и вырасти на +30-100% в зарплате На интенсиве будет много практики: создадим 9 нейросетей за 1 вечер: 🧬 Оценка выброса CO2 по параметрам машины 🧬 Сегментация изображения для робота доставщика 🧬 Трекинг людей на видео 🧬 Распознавание речи и другие Ведущий интенсива - Senior AI-разработчик и основатель Университета искусственного интеллекта 🔥 Регистрируйтесь на бесплатный интенсив! Встречаемся в ближайшую среду. Вы узнаете, как освоить самую востребованную профессию!

1

📚 Бесплатная электронная книга: The Fourier Transform, 2024. Погружение в преобразование Фурье. Приятный стиль изложения книги и множество наглядных диаграмм. Внутри практика в виде задач, написанных на Python и MATLAB. ▪Book @ai_machinelearning_big_data

Фракталы на python 1. Кривая Коха и снежинка Коха 2. Рисуем кривую Коха и снежинку Коха 3. Простая L-система на плоскости 4. L-система для дракона Хартера-Хайтвея, ковра Серпинского и кривой Гильберта 5. L-система с ветвлениями. Рисуем деревья и травы 6. Добавляем параметры в L-систему 7. Добавляем случайности в L-систему 8. Добавляем цвет в L-систему 9. Как вычисляется фрактальная размерность по Хаусдорфу #video #python https://www.youtube.com/watch?v=rUC-wPuRSOU&list=PLA0M1Bcd0w8ylFC3tve_AVXEttPBmKDqw @data_math

⚡12 сентября в 20.00 мск приглашаем на открытый урок курса Reinforcement Learning, где разберем продвинутые подходы к обучению нейросетей и узнаем как технологично разрабатываются чат-боты и контекстный поиск на примере кейсов open ai. 🎓Во время эфира рассмотрим: - ключевые подходы обучения с подкреплением для нейросетей;  - кейсы современных RL архитектур для контекстных поисковых приложений и чат- ботов; - практический пример решения задачи контекстного поиска. 👉Регистрация https://otus.pw/pZWZ/?erid=LjN8KSVpb Обучение на курсе позволит применять алгоритмы RL для решения разнообразных задач в реальном мире, включая игровую индустрию, робототехнику, управление энергетическими системами и управление финансовым портфелем. При поступлении в группу возможны разные способы оплаты и рассрочка платежа.

⚡️ Один из лучших сервисов для кодинга CursorAI — мощная платформа, насыщенная множеством нейронных сетей, разработанных специально для IT-специалистов. Здесь можно исправлять баги, генерировать код в один клик и наслаждаться упрощённым процессом работы: cursor.com. @data_math

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data C++ t.me/cpluspluc Python: t.me/pro_python_code Хакинг: t.me/linuxkalii Devops: t.me/devOPSitsec АНАЛИЗ Данных: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/javatg Базы данных: t.me/sqlhub Linux: t.me/linuxacademiya Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Docker: t.me/DevopsDocker Golang: t.me/golang_interview React: t.me/react_tg Rust: t.me/rust_code PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai Собеседования МЛ: t.me/machinelearning_interview МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

⭐️ 10-страничный PDF-файл охватывает вводный курс теории вероятности Лучшая и единственная #шпаргалка по теории вероятности для изучающих тервер⭐️: https://github.com/wzchen/probability_cheatsheet

Вебинар «Как начать карьеру в Data Science и получить первый оффер?» от НИУ ВШЭ Начать карьеру в Data Science — задача не из легких, особенно если вы решили сменить направление деятельности. Обучение Data Science активно развивается, специалистов становится больше, и поиск первой работы может показаться сложной задачей. Вакансии закрываются, а требования работодателей продолжают расти. Центр непрерывного образования факультета компьютерных наук приглашает на бесплатный вебинар, посвященный старту карьеры в качестве специалиста по Data Science и получению первого оффера. Вы узнаете: ➖➖➖➖ ▫️Как начать карьеру в Data Science ▫️Какие ресурсы лучше использовать для поиска вакансий ▫️Какие этапы собеседований ждут кандидатов на DS-позиции ▫️Как организовать процесс подготовки к техническим интервью ▫️Как выстраивать свой карьерный трек ▫️Спикер: Элен Теванян — руководитель по машинному обучению в операциях Купера (ex-Сбермаркет), нанимающий менеджер и академический руководитель программы «Специалист по Data Science» Центра непрерывного образования. ▫️Когда: 3 сентября, 18:30 Регистрация на вебинар Реклама: Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский университет «Высшая школа экономики». Erid:2SDnje3oozr

🌟 Автоматическое проектирование агентов LLM Развитие базовых языковых и иснтруктивных моделей , таких как GPT и Claude, дал возможность создания агентов общего назначения, способных к гибкому рассуждению и планированию. Но разработка этих агентов часто требует ручной настройки и значительных усилий со стороны инженеров и ресерчеров. Для упрощения процесса проектирования агентов появилось новое направление исследований — автоматизированное проектирование агентных систем (Automated Design of Agentic Systems, ADAS). Главное назначение методологии ADAS - автоматизация создания новых агентных блоков и их объединение в сложные системы. Используя возможности LLM и гибкость языков программирования, ADAS обещает более эффективный и действенный подход к созданию комплексных агентных систем. Поисковый алгоритм с помощью мета-агента является ярким примером ADAS в действии. Он использует мета-агента, который по сути является LLM, для итеративного проектирования новых агентов на основе постоянно растущего архива результатов предыдущих поисков. ADAS позволяет исследовать обширное пространство кода, теоретически позволяя обнаружить любую возможную агентную систему. Мета-агент должен исследовать интересные проекты: новые промпты, использование инструментов, потоки управления и их комбинации. Благодаря обширным экспериментам в областях программирования, науки и математики, алгоритм демонстрирует способность изобретать агентов с новыми проектами, которые превосходят современных агентов, разработанных вручную. Один из реализованных проектов ADAS в практической среде - использование алгоритма Meta Agent Search в связке с GPT:

# Create Conda venv:
conda create -n adas python=3.11

# Activate venv:
conda activate adas

#Install Dependencies:
pip install -r requirements.txt

# Set OpenAI API Key:
export OPENAI_API_KEY="YOUR KEY HERE"

Запуск Meta Agent Search на примере области поиска "arc":

# Navigate to _arc folder:
cd _arc

# Run Meta Agent Search
python search.py

📌Лицензирование : Apache 2.0 license 🟡Страница проекта 🟡Arxiv 🖥Github [ Stars: 484 | Issues: 4 | Forks: 53] @ai_machinelearning_big_data #AI #LLM #Agents #ML #ChatGPT

📶 Главные темы линейной алгебры для специалиста по машинному обучению 📌 Крутейшие Стэнфордские материалы по линейной алгебре @data_math

⚡️ Qwen2-VL: второе поколение VLM моделей от Alibaba Cloud. Qwen2-VL - это новая версия VLMs, основанная на Qwen2 в семействе моделей Qwen. По сравнению предыдущим поколением, Qwen2-VL обладает возможностями: 🟢Распознавание изображений с различным разрешением и соотношением сторон; 🟢VQA-понимание видеороликов продолжительностью более 20 минут с поддержкой диалога; 🟢Интеграция с носимыми устройствами (мобильный телефон, робот и т.д) в качестве агента управления; 🟢Мультиязычность внутри входных данных, например на изображениях или видео. 🟢Улучшенное распознавание объектов и предметов; 🟢Расширенные возможности в области математики и понимания программного кода. Набор Qwen2-VL состоит из трех основных моделей, две из которых публикуются в отrрытом доступе. Модель Qwen2-VL-72B доступна только по API: 🟠Qwen2-VL-72B; 🟢Qwen2-VL-7B-Instruct; 🟢Qwen2-VL-2B-Instruct, и их квантованные версии в форматах AWQ и GPTQ в разрядностях Int8 и Int4. Архитектура моделей. как и в прошлом поколении основана на ViT 600M и LLM Qwen2, но с добавлением двух ключевых модификаций: 🟠использование NDR (Naive Dynamic Resolution), который позволил обрабатывать входные данные любого разрешения, преобразуя их в динамическое количество визуальных токенов. Эта реализация максимально близка к имитации зрительного восприятия человека. 🟠технология Multimodal Rotary Position Embedding (M-ROPE). Благодаря деконструкции оригинального rotary embedding на три части, представляющие временную и пространственную информацию, M-ROPE дает возможность LLM одновременно захватывать 1D( текст ), 2D( визуал ) и 3D( видео ) информацию. ⚠️ Ограничения в возможностях и слабые стороны поколения состоят в том, что модели не умеют извлекать звук из видео, а их знания актуальны на июнь 2023 года. Кроме того, они не могут гарантировать полную точность при обработке сложных инструкций или сценариев. Модели относительно слабы в задачах, связанных со счетом, распознаванием символов и трехмерным пространственным восприятием. ▶️Использование и интеграция Qwen2-VL возможна с инструментами и на фреймворках: Transformers, vLLM, Llama-Factory, AutoGPTQ, AutoAWQ. 📌Лицензирование: Apache 2.0 License. 🟡Страница проекта 🟡Набор моделей 🟡Demo 🟡Сообщество в Discord 🖥Github [ Stars: 59 | Issues: 3 | Forks: 2] @ai_machinelearning_big_data #AI #Qwen #ML #GPTQ #VLM #AWQ

🌟 Lite Oute 2 Mamba2Attn: базовая и инструктивная SLM на архитектуре Mamba2. OuteAI выпустила второе поколение легких моделей на 250М параметров каждая : 🟢 Lite Oute 2 Mamba2Attn 250M Base 🟢 Lite Oute 2 Mamba2Attn 250M-Instruct В модели интегрирован механизм Mamba2Attn - усовершенствованный метод внимания, который повышает способность модели фокусироваться на важных частях входных данных. Этот механизм особенно полезен для задач NLP, требующих понимания сложных закономерностей или взаимосвязей в данных. Интегрировав Mamba2Attn, разработчикам удалось сохранить релевантную для своего класса малых моделей производительность, уменьшив при этом ее размер и вычислительные требования. Базовая модель была обучена на 30 миллиардах токенов из корпуса данных, структура которого - 50% датасета dclm-baseline-1.0 b 50% fineweb-edu. Инструктивная версия прошла дообучение с SFT и DPO. Обе модели имеют 4 слоя внимания из общего количества 32, такая конфигурация позволяет минимизировать потери при проверке, что подтверждено исследованием о соотношении слоев самовнимания к MLP. ▶️ Рекомендованные параметры для Instruct - модели: 🟢Temperature: 0.1 - 0.4 🟢Repetition Penalty: 1.10 - 1.12 ▶️Ограничения: 🟠Непоследовательная точность. Примите во внимание, что обе модели - малого размера, инференс в некорорых задачах может быть неполным или неточным; 🟠Отсутствие глубины контекста. В некоторых задачах, модели могут не соответствовать ожиданиям глубины запоминания контекста; 🟠Баланс лаконичности. Модель иногда испытывает трудности с балансом между краткостью и детализацией, давая либо слишком краткие ответы, либо излишне повторяя заданную информацию. 📌Лицензирование : Apache 2.0 License 🟡Страница проекта 🟡Набор моделей 🟡Arxiv 🟡Сообщество в Discord @ai_machinelearning_big_data #AI #SLM #Mamba2 #ML #Oute

⚡️ microMathematics Plus Это мощный визуальный калькулятор для Android, предназначенный для студентов и всех, кто интересуется математикой или нуждается в чем-то большем, чем обычный калькулятор. Он предлагает следующие функции: - Работа на смартфоне или планшете в портретном и альбомном режимах; - Поддержка всех популярных математических операций; - Поддержка единиц измерения SI и не-SI; - Мощный математический редактор с сенсорным экраном и функцией отмены; - Возможность выполнения нескольких вычислений и последующего исправления или изменения всех использованных формул; - Математические выражения собираются в документ, который включает не только формулы и графики, но и дополнительный текст и изображения и многое другое. 📌 GitHub @data_math

Совмещайте очную магистратуру и работу комфортно! Яндекс Практикум и РАНХиГС заканчивают набор на онлайн-программу «Data Science в экономике»: — учёба полностью онлайн, включая сессии; — очное обучение с дипломом РАНХиГС и всеми льготами; — фундаментальные знания от Института ЭМИТ РАНХиГС, который находится на 5-м месте в рейтинге SuperJob по уровню зарплат выпускников; — практический опыт экспертов Яндекса. Оплатить учёбу можно разными способами: всю сумму сразу, по семестрам или с помощью госкредита — тогда ежемесячный платёж составит от 500 ₽, а государство погасит часть кредита за вас. → Узнать подробности и подать заявку

⚡️ Hermes 3: Семейство finetune Llama 3.1 от Nous Research Новый набор моделей от Nous Research был создан на основе Llama 3.1 8B, 70B и 405B файнтюном датасета из синтетически сгенерированных ответов. Hermes 3 получил производительность Llama 3.1 и расширенные возможности в мышлении и творчестве. Hermes 3 разблокирован, не подвергается цензуре и обладает высокой степенью управляемости. Он обладает улучшенной функцией долговременного сохранения контекста и возможностью ведения длинного диалога, навыком сложной ролевой игры и внутреннего монолога, а также расширенной функцией вызова агентов. Модели семейства умеют точно и адаптивно следовать системным промптам и инструкциям. В Hermes 3 возникают аномальные состояния, которые при правильных вводных и пустых системных подсказках приводят к ролевой игре и потере памяти. Вы можете активировать этот “Режим амнезии” в Hermes 3 405B, введя пустой системный запрос и отправив сообщение "Кто вы?". Hermes 3 использует ChatML для формата промптов. Формат более сложный, чем alpaca или sharegpt, в нем используются специальные токены для обозначения начала и окончания логического контекста и ролей в этих контекстах. Набор Hermes 3: 🟠Hermes 3 - Llama-3.1 405B; 🟠Hermes 3 - Llama-3.1 405B FP8 для использования с vLLM; 🟠Hermes 3 - Llama-3.1 70B; 🟠Hermes 3 - Llama-3.1 70B FP8 для использования с vLLM; 🟢Hermes 3 - Llama-3.1 70B GGUF для использования с llama.cpp. Версии квантования от 3-bit (31 Gb) до 5-bit (50 GB); 🟠Hermes 3 - Llama-3.1 8B; 🟢Hermes 3 - Llama-3.1 8B GGUF для использования с llama.cpp. Версии квантования от 4-bit (5 Gb) до 8-bit (9 GB); 📌Лицензирование : Llama 3 Community License 🟡Страница проекта 🟡Сообщество в Discord 🟡Набор моделей 🟡Arxiv 🟡Demo @ai_machinelearning_big_data #AI #Hermes3 #LLM #ML

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data C++ t.me/cppsobes Python: t.me/pro_python_code Хакинг: t.me/linuxkalii Devops: t.me/devOPSitsec АНАЛИЗ Данных: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/javatg Базы данных: t.me/sqlhub Linux: t.me/linuxacademiya Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Docker: t.me/DevopsDocker Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai Собеседования МЛ: t.me/machinelearning_interview МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

🌟DeepSeek-Prover: Proof Assistant Feedback for Reinforcement Learning and Monte-Carlo Tree Search. DeepSeek-Prover-V1.5 - набор из языковых моделей для доказательства теорем в Lean 4. "V1.5" означает обновление DeepSeek-Prover-V1 с некоторыми ключевыми нововведениями. Во-первых, процесс обучения: предварительная подготовка на базе DeepSeekMath, затем контрольная работа с набором данных, включающим логические комментарии на естественном языке и код Lean 4. Это устраняет разрыв между рассуждениями на естественном языке и формальным доказательством теоремы. В набор данных также входит информация о промежуточном тактическом состоянии, которая помогает модели эффективно использовать обратную связь с компилятором. Во-вторых, проводится обучение с подкреплением, используя алгоритм GRPO для изучения обратной связи с помощником по проверке. Тут выравнивается соответствие модели формальным спецификациям системы проверки. В-третьих, RMaxTS, варианте поиска в дереве по методу Монте-Карло. Он присваивает встроенные вознаграждения на основе изучения тактического пространства состояний, побуждая модель генерировать различные пути доказательства. Это приводит к более обширному исследованию пространства доказательств. В результате получился набор моделей с абсолютной точностью генерации в 46,3% на тестовом наборе miniF2F. Этот показатель лучше, чем у GPT-4 и моделей RL, специализирующихся на доказательстве теорем. Набор DeepSeek-Prover: 🟠DeepSeek-Prover-V1.5 Base. Идеально подходит для первоначального изучения и понимания возможностей модели и основ для формальных математических рассуждений, но требует дальнейшего обучения для оптимальной работы; 🟠DeepSeek-Prover-V1.5 SFT. Модель для задач, требующих умеренных навыков доказательства теорем за счет рассуждений на естественном языке и информации о тактическом состоянии. 🟠DeepSeek-Prover-V1.5 RL. Рекомендуется для решений, требующих высочайшей точности и производительности при формальном доказательстве теорем. К SFT-версии добавлены дополнительная оптимизация на основе Proof Assistant Feedback и обучение с подкреплением. ▶️Установка и запуск:

# Clone the repository:
git clone --recurse-submodules git@github.com:deepseek-ai/DeepSeek-Prover-V1.5.git
cd DeepSeek-Prover-V1.5

# Install dependencies:
pip install -r requirements.txt

# Build Mathlib4:
cd mathlib4
lake build

# Run paper experiments:
python -m prover.launch --config=configs/RMaxTS.py --log_dir=logs/RMaxTS_results

📌Лицензирование кода репозитория: MIT license 📌Лицензирование моделей: DEEPSEEK License 🟡Набор моделей 🟡Arxiv 🟡Датасет 🟡Сообщество в Discord 🖥Github [ Stars: 53 | Issues: 0 | Forks: 1] @ai_machinelearning_big_data #AI #LLM #Math #ML

⚡️ Awesome math – курируемый список полезных ресурсов по математике Здесь собраны различные материалы по таким темам как: • Основы математики • Теория чисел • Алгебра • Комбинаторика • Числовой анализ • Обработка сигналов • Математика для компьютерных наук • Математическая биология • Математическая физика https://github.com/rossant/awesome-math #GitHub | #Archive @data_math