Математика Дата саентиста

📶 Главные темы линейной алгебры для специалиста по машинному обучению 📌 Крутейшие Стэнфордские материалы по линейной алгебре @data_math

⚡️ Qwen2-VL: второе поколение VLM моделей от Alibaba Cloud. Qwen2-VL - это новая версия VLMs, основанная на Qwen2 в семействе моделей Qwen. По сравнению предыдущим поколением, Qwen2-VL обладает возможностями: 🟢Распознавание изображений с различным разрешением и соотношением сторон; 🟢VQA-понимание видеороликов продолжительностью более 20 минут с поддержкой диалога; 🟢Интеграция с носимыми устройствами (мобильный телефон, робот и т.д) в качестве агента управления; 🟢Мультиязычность внутри входных данных, например на изображениях или видео. 🟢Улучшенное распознавание объектов и предметов; 🟢Расширенные возможности в области математики и понимания программного кода. Набор Qwen2-VL состоит из трех основных моделей, две из которых публикуются в отrрытом доступе. Модель Qwen2-VL-72B доступна только по API: 🟠Qwen2-VL-72B; 🟢Qwen2-VL-7B-Instruct; 🟢Qwen2-VL-2B-Instruct, и их квантованные версии в форматах AWQ и GPTQ в разрядностях Int8 и Int4. Архитектура моделей. как и в прошлом поколении основана на ViT 600M и LLM Qwen2, но с добавлением двух ключевых модификаций: 🟠использование NDR (Naive Dynamic Resolution), который позволил обрабатывать входные данные любого разрешения, преобразуя их в динамическое количество визуальных токенов. Эта реализация максимально близка к имитации зрительного восприятия человека. 🟠технология Multimodal Rotary Position Embedding (M-ROPE). Благодаря деконструкции оригинального rotary embedding на три части, представляющие временную и пространственную информацию, M-ROPE дает возможность LLM одновременно захватывать 1D( текст ), 2D( визуал ) и 3D( видео ) информацию. ⚠️ Ограничения в возможностях и слабые стороны поколения состоят в том, что модели не умеют извлекать звук из видео, а их знания актуальны на июнь 2023 года. Кроме того, они не могут гарантировать полную точность при обработке сложных инструкций или сценариев. Модели относительно слабы в задачах, связанных со счетом, распознаванием символов и трехмерным пространственным восприятием. ▶️Использование и интеграция Qwen2-VL возможна с инструментами и на фреймворках: Transformers, vLLM, Llama-Factory, AutoGPTQ, AutoAWQ. 📌Лицензирование: Apache 2.0 License. 🟡Страница проекта 🟡Набор моделей 🟡Demo 🟡Сообщество в Discord 🖥Github [ Stars: 59 | Issues: 3 | Forks: 2] @ai_machinelearning_big_data #AI #Qwen #ML #GPTQ #VLM #AWQ

🌟 Lite Oute 2 Mamba2Attn: базовая и инструктивная SLM на архитектуре Mamba2. OuteAI выпустила второе поколение легких моделей на 250М параметров каждая : 🟢 Lite Oute 2 Mamba2Attn 250M Base 🟢 Lite Oute 2 Mamba2Attn 250M-Instruct В модели интегрирован механизм Mamba2Attn - усовершенствованный метод внимания, который повышает способность модели фокусироваться на важных частях входных данных. Этот механизм особенно полезен для задач NLP, требующих понимания сложных закономерностей или взаимосвязей в данных. Интегрировав Mamba2Attn, разработчикам удалось сохранить релевантную для своего класса малых моделей производительность, уменьшив при этом ее размер и вычислительные требования. Базовая модель была обучена на 30 миллиардах токенов из корпуса данных, структура которого - 50% датасета dclm-baseline-1.0 b 50% fineweb-edu. Инструктивная версия прошла дообучение с SFT и DPO. Обе модели имеют 4 слоя внимания из общего количества 32, такая конфигурация позволяет минимизировать потери при проверке, что подтверждено исследованием о соотношении слоев самовнимания к MLP. ▶️ Рекомендованные параметры для Instruct - модели: 🟢Temperature: 0.1 - 0.4 🟢Repetition Penalty: 1.10 - 1.12 ▶️Ограничения: 🟠Непоследовательная точность. Примите во внимание, что обе модели - малого размера, инференс в некорорых задачах может быть неполным или неточным; 🟠Отсутствие глубины контекста. В некоторых задачах, модели могут не соответствовать ожиданиям глубины запоминания контекста; 🟠Баланс лаконичности. Модель иногда испытывает трудности с балансом между краткостью и детализацией, давая либо слишком краткие ответы, либо излишне повторяя заданную информацию. 📌Лицензирование : Apache 2.0 License 🟡Страница проекта 🟡Набор моделей 🟡Arxiv 🟡Сообщество в Discord @ai_machinelearning_big_data #AI #SLM #Mamba2 #ML #Oute

⚡️ microMathematics Plus Это мощный визуальный калькулятор для Android, предназначенный для студентов и всех, кто интересуется математикой или нуждается в чем-то большем, чем обычный калькулятор. Он предлагает следующие функции: - Работа на смартфоне или планшете в портретном и альбомном режимах; - Поддержка всех популярных математических операций; - Поддержка единиц измерения SI и не-SI; - Мощный математический редактор с сенсорным экраном и функцией отмены; - Возможность выполнения нескольких вычислений и последующего исправления или изменения всех использованных формул; - Математические выражения собираются в документ, который включает не только формулы и графики, но и дополнительный текст и изображения и многое другое. 📌 GitHub @data_math

Совмещайте очную магистратуру и работу комфортно! Яндекс Практикум и РАНХиГС заканчивают набор на онлайн-программу «Data Science в экономике»: — учёба полностью онлайн, включая сессии; — очное обучение с дипломом РАНХиГС и всеми льготами; — фундаментальные знания от Института ЭМИТ РАНХиГС, который находится на 5-м месте в рейтинге SuperJob по уровню зарплат выпускников; — практический опыт экспертов Яндекса. Оплатить учёбу можно разными способами: всю сумму сразу, по семестрам или с помощью госкредита — тогда ежемесячный платёж составит от 500 ₽, а государство погасит часть кредита за вас. → Узнать подробности и подать заявку

⚡️ Hermes 3: Семейство finetune Llama 3.1 от Nous Research Новый набор моделей от Nous Research был создан на основе Llama 3.1 8B, 70B и 405B файнтюном датасета из синтетически сгенерированных ответов. Hermes 3 получил производительность Llama 3.1 и расширенные возможности в мышлении и творчестве. Hermes 3 разблокирован, не подвергается цензуре и обладает высокой степенью управляемости. Он обладает улучшенной функцией долговременного сохранения контекста и возможностью ведения длинного диалога, навыком сложной ролевой игры и внутреннего монолога, а также расширенной функцией вызова агентов. Модели семейства умеют точно и адаптивно следовать системным промптам и инструкциям. В Hermes 3 возникают аномальные состояния, которые при правильных вводных и пустых системных подсказках приводят к ролевой игре и потере памяти. Вы можете активировать этот “Режим амнезии” в Hermes 3 405B, введя пустой системный запрос и отправив сообщение "Кто вы?". Hermes 3 использует ChatML для формата промптов. Формат более сложный, чем alpaca или sharegpt, в нем используются специальные токены для обозначения начала и окончания логического контекста и ролей в этих контекстах. Набор Hermes 3: 🟠Hermes 3 - Llama-3.1 405B; 🟠Hermes 3 - Llama-3.1 405B FP8 для использования с vLLM; 🟠Hermes 3 - Llama-3.1 70B; 🟠Hermes 3 - Llama-3.1 70B FP8 для использования с vLLM; 🟢Hermes 3 - Llama-3.1 70B GGUF для использования с llama.cpp. Версии квантования от 3-bit (31 Gb) до 5-bit (50 GB); 🟠Hermes 3 - Llama-3.1 8B; 🟢Hermes 3 - Llama-3.1 8B GGUF для использования с llama.cpp. Версии квантования от 4-bit (5 Gb) до 8-bit (9 GB); 📌Лицензирование : Llama 3 Community License 🟡Страница проекта 🟡Сообщество в Discord 🟡Набор моделей 🟡Arxiv 🟡Demo @ai_machinelearning_big_data #AI #Hermes3 #LLM #ML

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data C++ t.me/cppsobes Python: t.me/pro_python_code Хакинг: t.me/linuxkalii Devops: t.me/devOPSitsec АНАЛИЗ Данных: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/javatg Базы данных: t.me/sqlhub Linux: t.me/linuxacademiya Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Docker: t.me/DevopsDocker Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai Собеседования МЛ: t.me/machinelearning_interview МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

🌟DeepSeek-Prover: Proof Assistant Feedback for Reinforcement Learning and Monte-Carlo Tree Search. DeepSeek-Prover-V1.5 - набор из языковых моделей для доказательства теорем в Lean 4. "V1.5" означает обновление DeepSeek-Prover-V1 с некоторыми ключевыми нововведениями. Во-первых, процесс обучения: предварительная подготовка на базе DeepSeekMath, затем контрольная работа с набором данных, включающим логические комментарии на естественном языке и код Lean 4. Это устраняет разрыв между рассуждениями на естественном языке и формальным доказательством теоремы. В набор данных также входит информация о промежуточном тактическом состоянии, которая помогает модели эффективно использовать обратную связь с компилятором. Во-вторых, проводится обучение с подкреплением, используя алгоритм GRPO для изучения обратной связи с помощником по проверке. Тут выравнивается соответствие модели формальным спецификациям системы проверки. В-третьих, RMaxTS, варианте поиска в дереве по методу Монте-Карло. Он присваивает встроенные вознаграждения на основе изучения тактического пространства состояний, побуждая модель генерировать различные пути доказательства. Это приводит к более обширному исследованию пространства доказательств. В результате получился набор моделей с абсолютной точностью генерации в 46,3% на тестовом наборе miniF2F. Этот показатель лучше, чем у GPT-4 и моделей RL, специализирующихся на доказательстве теорем. Набор DeepSeek-Prover: 🟠DeepSeek-Prover-V1.5 Base. Идеально подходит для первоначального изучения и понимания возможностей модели и основ для формальных математических рассуждений, но требует дальнейшего обучения для оптимальной работы; 🟠DeepSeek-Prover-V1.5 SFT. Модель для задач, требующих умеренных навыков доказательства теорем за счет рассуждений на естественном языке и информации о тактическом состоянии. 🟠DeepSeek-Prover-V1.5 RL. Рекомендуется для решений, требующих высочайшей точности и производительности при формальном доказательстве теорем. К SFT-версии добавлены дополнительная оптимизация на основе Proof Assistant Feedback и обучение с подкреплением. ▶️Установка и запуск:

# Clone the repository:
git clone --recurse-submodules git@github.com:deepseek-ai/DeepSeek-Prover-V1.5.git
cd DeepSeek-Prover-V1.5

# Install dependencies:
pip install -r requirements.txt

# Build Mathlib4:
cd mathlib4
lake build

# Run paper experiments:
python -m prover.launch --config=configs/RMaxTS.py --log_dir=logs/RMaxTS_results

📌Лицензирование кода репозитория: MIT license 📌Лицензирование моделей: DEEPSEEK License 🟡Набор моделей 🟡Arxiv 🟡Датасет 🟡Сообщество в Discord 🖥Github [ Stars: 53 | Issues: 0 | Forks: 1] @ai_machinelearning_big_data #AI #LLM #Math #ML

⚡️ Awesome math – курируемый список полезных ресурсов по математике Здесь собраны различные материалы по таким темам как: • Основы математики • Теория чисел • Алгебра • Комбинаторика • Числовой анализ • Обработка сигналов • Математика для компьютерных наук • Математическая биология • Математическая физика https://github.com/rossant/awesome-math #GitHub | #Archive @data_math

Трамплин в карьере для системных аналитиков 🚀 Есть опыт работы от года и желание развиваться в профессии? Приходи на онлайн-интенсив в Открытые школы Т1! 🎓Открытые школы — это обучение с возможностью попасть в штат Холдинга Т1 — крупнейшей ИТ-компании в России по версии RAEX 2023, в портфеле которой 800+ масштабных проектов и 70+ продуктов и услуг. Всего за полгода мы выпустили 500+ специалистов, лучшие из которых уже присоединились к командам финтех-разработки и разработки ИТ-продуктов. Также выпускников ждут в юнитах облачных сервисов, развития ИИ-решений, интеграции и консалтинга. Что в программе? — курс по работе с требованиями, — проектирование REST API, — понимание банковской специфики. ⌛️ Быстрое обучение: 1 месяц. 💻Гибкий формат: все этапы онлайн, занятия по вечерам. Врывайся в бигтех и подавай заявку до 22 августа!  Старт бесплатного интенсива: 28 августа. Реклама. ООО "Т1". ИНН 7720484492.

Собеседования 1. Открытое собеседование на Middle Data Scientist. Секция Python и работы с данными 2. Открытое собеседование на Middle Data Scientist. Секция ML 3. Выпуск 4: System Design собеседование с Валерием Бабушкиным 4. Mock собеседование на Junior Data Scientist 5. Выпуск 3: System Design собеседование с Валерием Бабушкиным 6. Выпуск 2: System Design собеседование с Валерием Бабушкиным 7. Выпуск 1: System Design собеседование с Валерием Бабушкиным 8. Открытое собеседование на позицию игрового аналитика 9. Выпуск 3: ML System Design собеседование с Валерием Бабушкиным 10. Техническое собеседование на позицию junior аналитика #video https://www.youtube.com/watch?v=6adGYmQeJNw&list=PLBRXq5LaddfzDBjg6soIwJJA2klXXs6ni

🔥 Прикладная независимая конференция по data science Организаторы HighLoad++ делают первую офлайн конференцию AiConf 2024. И это не просто конференция, а площадка для обмена опытом, общения и профессионального роста для Data Scientist, ML инженеров. ➡️ Среди тем конференции: - Работа со звуком - Компьютерное зрение и генерация изображений - Обработка естественного языка - Рекомендательные системы и поиск - Умные механизмы - Дискуссии на тему "ML будущего" - Оптимизация использования железа ➡️ На AiConf 2024 вас ждут: -Более 700 участников - Доклады от Эмели Драль, Олега Бартунова, Алексея Голомедова - Свежие доклады от лидеров рынка Ozon, Яндекса, Huawei, а также из реального сектора  - Рассказы о кейсах и технологиях, которые можно сразу применить в своих проектах. Всё свежее, из первых рук — Неформальное общение на afterparty  ❗️Кстати, ребята в своем телеграм-канале (https://t.me/UseDataConfChannel) делают розыгрыш офлайн-билета, приглашаем поучаствовать. До встречи на AiConf 2024!

🖥 Python для сетевых инженеров 🔥 Очень полезная открытая книга для сетевых инженеров с опытом программирования и без. Все примеры и домашние задания построены с уклоном на сетевое оборудование. Для тех, кто хочет автоматизировать повседневные задачи и заняться программированием, но не знает, с какой стороны подойти. 📎 Книга @data_math

Это нам кажется, что только любознательные дети ищут ответы на сотни вопросов о том, что происходит вокруг. Но на самом деле в наших взрослых головах ничуть не меньше вопросов, просто другого уровня осознанности и направленные вглубь себя. Константин Ковалёв — доказательный врач-психиатр и психотерапевт — использует в своей работе только научно проверенные методики, и объясняет простым языком, как на самом деле работает наш мозг, и даёт инструменты для личностного роста и достижения целей: 📌 Способ принимать решения, с учётом потенциальных возможностей, которые откроются благодаря текущим выборам 📌 Простая техника, как прокачать критическое мышление и умение видеть свои ошибки 📌 Дыхательная методика по борьбе с бессонницей, которая снижает продуктивность и качество жизни 📌 Эффект, позволяющий удерживать в памяти нужную информацию Подписывайся на канал @Doctor_Kovalev и находи инструкции, как хакнуть свой мозг 🧠 Реклама. Ковалев К.И. ИНН: 325502816794

Это нам кажется, что только любознательные дети ищут ответы на сотни вопросов о том, что происходит вокруг. Но на самом деле в наших взрослых головах ничуть не меньше вопросов, просто другого уровня осознанности и направленные вглубь себя. Константин Ковалёв — доказательный врач-психиатр и психотерапевт — использует в своей работе только научно проверенные методики, и объясняет простым языком, как на самом деле работает наш мозг, и даёт инструменты для личностного роста и достижения целей: 📌 Способ принимать решения, с учётом потенциальных возможностей, которые откроются благодаря текущим выборам 📌 Простая техника, как прокачать критическое мышление и умение видеть свои ошибки 📌 Дыхательная методика по борьбе с бессонницей, которая снижает продуктивность и качество жизни 📌 Эффект, позволяющий удерживать в памяти нужную информацию Подписывайся на канал @Doctor_Kovalev и находи инструкции, как хакнуть свой мозг 🧠 Реклама. Ковалев К.И. ИНН: 325502816794

InfinityMATH Масштабируемый набор данных для настройки математических моделей InfinityMATH, масштабируемый набор данных для настройки моделей для математического анализа. Эксперименты по точной настройке языков и моделей кода с открытым исходным кодом, таких как Llama2 и CodeLlama, демонстрируют практические преимущества InfinityMATH. Эти точно настроенные модели показали значительные улучшения, составив в среднем от 184,7% до 514,3% процентов прироста. Кроме того, эти модели продемонстрировали хорошие оценки надежность в тестах GSM8K+ и MATH+, которые представляют собой усовершенствованную версию тестовых наборов с простым изменением количества тестов. InfinityMATH делает модели более универсальными и эффективными для решения широкого круга математических задач. https://huggingface.co/papers/2408.07089

🔥 Прикладная независимая конференция по data science Организаторы HighLoad++ делают первую офлайн конференцию AiConf 2024. И это не просто конференция, а площадка для обмена опытом, общения и профессионального роста для Data Scientist, ML инженеров. ➡️ Среди тем конференции: - Работа со звуком - Компьютерное зрение и генерация изображений - Обработка естественного языка - Рекомендательные системы и поиск - Умные механизмы - Дискуссии на тему "ML будущего" - Оптимизация использования железа ➡️ На AiConf 2024 вас ждут: -Более 700 участников - Доклады от Эмели Драль, Олега Бартунова, Алексея Голомедова - Свежие доклады от лидеров рынка Ozon, Яндекса, Huawei, а также из реального сектора  - Рассказы о кейсах и технологиях, которые можно сразу применить в своих проектах. Всё свежее, из первых рук — Неформальное общение на afterparty  ❗️Кстати, ребята в своем телеграм-канале (https://t.me/UseDataConfChannel) делают розыгрыш офлайн-билета, приглашаем поучаствовать. До встречи на AiConf 2024!

Бесплатный курс с теорией и практикой математики для Data Science. Никакой лишней воды, только то, что действительно нужно для работы с ML, и всё это с примерами кода. Приятный бонус — можно выбрать диалект для примеров (PyTorch, Keras или MXNET). Кстати, остальные главы курса тоже на высоте. https://d2l.ai/chapter_appendix-mathematics-for-deep-learning/index.html

Интересуетесь робототехникой и хотите углубиться в тему компьютерного зрения? В этом помогут интенсивные программы с фокусом на практику! Плюсы таких форматов — большой объём полезной информации в короткий срок, новые проекты в портфолио, а также активный нетворкинг и обмен идеями. Где найти такие интенсивы? Например, у Яндекс Образования. С 9 по 22 октября у них пройдёт студкемп «Робототехника и ИИ» на базе ИРИТ-РТФ УрФУ. В программе — лекции, семинары, хакатон, много практики и общение со специалистами из индустрии. На бесплатном интенсиве ждут студентов российских вузов, обучающихся по направлению Computer Science. Подать заявку можно до 18 августа. Всем, кто успешно пройдёт отбор, организаторы оплатят дорогу и проживание. Переходите на сайт прямо сейчас и заполняйте анкету!

🛞 Математики изобретают колесо в более высоких измерениях, чтобы решить старую геометрическую проблему: https://scientificamerican.com/article/mathematicians-reinvent-the-wheel-in-higher-dimensions-to-solve-decades-old/ #Математика @data_math