Математика Дата саентиста

⚡️Создаём свою нейросеть в PyTorch Хотите быстро разобраться в PyTorch и написать свою нейросеть? Мы подготовили для вас вебинар, где на практике разберём все этапы создания ML-модели. Вебинар проведет Владислав Агафонов — ML-инженер, ранее работал в Yandex и Huawei. Что будет на вебинаре? 🟠Установим PyTorch в Google Colab и настроим работу на бесплатном GPU; 🟠Поймём, что такое тензоры и почему они — фундамент всех нейросетей; 🟠Скачаем готовый датасет, разберём его структуру и подготовим для обучения; 🟠Научимся использовать DataLoader для эффективной загрузки данных; 🟠Пошагово соберём облегчённую версию классической свёрточной нейронной сети (CNN); 🟠Обучим и протестируем модель. 🕗 Встречаемся 14 мая в 18:30 по МСК, будет много практики, ответы на вопросы и полезные инсайты от эксперта. 😶Зарегистрироваться на бесплатный вебинар

🕳️ Учёные предложили, что у света может быть «тёмная» сторона — и это может перевернуть физику, которую мы знаем уже 100 лет. 🧪 Что произошло Всем известен школьный опыт: если пропустить свет через две щели, на экране появляется рисунок из светлых и тёмных полос. Это считалось главным доказательством того, что свет ведёт себя как волна. Но команда немецких учёных из Института Макса Планка говорит: 👉 может быть, это вовсе не волны, а особое квантовое поведение частиц света — фотонов. 👻 Что такое «тёмный фотон»? По их теории, фотоны бывают двух типов: Яркие фотоны — те, которые мы видим и которые фиксирует прибор Тёмные фотоны — невидимые, не взаимодействуют с миром напрямую, но могут менять поведение ярких фотонов 🧠 Представь, что кто-то невидимый толкает шарик на столе — ты не видишь «того, кто толкнул», но видишь, как шарик катится. Вот так же и тёмные фотоны: они не видны, но влияют на результат. 🔍 Почему это важно Если теория верна, то: Мы можем переосмыслить природу света: возможно, он не волна, а чисто частица Это убирает загадку: «как один фотон проходит через две щели сразу?» Это может повлиять на квантовые технологии и объяснить эффекты, которые раньше казались странными 📌 Пока это теория, но она уже вызвала обсуждения в мире науки. Если она подтвердится — нам придётся по-новому смотреть на то, как устроен свет и квантовая физика. 🔗 Подробнее — в статье New Scientist

🎲 Задача с подвохом: Монетки и ошибка интуиции Условие: У вас есть две монеты: • Монета A: честная, вероятность выпадения орла = 50% • Монета B: нечестная, у неё две стороны с орлами (орёл всегда выпадает) Вы случайным образом выбираете одну монету (с вероятностью 50% каждая) и подбрасываете её один раз. Выпадает орёл. ❓ Вопрос: Какова вероятность того, что вы выбрали нечестную монету (Монета B)? 🔍 Разбор: На первый взгляд многие отвечают: «Мы выбрали монету случайно, значит вероятность всё ещё 50%». Но это ловушка! Нам нужно пересчитать вероятность с учётом того, что выпал орёл. Это задача по формуле Байеса. 🧮 Обозначения: • A: выбрана честная монета • B: выбрана нечестная монета • O: выпал орёл Мы ищем вероятность: P(B | O) — вероятность того, что выбрана Монета B, если мы увидели орла. 1️⃣ Запишем известные вероятности: • P(A) = 0.5 • P(B) = 0.5 • P(O | A) = 0.5 (честная монета) • P(O | 😎 = 1 (нечестная монета) 2️⃣ Применяем формулу Байеса: P(B | O) = (P(O | 😎 * P(B)) / (P(O | A) * P(A) + P(O | 😎 * P(B)) Подставляем значения: = (1 * 0.5) / (0.5 * 0.5 + 1 * 0.5) = 0.5 / (0.25 + 0.5) = 0.5 / 0.75 ≈ 0.6667 ✅ **Ответ:** Вероятность того, что выбрана нечестная монета после выпадения орла, составляет примерно 66,7%. 💥 **Подвох:** Интуитивно кажется, что выбор монеты не зависит от результата подбрасывания, но дополнительная информация (факт выпадения орла) меняет распределение вероятностей. Это классический пример условной вероятности. 🧠 **Почему это важно для Data Science:** • Обновление вероятностей при поступлении новых данных — ключевой навык для Байесовских моделей • Ошибки интуиции часто встречаются при работе с вероятностями в задачах диагностики, фрод-аналитики и рекомендаций • Глубокое понимание условной вероятности помогает строить более точные и надёжные модели

🖥 Задача: "Оптимизация вероятности успеха в стохастической системе" 📌 Условие: Вы работаете над системой, где каждый эксперимент (тест, запуск модели, продукт) может быть успешным или неуспешным. Результат одного запуска — 1 (успех) или 0 (провал). Известно: - Вероятность успеха одного эксперимента — неизвестна, обозначим её как p. - У вас есть N исторических наблюдений: x1, x2, ..., xN, где каждое xi равно 0 или 1. Вопросы: 1. Построить оценку вероятности успеха p и доверительный интервал на уровне 95%. 2. Рассчитать, сколько экспериментов нужно запустить, чтобы вероятность выхода в прибыль была выше 95%, учитывая: - стоимость одного запуска C; - прибыль от одного успешного эксперимента R. --- ▪️ Подсказки: - Для оценки p используйте биномиальную модель. - Для доверительного интервала: - Можно использовать нормальное приближение (если выборка большая), - Или Wilson-интервал для аккуратности. --- ▪️ Что оценивается: - Правильная работа с вероятностями и доверием. - Способность адекватно аппроксимировать биномиальные распределения. - Чистота и практичность вычислений. --- ▪️ Разбор возможного решения: ▪️ 1. Оценка вероятности успеха:

# p_hat - оценка вероятности успеха
p_hat = sum(xi_list) / N

где xi_list — список из 0 и 1 (результаты экспериментов). ▪️ 2. Доверительный интервал через нормальное приближение:

import math
z = 1.96  # для 95% доверия
std_error = math.sqrt(p_hat * (1 - p_hat) / N)
lower_bound = p_hat - z * std_error
upper_bound = p_hat + z * std_error

▪️ 3. Wilson-интервал (более аккуратный):

z = 1.96  # для 95% доверия
center = (p_hat + z**2 / (2 * N)) / (1 + z**2 / N)
margin = (z * math.sqrt((p_hat * (1 - p_hat) / N) + (z**2 / (4 * N**2)))) / (1 + z**2 / N)
lower_bound = center - margin
upper_bound = center + margin

--- ▪️ 4. Прибыльность эксперимента: Формула прибыли при n экспериментах:

profit = successes * R - n * C

Требуется:

P(profit > 0) >= 0.95

Число успехов должно быть больше определённой границы:

min_successes = (n * C) / R

Если n велико, количество успехов приближается к нормальному распределению:

mean_successes = n * p_hat
std_successes = math.sqrt(n * p_hat * (1 - p_hat))

Для нормального приближения можно написать:

# Вероятность успешности через нормальное распределение
from scipy.stats import norm

# Вероятность, что количество успехов больше нужного
prob = 1 - norm.cdf(min_successes, loc=mean_successes, scale=std_successes)

Тогда перебором или через уравнение ищем минимальное n, чтобы prob >= 0.95. --- ▪️ Возможные подводные камни: - Нельзя использовать нормальное приближение при малом N — нужна биномиальная модель. - Неверное задание границ доверительного интервала может привести к неправильной стратегии запуска. - Плохое понимание соотношения C и R приводит к ошибочным выводам об окупаемости. --- 📌Дополнительные вопросы: - Как бы вы учли, что прибыль от успеха — случайная величина? - Как пересчитать стратегии, если вероятность успеха зависит от времени (`p = f(t)`)? - Как применить байесовский апдейт для оценки вероятности успеха? ---

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: Python: t.me/pythonl Linux: t.me/linuxacademiya Собеседования DS: t.me/machinelearning_interview Нерйросети t.me/ai_machinelearning_big_data C++ t.me/cpluspluc Docker: t.me/DevopsDocker Хакинг: t.me/linuxkalii Devops: t.me/DevOPSitsec Data Science: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/javatg Базы данных: t.me/sqlhub Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Разработка игр: https://t.me/gamedev Haskell: t.me/haskell_tg Физика: t.me/fizmat 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

✔️ OpenAI добавила в API модель генерации изображений GPT-Image-1. OpenAI открыла доступ к GPT-Image-1 через API — ранее она работала только в ChatGPT. Стоимость генерации тарифицируется по токенам: текст ($5/млн), ввод изображений ($10/млн), вывод ($40/млн). Одно изображение обходится в $0,02–0,19. Например, картинка 1024×1024 в высоком качестве «съест» 4160 токенов. Модель превосходит Midjourney-v7 в точности следования запросам, но имеет ограничения: плохо распознаёт мелкий текст, нелатинские шрифты, медицинские данные. Изображения можно загружать через URL или Base64 (PNG, JPEG до 20 МБ). Максимальное разрешение — 768×2000 пикселей. API анализирует объекты, цвета, текст, но не подходит для задач с высокой точностью. Для безопасности добавлены фильтры контента и метаданные C2PA. Тестировать модель можно в Playground OpenAI — подробности в гайдах по работе с API. openai.com ✔️ Kortix AI выпустила Suna — первый в мире опенсорсный ИИ-агент общего назначения. Suna — открытый ИИ-агент, способный выполнять реальные задачи через чат-интерфейс. В отличие от закрытых коммерческих моделей, Suna работает офлайн, бесплатен и доступен для самостоятельного хостинга. Suna не просто отвечает на вопросы: он автоматизирует рутину — от парсинга сайтов и генерации отчетов до развертывания веб-приложений. В основе лежит изолированная Docker-среда, React/Next.js для интерфейса и интеграция с LiteLLM, Supabase и Redis. Помимо исходного кода, есть подписка на развернутый у Kortix AI сервис: бесплатно 10 минут в месяц, за 29$ - 4 часа, а за 199\мес - 40 часов работы Suna. suna.so ✔️ Firefox анонсировал предпросмотр ссылок с локальным ИИ. Пользователи Firefox теперь могут заглянуть в содержимое ссылки, не открывая ее. Экспериментальная функция в Firefox Labs 138 показывает карточку с заголовком, описанием, временем чтения и тремя ключевыми пунктами, сгенерированными локальной языковой моделью. Все работает через HTTPS-запросы без загрузки страницы или выполнения скриптов — данные парсятся из метатегов Open Graph и Reader View. Приватность в приоритете: модель SmolLM2-360M (369 МБ) запускается на устройстве через WebAssembly (wllama), избегая передачи данных в облако. Функция пока в тесте: разработчики ждут фидбека об опыте использования от пользователей. blog.mozilla.org ✔️ xAI добавила 3 новые функции в Grok. xAI расширила возможности голосового ассистента Grok: Grok Vision, поддержка многоязыкового аудио и поиск в реальном времени в голосовом режиме. Все это уже доступно пользователям iOS, а для Android-устройств две последние опции открыты только с подпиской SuperGrok. Grok Vision, как заявляют разработчики, позволяет ассистенту анализировать экран смартфона и комментировать происходящее «здесь и сейчас» — например, распознавать объекты или текст. Ebby Amir (xAI) в X (ex-Twitter) ✔️ BMW внедрит ИИ DeepSeek в свои автомобили для Китая . BMW объявил о партнерстве с DeepSeek для интеграции ИИ-технологий в машины, продаваемые в Китае. Сотрудничество, представленное на Шанхайском автосалоне, направлено на улучшение «Умного персонального ассистента» — система получит новые функции и расширенный доступ к данным. Интеграция ИИ DeepSeek ускорит переход BMW к «программно-определяемым» автомобилям. Ожидается, что обновления затронут не только ассистента, но и улучшат интерфейсы, а также поддержат более сложные сценарии автономного управления. bmwblog.com @ai_machinelearning_big_data #news #ai #ml

Если хочется влюбиться в профессию заново, разработайте курс вместе с Яндекс Практикумом! Яндекс Практикум — сервис онлайн-образования, где реально освоить востребованную цифровую профессию. Сейчас есть возможность присоединиться к команде в качестве автора. Автор готовит тексты уроков, тесты, памятки и прочие материалы, упаковывает свой опыт в учебные кейсы и в буквальном смысле влияет на развитие индустрии. Что ожидают от кандидата: ▪︎ Техническое образование (преимущественно в области ML). ▪︎ Опыт работы Data scientist или на смежных позициях от 3-х лет. ▪︎ Непреодолимое желание делиться знаниями и опытом, рассказывать сложное доступно и понятно. Так, чтобы вас поняли люди без опыта в этой сфере. Почему это интересно: ▪︎ удалёнка и дополнительный доход, ▪︎ благодарная аудитория, возможность самореализации, ▪︎ энергичное комьюнити и коллеги, с которыми не скучно. Узнать подробности и откликнуться

💫 How to build a neutron star — from scratch» с блога James' Space Blog представляет собой подробное руководство по численному моделированию нейтронной звезды с нуля на С++.​ 🧠 Основные идеи статьи 🔬 Что такое нейтронная звезда? Нейтронная звезда — это сверхплотный объект, образующийся после коллапса массивной звезды. Под действием огромного давления протоны и электроны объединяются в нейтроны. Из-за экстремальных условий внутри нейтронной звезды невозможно точно определить её внутреннюю структуру:​ Невозможно создать нейтронную материю в лаборатории. Объединение общей теории относительности и квантовой механики при таких масштабах остаётся нерешённой задачей. Существующие модели вращающихся жидкостей в ОТО являются приближёнными.​ ⭐️ Этапы моделирования Построение статической нейтронной звезды: Рассматривается как самогравитирующаяся жидкость в гидростатическом равновесии. Решается уравнение Толмана–Оппенгеймера–Волкова (TOV), описывающее структуру звезды.​ Добавление вращения и движения: Переход от статической модели к вращающейся и движущейся звезде с использованием дополнительных уравнений.​ Коррекция модели: Внесение поправок для удовлетворения физическим ограничениям, аналогично процессу для чёрных дыр.​ Построение переменных: Вычисление таких параметров, как плотность, энергия и скорость, необходимых для дальнейшего моделирования.​ ⚙️ Уравнение состояния (EOS) Для моделирования используется уравнение состояния, связывающее давление, плотность и внутреннюю энергию. 🧪 Практическая реализация Автор предоставляет код для реализации модели, разделённый на две части:​ Первая часть: библиотека для моделирования статической нейтронной звезды. Вторая часть: расширение модели для вращающейся и движущейся звезды.​ Цель — подготовка начальных условий для численного моделирования столкновений нейтронных звёзд.​ 🔜 Полный текст статьи доступен по ссылке @data_math

⚡️Строим рекомендательную систему фильмов на Kaggle Вы когда-нибудь хотели сделать свою собственную систему рекомендаций фильмов? 🎬 Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer и преподаватель курса по ML школы Simulative в прямом эфире покажет как построить рекомендательную систему фильмов на Kaggle. Что будем делать на вебинаре: 🟠Разберем имеющиеся данные фильмов с их оценками 🟠Проведем предобработку данных 🟠Построим рекомендательную систему на основе машинного обучения 🟠Проведем расчет и анализ метрик на основе результатов работы модели Вебинар будет интересен как новичкам, так и уже опытным специалистам 😶Зарегистрироваться на бесплатный вебинар

🌟 DeepMath-103K — датасет для прокачки LLM в продвинутой математике DeepMath-103K — это новый мощный набор задач для обучения больших языковых моделей (LLMs) математическому рассуждению на высоком уровне сложности с помощью reinforcement learning (RL). 📦 Что в наборе? 103 000+ задач уровня сложности 5–9 (от среднего до продвинутого уровня). Каждая задача включает: 📌 Верифицируемый ответ — важно для обучения с подкреплением. 🧪 3 решения, сгенерированных моделью R1 — для обучения с учителем или дистилляции. Полная очистка от утечек данных (decontaminated) — можно безопасно использовать на бенчмарках. 📊 Почему это важно? Модели, обученные на DeepMath-103K, показывают существенный прирост точности на сложных математических задачах и бенчмарках (MATH, GSM8K, MiniF2F и др.). 🛠 Применение: Fine-tuning моделей (например, GPT, LLaMA) для математического reasoning. RLHF (reinforcement learning with human feedback) и self-improvement. Дистилляция сильных моделей в более компактные. 🔜PAPER: https://arxiv.org/abs/2504.11456 🔜CODE: https://github.com/zwhe99/DeepMath 🔜 SET: https://huggingface.co/datasets/zwhe99/DeepMath-103K @data_math

🔥 Короткое видео от Hunyuan, которое объясняет архитектуру гибридного трансформера Mamba, лежащего в основе моделей Hunyuan T1 и Turbo S. 🔜 Оригинал #mamba #Hunyuan

Присоединяйтесь к дискуссии — задавайте свои вопросы в комментариях к посту Рекламодатель БАНК ВТБ (ПАО), ИНН 7702070139, Генеральная лицензия банка России №1000. Реклама, erid: 2SDnjf11Zk8. 0+ https://t.me/Data_fusion/152

Theory—Theoretical & Mathematical Foundations 📓 Book @data_math

🌟 Kimi-VL: VLM с MoE, ризонингом и контекстом 128K. Moonshot AI опубликовала веса Kimi-VL — открытой VLM, которая объединяет обработку текста, изображений и видео. Благодаря архитектуре MoE модель активирует всего 2.8 млрд. параметров в языковом декодере, обеспечивая скорость, сопоставимую с компактными аналогами, и результативность флагманских решений. Главное преимущество Kimi-VL — способность анализировать длинные контексты до 128 тыс. токенов, что делает её идеальной для работы с объемными документами, длинными видео или сложными мультимедийными задачами. Основу модели составляет визуальный энкодер MoonViT, оптимизированный для нативной обработки изображений любого разрешения без необходимости разбивать их на части. Это позволяет точно распознавать текст, графики или UI-интерфейсы даже в высокодетализированных скриншотах. Например, на бенчмарке InfoVQA модель показывает точность 83.2%, обходя даже GPT-4o. В задачах OCR Kimi-VL достигает 86.7% на OCRBench, что ставит её в ряд лучших в индустрии. Разработчики также представили Kimi-VL-Thinking — версию с расширенными возможностями CoT. Благодаря использованным RL и длительному CoT-тюнингу она демонстрирует впечатляющие результаты в математических и академических задачах: на MathVista точность составила 71.3%, а на MMMU — до 61.7%, что лучше, чем у Gemma-3-12B-IT. В тестах Kimi-VL превосходит конкурентов в работе с агентами: на OSWorld её результат 8.22% выше, чем у GPT-4o (5.03%), а на WindowsAgentArena — 10.4%. Для длинных видео модель набирает 64.5% на LongVideoBench, подтверждая способность анализировать часовые записи без потери ключевых деталей. Модели доступны на Hugging Face в двух вариантах: 🟢Kimi-VL-A3B-Instruct для стандартных задач; 🟠Kimi-VL-Thinking для сложных рассуждений. ▶️ Инференс через Transformers занимает несколько строк кода — достаточно загрузить изображение, задать запрос и получить подробный ответ. 📌Лицензирование: MIT License. 🟡Набор моделей 🟡Техотчет 🖥GitHub @ai_machinelearning_big_data #AI #ML #VLM #KimiAI #MoonShotAI

Data Fusion 2025 — место встречи тех, кто работает с данными, ИИ и машинным обучением ⌛️Уже 16 и 17 апреля в Москве пройдет масштабная конференция, посвященная последним трендам в мире данных и ИИ. 70+ сессий и 250+ спикеров поделятся реальными кейсами и передовыми исследованиями, которые будут двигать индустрию. В программе: 📊 Сессия о промышленных данных: как развивается инфраструктура их обмена в России, примеры сбора, обработки и вопросы безопасности. 🧠 Жаркие дебаты: Сколько данных осталось до предела? Обсудим, что мешает нам работать с данными на полную мощность. 🎬 Эксклюзивный показ фильма «Влюбленные в математику» Александра Гасникова — о том, как развивается наука прямо сейчас. 🔗Полная программа конференции Хотите узнать, какие DS-решения эффективны для бизнеса и государства? Тогда переходите прямо сейчас, регистрация закроется уже завтра — https://data-fusion.ru/. 📌16-17 апреля, Москва, технопарк «Ломоносов». Участие бесплатное. Мы заботимся о безопасности участников на мероприятии, поэтому для доступа на конференцию просим заполнить развернутую онлайн-форму. Благодарим за понимание. – *DS — Data Science — наука о данных

✔️ Релиз весов HiDream-I1: 17B параметров и превосходство над GPT-4o по качеству генерации изображений. HiDream-I1 - генеративная модель text-to-imаge, разработанная китайской компанией HiDream, которая работает под брендом vivagoAI. Модель получила 17 млрд. параметров и показывает высочайшее качество генерации изображений в фотореализме, анимационном и художественном стилях. Представлено 3 версии модели: Dev, Full и Fast. Модель выпущена под лицензией MIT и уже заняла 1 место в GenAI-бенчмарках, обогнав предыдущего лидера, GPT-4o. 🟡Попробовать 🟡Github 🟡HidreamAi в X (ex-Twitter) @ai_machinelearning_big_data #news #ai #ml #HiDream #AImodel

Сейчас информация для тех, кто еще учится в вузе Мы собрали большое комьюнити умных и образованных людей, среди которых точно есть те, кому нравится обучать точным наукам и программированию. И на своём опыте знаю, чего стоит поиск учеников, особенно если нет ресурсов, какими обладают онлайн-школы. А так как я придерживаюсь стратегии win-win, с радостью готов поделиться ресурсом, который поможет вам найти учеников уже сейчас: Последний в этом году 3-х дневный концентрат от репетитора и студента факультета компьютерных наук из ВШЭ За 5 лет репетиторства он разработал систему, которой пользуются все начинающие репетиторы, а действующие с её помощью сокращают время работы и увеличивают доход. Его советам точно можно доверять. Не упустите эту возможность учиться у лучших в своем деле. УЧАСТВОВАТЬ