Математика Дата саентиста

⚡Разбираем специфику области NLP и задачи, которые можно решать с помощью NLP-методов на открытом уроке в OTUS! 🔥23 октября в 18.00 мск. приглашаем на бесплатный вебинар "Современные применения Natural Language Processing", на котором разберем: - основные направления области Natural Language Processing; - что делает эту область одной из самых востребованных в Data Science сегодня; - какие задачи сегодня решают с помощью методов NLP и что стоит за успехами в этой области. 👉Регистрация. Вступительный тест https://otus.pw/29W2/?erid=LjN8JuKcf Спикер: Мария Тихонова, Senior Data Scientist, преподаватель ВШЭ, Otus Certified Educator Вебинар приурочен к старту курса Natural Language Processing (NLP). На курсе изучаются современные подходы и модели, которые на данный момент являются стандартом в области.  #реклама О рекламодателе

RamdaJS 1. Функциональное программирование с RamdaJS. Основы и блок Математики 2. Обработка строк в RamdaJS и поток вызова функций 3. Методы объектов в RamdaJS и пара полезных функций 4. Логические операции в RamdaJS 5. Функции первой необходимости в RamdaJS 6. Трансдюсеры в RamdaJS - скидка на дорогие операции 7. Линзы в RamdaJS как абстракция по работе со структурами данных #video #js https://www.youtube.com/watch?v=XkNynJBruKY&list=PLiZoB8JBsdzkqsILPvz5jw2-OJ5rw6ukH

Бесплатный вебинар по созданию отчётов в Power BI Многие аналитики сталкиваются с проблемой создания отчётов ради отчётов. В результате: неверные выводы и, как следствие, потери для бизнеса На вебинаре вы превратите плохой отчёт в наглядный и полезный для бизнеса с помощью Power BI — топового инструмента для визуализации данных Спикер Мария Гришина, ведущий BI-аналитик в ООО Салаир (РЖД) и автор тг-канала «Power BI Design», расскажет о том, как: ▶️ упростить читабельность дашборда и сократить время на его чтение ▶️ правильно разбить информацию на блоки и выстроить архитектуру UX/UI-отчета ▶️ применять передовые практики дизайна дашбордов Кому будет полезно? ✔️ Новичкам, которые хотят углубиться в аналитику ✔️ Начинающим аналитикам, которые хотят подсмотреть классные фишки Начало 15 октября 19:00 по Мск Регистрируйтесь по ссылке

🌟 OpenMathInstruct-2: математический датасет и набор моделей от NVIDIA. OpenMathInstruct-2 состоит из 14 млн. пар "вопрос-решение" (примерно 600 тысяч уникальных вопросов) и является одним из крупнейших общедоступных наборов данных для обучения LLM в математике. Набор данных создан на основе Llama-3.1-405B-Instruct путем синтеза решений для существующих вопросов из наборов данных MATH и GSM8K и генерации новых задач и решений. Результаты абляционных экспериментов, которые проводились для поиска оптимальных параметров синтеза, показали, что: 🟢формат решения имеет значение, причем чрезмерно подробные решения негативно сказываются на производительности модели; 🟢данные, сгенерированные сильной моделью-учителем, превосходят по качеству данные, полученные от более слабой модели; 🟢процесс обучения устойчив к наличию до 20% решений низкого качества; 🟢разнообразие вопросов имеет решающее значение для масштабирования данных. Итоговые данные, включенные в датасет прошли тщательную деконтаминацию с использованием конвейера lm-sys и ручной проверки на поиск дубликатов с тестовыми наборами данных. OpenMathInstruct-2 показал высокую эффективность при обучении LLM. Модель Llama3.1-8B-Base, обученная на OpenMathInstruct-2, превзошла Llama3.1-8B-Instruct на 15,9% по точности на наборе данных MATH, а OpenMath2-Llama3.1-70B обошла Llama3.1-70B-Instruct на 3,9%. Датасет выпущен в 3-х размерностях: полный набор (примерно 7.5 GB) и уменьшенные версии train_1M (640 Mb), train_2M (1.3 Gb) и train_5M (3.1 Gb). ▶️ Модели, дообученные на этом датасете: 🟠OpenMath2-Llama3.1-70B, в формате Nemo, квантованные версии GGUF (от 3-bit до 8-bit); 🟠OpenMath2-Llama3.1-8B, в формате Nemo, квантованные версии GGUF (от 2-bit до 8-bit). 📌Лицензирование датасета : CC-BY-4.0 License. 📌Лицензирование моделей: Llama 3.1 Community License. 🟡Набор моделей 🟡Arxiv 🟡Датасет @ai_machinelearning_big_data #AI #ML #LLM #MATH #NVIDIA #Dataset

👩‍💻 Great Great Numbers (GGN) — это простая библиотека на C для работы с целыми числами произвольной длины. Она поддерживает арифметические операции (сложение, вычитание, умножение и деление) над числами, которые превышают стандартные типы данных. 🌟 GGN позволяет работать со знаковыми числами, выполнять инициализацию больших чисел с помощью строк и предоставляет утилиты для вывода и сравнения. Библиотека ориентирована на разработчиков, которым необходима работа с большими числами в приложениях на C 🔐 Лицензия: MIT ▪️GitHub @data_math

Привет! Это команда МТС. Мы запустили набор на 3 поток Школы аналитиков данных МТС! Обучение проходит в онлайн-формате и длится 10 месяцев. Преподаватели — эксперты нашего центра Big Data. Вы научитесь писать на Python, прокачаетесь в математике, основах машинного обучения, ML Ops, Spark и прочих вещах, без которых не выйдет работать в Data Science. Также у студентов будет возможность попасть на стажировку в МТС. Ждем тех, кто любит учиться, хочет попасть в комьюнити единомышленников, и, конечно, развиваться в анализе данных и ML. Обучение бесплатное, но места ограничены - чтобы попасть, необходимо подать заявку до 20 октября и выполнить вступительное задание. Старт обучения - 7 ноября! Подробности по ссылке, ждём тебя! Реклама. Информация о рекламодателе.

DBT – мессия, блажь или реальность дата-инженера? 8 октября приглашаем вас на бесплатный вебинар от учебного центра Слёрм! Встретимся с опытными специалистами из мира big data, чтобы обсудить: 👉🏻 Как управлять жизненным циклом данных в мире победившего Modern Data Stack? 👉🏻 Могут ли современные инструменты преобразить процесс Data Governance и сделать его простым и быстрым? 👉🏻 Как разные компании и команды применяют dbt для решения задач Data Governance? Эксперты встречи: — Евгений Ермаков, руководитель платформы данных Tоlоkа.аi — Николай Марков, Data Platform Lead в Altenar, спикер курсов Слёрма и ментор проекта «Где дата, Коль?» 📌 Когда: 8 октября в 19:00 мск 📌 Занять место на вебинаре — через бота.  erid: LjN8KG3v9

♠️ Бесплатный курс от MIT: Теория и Аналитика покера В этом курсе от MIT подробно рассматривается теория покера, математика покера и применение покерной аналитики в управлении инвестициями и трейдинге. ▪️Материалы Курса @data_analysis_ml

🔝 Вступительный экзамен МГУ биофак 1975 год - Задача по планиметрии 📌 источник @data_math

Word2Vec — классика векторных представлений слов для решения задач текстовой обработки Приглашаем на практический эфир с  преподавателем ВШЭ Марией Тихоновой ✅ Изучение и практика: Векторные представления слов; алгоритм word2vec Урок посвящен курсу «Machine Learning. Professional» по окончанию которого вы сможете претендовать на Junior+ и Middle позиции Data Scientist 👇 Регистрация на урок:  https://otus.pw/Yx8i/?erid=LjN8KRvsZ #реклама О рекламодателе

🔍 Мини-шпаргалка по техникам регуляризации в машинном обучении @data_math

DBT – мессия, блажь или реальность дата-инженера? 8 октября приглашаем вас на бесплатный вебинар от учебного центра Слёрм! Встретимся с опытными специалистами из мира big data, чтобы обсудить: 👉 Как управлять жизненным циклом данных в мире победившего Modern Data Stack? 👉 Могут ли современные инструменты преобразить процесс Data Governance и сделать его простым и быстрым? 👉 Как разные компании и команды применяют dbt для решения задач Data Governance? Эксперты встречи: — Евгений Ермаков, руководитель платформы данных Tоlоkа.аi — Николай Марков, Data Platform Lead в Altenar, спикер курсов Слёрма и ментор проекта «Где дата, Коль?» ⭐️ Когда: 8 октября в 19:00 мск ⭐️ Занять место на вебинаре — через бота.

Вступительный экзамен по алгебре в MiT в 1869 году

🌟 Пространственно-временное прогнозирование с помощью Байесовских нейронных полей. Байесовские нейронные поля (Bayes NF) - метод масштабируемого пространственно-временного прогнозирования, объединяющий архитектуру глубокой нейронной сети моделирования функций с иерархическим Байесовским моделированием для точной оценки неопределенности в сложных пространственно-временных полях. Bayes NF строятся на основе Байесовской нейронной сети, отображающей многомерные пространственно-временные координаты в действительное поле. Для получения высокой априорной вероятности для данных как с низко-, так и с высокочастотными вариациями, к исходным данным о времени и положении, подающимся в сеть, добавляются признаки Фурье, а чтобы учитывать априорные неопределенности, параметры сети получают априорное распределение. Апостериорный вывод осуществляется с помощью стохастических ансамблей оценки максимального апостериори (MAP) или вариационно обученных суррогатов. Метод Bayes NF относительно прост, он может обрабатывать пропущенные данные и обучаться по полному распределению вероятностей для произвольных пространственно-временных индексов. Bayes NF универсален и применим к различным наборам данных без необходимости разработки новой модели для каждого случая или применения специфических для набора данных аппроксимаций вывода. ⚠️ Для локального запуска BayesNF на средних и больших объемах данных требуется GPU. ▶️ Практические туториалы с возможностью запуска на Google Coolab: 🟢анализ на основе пространственно-временного набора данных из 20 временных рядов еженедельных случаев заболевания ветряной оспой в Венгрии в период с 2005 по 2015 гг. Блокнот; 🟢анализ данных из об уровне загрязнения воздуха, измеряемом датчиками по всему Лондону каждый час. Блокнот. ▶️Локальная установка:

# Install bayesnf from PIP into venv:
$ python -m venv pyenv
$ source pyenv/bin/activate
$ python -m pip install -U bayesnf

# Install dependencies for Python 3.10
$ python -m pip install -r requirements.Python3.10.14.txt

📌Лицензирование : Apache 2.0 License. 🟡Документация 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #Predictions #BAYESNF

Учитесь в универе и давно хотите попробовать свои силы в решении реальных кейсов по машинному обучению и нейросетям? Международные олимпиады — отличный способ проверить свои знания и выйти на новый уровень! Одна из таких олимпиад — AIDAO от Яндекса и НИУ ВШЭ. Участникам предстоит решать IT-задачи в команде из 2-3 человек, а победители получат денежные призы до 600 тысяч рублей! Выполнять задания олимпиады нужно на английском, но разрешено пользоваться переводчиком. Если у вас нет команды, то вам помогут её найти во время регистрации. Чтобы принять участие, надо: - быть студентом бакалавриата или магистратуры в российском или зарубежном вузе; - разбираться в ML, алгоритмах и работе с данными; - подать заявку на сайте до 5 октября. Не упустите шанс применить свои навыки на практике и посоревноваться со студентами со всего мира!

📄 Неплохие лекции, Computational Optimization024 Основы линейного программирования и моделирования https://youtube.com/playlist?list=PLYWmzh0Y6EOavVCgWe90eOF3DJEao_jPz Основы смешанного целочисленного программирования https://youtube.com/playlist?list=PLYWmzh0Y6EOa9vXANLOvcDOCXXJitlitP @data_math

📄 Парадоксы теории вероятностей Курс лекций ВМК МГУ. Ульянов В.В. 📌 источник @data_math