Математика Дата саентиста

🧮Расчет косинусного сходства в Python Косинусное сходство — это мера сходства между двумя векторами пространства внутреннего произведения. Для двух векторов, A и B, косинусное сходство вычисляется как: Подобие косинуса = ΣA i B i / (√ΣA i 2 √ΣB i 2 ) Объясним как вычислить косинусное сходство между векторами в Python с использованием функций из библиотеки NumPy. Косинусное сходство между двумя векторами в Python Данный код показывает, как вычислить косинусное сходство между двумя массивами в Python: from numpy import dot from numpy. linalg import norm #define arrays a = [23, 34, 44, 45, 42, 27, 33, 34] b = [17, 18, 22, 26, 26, 29, 31, 30] #calculate Cosine Similarity cos_sim = dot (a, b)/( norm (a)\* norm (b)) cos_sim 0.965195008357566 Косинусное сходство между двумя массивами оказывается равным 0,965195 . ▪Обратите внимание, что этот метод будет работать с двумя массивами любой длины: import numpy as np from numpy import dot from numpy. linalg import norm #define arrays a = np.random.randint(10, size= 100 ) b = np.random.randint(10, size= 100 ) #calculate Cosine Similarity cos_sim = dot (a, b)/( norm (a)\* norm (b)) cos_sim 0.7340201613960431 ▪Однако это работает только в том случае, если два массива имеют одинаковую длину: import numpy as np from numpy import dot from numpy. linalg import norm #define arrays a = np.random.randint(10, size= 90 ) #length=90 b = np.random.randint(10, size= 100 ) #length=100 #calculate Cosine Similarity cos_sim = dot (a, b)/( norm (a)\* norm (b)) cos_sim ValueError : shapes (90,) and (100,) not aligned: 90 (dim 0) != 100 (dim 0)

🖥 Math — математические функции в Python Эта статья посвящена математическим функциям в Python. Для выполнения математических операций необходим модуль math. В C и C++ есть заголовочные файлы, в которых хранятся функции, переменные классов и так далее. При включении заголовочных файлов в код появляется возможность не писать лишние строки и не использовать одинаковые функции по несколько раз. Аналогично в Python для этого есть модули, которые включают функции, классы, переменные и скомпилированный код. Модуль содержит группу связанных функций, классов и переменных. ▪ Статья @data_math

Как понять, что Data Science — это твое? Расскажет Ирина Скорынина, ведущий аналитик-исследователь Газпромбанка, на новой лекции Digital Лектория. Когда: 21 июня, 18:00 (по МСК) Где: Telegram-канал Digital Лектория Что обсудим: кому будет интересно в сфере Data Science, как развиваться в DS с непрофильным образованием, какими навыками и компетенциями должен обладать Data Scientist и как выглядит roadmap специалиста в этой сфере. Присоединяйся к лекции «Data Science: быть или не быть» — регистрация уже открыта: https://www.gpbspace.ru/digital-lectory-hall-form Реклама Банк ГПБ (АО), ИНН: 7744001497 erid:LjN8Jste3

5 супер полезных математических Python библиотек 1. SymPy - это библиотека, которая может использоваться для выполнения символьных вычислений. Она позволяет создавать системы уравнений, получать значения, упрощать формулы и преобразовывать результаты вычислений в код LaTeX, который может быть полезен при написании научных докладов. >>> from sympy import * ... x = Symbol('x') ... y, z = symbols('y, z') ... expr = (x**2 + y**2) * z ... expr z*(x**2 + y**2) >>> expr2 = expr.subs(x, 12) ... expr2.subs(y, 3) 153*z 2. SciPy больше расширяет возможности NumPy, предоставляя множество модулей для различных вычислений. Эта библиотека включает в себя модули, которые позволяют работать с пространственными данными, статистикой и распределениями вероятностей. Если вы работали с MATLAB, то вам не составит труда освоить SciPy. from scipy import stats # Берем 30 значений из нормального распределения # со средним = 25 и стандартным отклонением = 10 a = stats.norm.rvs(size=30, loc=25, scale=10) # Рассчитываем эксцесс полученной выборки stats.kurtosis(a) 3. Math - это модуль, который может использоваться, когда необходимо выполнить математические операции, которые недоступны в стандартных операторах Python. Например, вы можете использовать Math для вычисления квадратного корня, логарифма или синуса. >>> import math >>> math.sqrt(17) 4.123105625617661 >>> math.sin(33) 0.9999118601072672 >>> math.log(15, 2) 3.9068905956085187 4. NumPy - библиотека, предназначенная для работы с n-мерными массивами, которые похожи на вложенные кортежи, но все элементы должны быть одного типа. NumPy позволяет проводить различные операции над массивами целиком и над их элементами, которые недоступны для стандартных типов данных. >>> import numpy as np >>> a = np.array([1, 0.5, -1.9], dtype=float) >>> b = np.array([[10], [10], [10]], dtype=float) c = np.array(a*b) c array([[ 10., 5., -19.], [ 10., 5., -19.], [ 10., 5., -19.]]) Также в этом пакете доступны продвинутые функции и методы для обработки массивов: >>> # Ищем среднее по вертикали >>> c.mean(axis=0) array([ 10., 5., -19.]) >>> # Ищем среднее по горизонтали >>> c.mean(axis=1) array([-1.33333333, -1.33333333, -1.33333333]) 5. Pandas - библиотека, также основана на NumPy и специализируется на работе с таблицами (DataFrame) и временными рядами (Series). >>> import numpy as np ... import pandas as pd ... df = pd.DataFrame({ ... 'name': ['Viktor', 'Ann', 'Kim'], ... 'age': [20, 35, np.nan], ... 'score': [81.17, 93.7, np.nan] ... }) ... df name age score 0 Viktor 20.0 81.17 1 Ann 35.0 93.70 2 Kim NaN NaN Библиотека умеет обрабатывать таблицы не хуже полноценных табличных процессоров. Данные можно сортировать, фильтровать и группировать, загружать таблицы в разных форматах и объединять их. >>> df[df['score'] > 90] name age score 1 Ann 35.0 93.7

🎲 Теория игр: самое начало, без которого дальше будет сложно Начинаем разбирать теорию игр — это набор инструментов, которые помогают принимать взвешенные, рациональные и точные решения, а также понимать данные. Чем больше данных об игроках и ситуациях — тем точнее анализ и прогноз. Сегодня будет простое введение — что это, для чего и что внутри. Дальше будем постепенно применять знания на практике. https://thecode.media/game-theory-1/ @data_math

🔥 Полезные платформы: khanacademy.org - математика Данная платформа является одним из самых старых и известных источником курсов по школьной (и базовой университетской) программам по математике и точным наукам. Если вы осознаете пробелы в математике - это один из тех ресурсов, который может быть полезен. Однако, в последние годы, конкурирующие курсы на уровне школьной (high school) программы стали появляться и на coursera.org, и там, на мой взгляд, есть более качественные курсы. В том числе на coursera.org есть очень удачные курсы "математика для data science", которые неплохо подбирают самые важные темы для данной профессии. Единственным недостатком coursera.org является множество альтернативных курсов по одной и той же теме, между которыми придётся выбирать, и также плохо организованный каталог/поисковик курсов. Тем не менее, рекомендую инвестировать время в том, чтобы найти лучшее из доступного там. Преимущества: khan academy - курсы составлены в учебную программу (как в школе) и нет их дублирования, бесплатность. @data_math

📚 Название: Mathematical Foundations of Data Science Автор: Tomas Hrycej, Bernhard Bermeitinger, Matthias Cetto, Siegfried Handschuh Год: 2023 Страниц: 219 Язык: английский Формат: pdf (true) 📌Скачать книгу @data_math

Умеете строить линейную регрессию? Вы уже одной ногой в машинном обучении :) Освоить всю необходимую базу для работы в одном из самых востребованных направлений можно за 7 месяцев на курсе Start ML. Вы на практике узнаете как ML-алгоритмы работают под капотом, научитесь обучать модели и нейронные сети, а также оценивать их влияние на бизнес и продукт с помощью статистики и A/B-тестов — всё под руководством опытных специалистов из Райффайзен и Яндекс. Курс даст всё необходимое, чтобы уверенно пройти собеседование на позицию Junior ML-специалиста и уже с первых дней быстро расти и приносить компании пользу. С поиском вакансий и трудоустройством обязательно поможем. Новый поток стартует уже 8 июня, а по промокоду MATHFORML21 для вас действует скидка 5%. Присоединяйтесь! [Зарегистрироваться]

Расскажем, для чего матанализ нужен в программировании, и как в нем разобраться максимально быстро без головной боли. ▪Читать @data_math

📹 Решение системы трех уравнений по формулам Крамера

Задача из вступительных Стэнфорда https://www.youtube.com/watch?v=Uw9vIvb-obM @data_math

🎲 Теория вероятностей Список полезных источников для погружения в теорию вероятностей. Задачник Шеня: https://www.mccme.ru/shen/proba.pdf Хорошие задачи с разбором здесь, это мехматовские конспекты: http://dmvn.mexmat.net/content/ptms/pr-probabilitytheory-kondratenko.pdf Веб-приложения, иллюстрирующие концепции вероятности: http://www.randomservices.org/random/apps/index.html PCA наглядно - http://setosa.io/ev/principal-component-analysis/ @data_math

🖥 Подборка курсов по статистике и теории вероятностей Математика — это краеугольный камень Data Science. Хотя некоторые теоремы, аксиомы и формулы кажутся слишком абстрактными и далекими от практики, на самом деле без них невозможно по-настоящему глубоко анализировать и систематизировать огромные массивы данных. ▪«Математическая статистика» курс CS центр. ▪«Основы статистики» курс Bioinformatics Institute. ▪Университетский курс математического анализа ▪«Основы статистики. Часть 2» курс Bioinformatics Institute. ▪«Основы статистики. Часть 3» курс Bioinformatics Institute. ▪Основы работы с векторными величинами в физике ▪«Современная комбинаторика» курс МФТИ. ▪«Теория вероятностей для начинающих» курс МФТИ. «Теория вероятностей» курс CS центр. ▪«Теория вероятностей - II (дискретные случайные процессы)» курс CS центр. ▪«Теория вероятностей – наука о случайности» курс ТГУ. ▪«Дискретный анализ и теория вероятностей» курс А.М.Райгородского в Академии Яндекса. @data_analysis_ml

Иногда аналитику или специалисту по DS нужно подтянуть что-то по математике, чтобы решать более сложные задачи на работе. На курсе Яндекс Практикума можно раз и навсегда разобраться с тервером, линалом, матаном и статистикой. А потом — расти в карьере. Учёбу удобно совмещать с работой: теория и практика будут в интерактивном тренажёре, который можно скачать на смартфон. А опытные преподаватели математики всегда на связи в чате, чтобы объяснить непонятное. За 4 месяца обучения вы: → решите более тысячи задач в онлайн-тренажёре, → создадите 4 проекта для своего портфолио, → подготовитесь к собеседованиям с помощью симулятора. Оцените формат и пройдите бесплатный вводный урок: https://practicum.yandex.ru/math-for-da-ds/

Algebra for Beginners | Basics of Algebra Полезный плейлист на 50 часов, обучающий некоторым базовым вещам, необходимым для понимания того, что происходит в алгоритмах и статьях по data science и не только. Матанализ, статистика, алгебра, линейная алгебра — всё это и ещё немного туториалов по Excel и SQL. https://www.youtube.com/watch?v=PVoTRu3p6ug&list=PLwYvzp9lBJVmv6yLK1hDH_Hqosl-lzGOl @data_math

Мы собрали для вас подборку свежих и актуальных книг, по всем языкам программирования. В подборке не просто новые книги для программистов, но и те книги, которые дают практическую основу с задачами и решениями для получения реального полезных навыков. 🍍 Папка с книгами: https://t.me/addlist/BkskQciUW_FhNjEy Я подписан на многие каналы из подборки, но не на все, так что будет из чего выбрать – от глубоко технических авторов, до понятных всем и тп. Настоящий кладезь книг и знаний здесь

Про неевклидову геометрию Лобачевского: https://postnauka.ru/video/84631 Про понятие числа от Евдокса до Клиффорда: https://postnauka.ru/video/84632 Про группы и алгебры Ли симметрий: https://postnauka.ru/video/73464