Математика Дата саентиста

🔥 Старейшая нерешённая задача Существуют ли нечётные совершенные числа? Над этим вопросом уже 2000 лет бьются умнейшие математики. Дерек Маллер с канала Veritasium опять решил сломать всем мозг и сделал получасовое видео об очередной математической жести. Удачи всем что-то понять, мы старались как могли. Было тяжело, мы устали. Кто-нибудь, заберите уже у Дерека книгу по теории чисел. 📌 источник

Обучение нейросети занимает слишком много времени? Покупка видеокарты RTX 4090 кажется слишком затратной? Зачем переплачивать, если можно арендовать?  immers.cloud —  это облачный сервис, предоставляющий доступ к мощным видеокартам (GPU) для самых различных задач: от рендеринга и 3D-моделирования до обучения ИИ и гейминга.  — Посекундная тарификация — платите только за использованные ресурсы, никакой переплаты! — Мощности закрепляются исключительно за тобой, никакой очереди и задержек ⚡️ Полный контроль и максимальная производительность! 11 видов видеокарт для любых задач 💸 Цены, которые удивляют! Тарифы стартуют от 23 рублей в час. Никаких заявок, ожиданий или запросов цен. Регистрация занимает менее 2 минут, и ваши виртуальные сервера с GPU и CPU готовы к работе!

Кодирование сигналов 1. Код Грея 2. Применение битов четности 3. Код Хемминга 4. Синхронизация с помощью избыточного кода 5. Скремблирование 6. Кодирование битов при последовательной передаче 7. Битстаффинг 8. Передатчик Манчестер II 9. Приемник кода Манчестер II 10. Двунаправленная передача импульсов по одной линии #video #math https://www.youtube.com/watch?v=C4cU4gldP5c&list=PL1VvMJF0dnhrcJZBhrAr8OWZKkCtbIBGQ&ab_channel=%D0%AD%D0%BB%D0%B5%D0%BA%D1%82%D1%80%D0%BE%D1%82%D0%B5%D1%85%D0%BD%D0%B8%D0%BA%D0%B0%D0%B8%D1%8D%D0%BB%D0%B5%D0%BA%D1%82%D1%80%D0%BE%D0%BD%D0%B8%D0%BA%D0%B0%D0%B4%D0%BB%D1%8F%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%81%D1%82%D0%BE%D0%B2 @data_math

📌Как линейная алгебра может помочь при разработке web-приложения. Интересная и познавательная статья разработчика Ивана Шубина о том, как он использовал матрицы для создания интерактивного редактора диаграмм Schemio. Изначально, редактор позволял создавать простые фигуры и манипулировать ими, но с введением иерархии объектов возникла необходимость в сложных преобразованиях координат. Матрицы стали ключом к решению этой проблемы, позволяя эффективно управлять перемещением, вращением и масштабированием объектов. Для преобразования глобальных и локальных координат между собой использовались матричные преобразования. Умножение матриц дало возможность комбинировать преобразования, а инверсия матрицы помогает переводить координаты из глобальных в локальные. Иван подробно описывает, как матрицы помогают управлять поворотом и масштабированием объектов относительно опорной точки и как они используются при монтировании и демонтировании объектов, чтобы избежать нежелательных коллизий. Таким образом, матричная математика стала решением для расширения возможностей редакторе Schemio. 🔜 Читать полную версию статьи #Math #LinearAlgebra #Webdev

⚡️ Математика машинного обучения.Базовые понятия тензорного исчисления. Урок 3 📌 Видео 📌 Урок 1 / Урок2 📌 Colab @data_math

Разбираем тестовое задание на позицию Junior Аналитика в Яндекс Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму. Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в подразделении Яндекс Картинки. Что будет на вебинаре: 🟠С помощью Pandas проанализируем Яндекс-запросы за несколько недель, загрузив их из json-файла 🟠Найдём закономерности и отличия использования сервиса на мобильных устройствах и компьютерах 🟠Разберём фишки Pandas: сложную агрегацию, маппинг, конкатенацию, чейнинг и др. Вебинар проведет Андрон Алексанян, CEO Simulative 🕗Встречаемся 24 декабря в 19:00 🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике! Зарегистрироваться на бесплатный вебинар

📹 Основы вероятности и теория меры 14. Теорема Лебега 📌 Источник 📌 Полный курс

📌 Математика, машинное обучение и работа с данными на практике Алексей Толстиков, руководитель Школы анализа данных Яндекса (ШАД), делится опытом, который будет полезен не только будущим ML- и DS-специалистам, но также их преподавателям – в подкасте Виктора Кантора на канале MLinside. В видео разбирают: 🟡 Важность гибких методов преподавания. Как преподаватели-менторы помогают справиться с трудностями в обучении, которые возникают у студентов. 🟡 Главное в менторстве. В чем основная задача наставников и почему им не обязательно быть универсальными экспертами. 🟡 Путь к пониманию алгоритмов. Как не просто изучать теорию, но и научить видеть её практическую ценность – через задачи, соревнования и примеры из жизни. @data_math

🌟 Bamba-9B: эффективная Hybrid Mamba2 модель. Bamba-9B - модель, разработанная IBM, Princeton, CMU и UIUC на основе полностью открытых данных. Модель демонстрирует улучшение пропускной способности в 2.5 раза и снижение задержки инференса в 2 раза по сравнению с Transformers в vLLM. Bamba-9B доступна для использования в HF Transformers, vLLM, TRL и llama.cpp. Bamba-9B использует уникальный распределенный, не сохраняющий состояние data loader, обеспечивающий бесшовное возобновление работы, автоматическое масштабирование, потоковую передачу данных с zero-overhead for shuffling. Модель основана на архитектуре NVIDIA hybrid Mamba2, но с некоторыми изменениями. Bamba-9B имеет 32 слоя, из которых 3 полноценных слоя внимания и 29 слоев Mamba2, в то время как NVIDIA hybrid Mamba2 имеет 29 слоев, из которых 4 слоя внимания и 25 слоев Mamba2. Bamba-9B была обучена на 2.2T токенов с датасетом Dolma v1.7 на первом этапе и FineWeb-edu и Cosmopedia на втором. По проведенным замерам, средняя производительность Bamba-9B почти сравнима с Llama 3.1 8B (45.53 против 44.68), при том что Llama 3.1 8B была обучена на 7x большем объеме данных. Bamba-9B превзошла Olmo 7B, обученную на идентичном количестве токенов и наборах данных. В сравнении с другими моделями на базе Mamba/Mamba2, Bamba-9B показывает хорошие результаты, при этом обеспечивая значительное улучшение (до 5x) эффективности логического вывода. ▶️ Планы разработчиков на дальнейшее развитие Bamba: 🟠увеличение длины контекста модели Bamba-9B (сейчас - 4096); 🟠улучшение модели путем обучения на дополнительных данных и точной настройки на наборах данных SFT. ▶️ Опубликованный набор моделей: 🟢Bamba 9B - финальная версия модели после 2-х этапов обучения 🟢Bamba 9B 2T - чекпоинт после 1 этапа трейна с датасетом Dolma v1.7 🟠Bamba 9B 1.8T - промежуточный чекпоинт 1 этапа обучения 🟢Bamba 9B FP8 - квантованная с помощью llm-compressor версия Bamba 9B 🟢Bamba 9B 2T FP8 - квантованная с помощью llm-compressor версия Bamba 9B 2Т 🟠Bamba 9B 1.8T FP8 - квантованная с помощью llm-compressor версия Bamba 9B 1.8Т ▶️Пример инференса на Transformers с Bamba-9B:

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("ibm-fms/Bamba-9B")
tokenizer = AutoTokenizer.from_pretrained("ibm-fms/Bamba-9B")

message = ["Mamba is a snake with following properties  "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
response = model.generate(**inputs, max_new_tokens=64)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])

📌Лицензирование: Apache 2.0 License. 🟡Статья 🟡Набор моделей 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #Bamba #IBM

🎓 Хендбук по математике для анализа данных — от Яндекс Образования и факультета компьютерных наук НИУ ВШЭ. ❓Что такое хендбук по математике? Это бесплатный онлайн-учебник с полезными знаниями для аналитики, машинного и глубинного обучения. Все материалы подготовили ведущие эксперты в области точных наук — специально к первому в России дню математика. Правда, одним днем в Яндекс Образовании решили не ограничиваться и посвятили математике весь декабрь. Хорошая возможность проверить свои знания и до конца года успеть открыть для себя что-то новое. В хендбуке есть теоретические главы и много практики. Задачка для разминки — в опросе ниже.

⚡️ Курс: Математика Машинного обучения Урок 2 Инвариантность 📌 Видео 📌 Урок 1

⚡️ Преобразование Фурье - Собственные функции и собственные значения уравнения колебания - Собственные функции и собственные значения уравнения колебания - Ортогональность и нормировка гармонических функций (синус, косинус) - Дискретное преобразование Фурье - Интегральное преобразование Фурь - Теорема Парсеваля - Линейность Преобразования Фурье - Масштабирование Преобразования Фурье - Функция Грина для одномерной линейной системы без начальных условий 📌 источник @data_math

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data C++ t.me/cpluspluc Python: t.me/pythonl Linux: t.me/linuxacademiya Хакинг: t.me/linuxkalii Devops: t.me/DevOPSitsec АНАЛИЗ Данных: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/javatg Базы данных: t.me/sqlhub Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Docker: t.me/DevopsDocker Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai Собеседования МЛ: t.me/machinelearning_interview МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Разработка игр: https://t.me/gamedev Haskell: t.me/haskell_tg 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

📌Онлайн курс "Преобразование Фурье и его приложения" Преобразование Фурье – это математический метод, который широко применяется в науке и технике для анализа сигналов. Этот метод основан на представлении сигнала в виде суммы синусоидальных и косинусоидальных функций разных частот. Анализ Фурье оказал значительное влияние на развитие математики, стимулируя развитие теории обобщенных функций. Применение преобразования Фурье основано на принципе линейности, который позволяет анализировать сложные сигналы путем разложения их на более простые составляющие. Курс «EE 261 Преобразование Фурье и его приложения», предлагаемый онлайн-платформой Stanford Engineering Everywhere Университета Стэнфорда, посвящен изучению преобразования Фурье и его практическому применению. Цель курса – научить студентов применять преобразование Фурье для решения практических задач в различных областях науки и техники. В рамках курса рассматриваются темы: 🟢Ряды Фурье; 🟢Основные свойства преобразования Фурье; 🟢Свертка; 🟢Обобщенные функции; 🟢Дискретизация; 🟢Линейные системы; 🟢Дискретное преобразование Фурье; 🟢Алгоритм быстрого преобразования Фурье; 🟢Двумерное преобразование Фурье. Курс состоит из 30 лекций, дополнительных материалов к ним и предназначен для студентов с разным уровнем подготовки, для тех, кто впервые знакомится с преобразованием Фурье, так и для тех, кто уже изучал его в других курсах. @ai_machinelearning_big_data #AI #ML #FourierTransform #Stanford #Course

🔥 Курс Математика Машинного обучения: Что такое тензоры. 📌 Видео @data_math

⚡️ DeepSeek-VL2: релиз набор VL-MoE моделей нового поколения. DeepSeek-VL2 - усовершенствованная серия VLM c Mixture-of-Experts (MoE), которая значительно превосходит DeepSeek-VL.   Модели семейства ориентированы на задачи визуальных ответов на вопросы, оптического распознавания символов, понимания документов/таблиц/схем и визуального обоснования. DeepSeek-VL2 включает три основных модуля: 🟠Визуальный энкодер SigLIP-SO400M-384, который использует динамическую стратегию разбиения изображения на фрагменты. Эта стратегия позволяет эффективно обрабатывать изображения высокого разрешения с различными соотношениями сторон. 🟠VL-адаптер, преобразующий визуальные элементы в формат, понятный языковой модели. Адаптер также добавляет специальные маркеры, чтобы обозначить границы строк, фрагментов и миниатюр. 🟠Языковая модель DeepSeek-MoE с механизмом MLA. MLA повышает эффективность обработки информации, сжимая kv-данные в компактный вектор. Это ускоряет обработку информации и увеличивает пропускную способность. DeepSeek-VL2 обучается в три этапа: на первом этапе обучается MLP-соединитель, который связывает визуальный энкодер с языковой моделью, затем модель обучается на датасете из текста, изображений, аннотаций, QA и данных OCR и, в конце процесса, дообучается с учителем для улучшения ее способности понимать инструкции и вести диалог.   Модельная серия состоит из 3 вариантов c контекстом 4096: 🟢DeepSeek-VL2-Tiny (1B активных параметром и 3.4В общих); 🟢DeepSeek-VL2-Small (2.8B активных параметром и 16.1B общих); 🟢DeepSeek-VL2 (4.5B активных параметром и 27.5B общих). DeepSeek-VL2 была протестирована на задачах DocVQA, ChartQA, InfoVQA, TextVQA, MMBench и показала лучшие результаты по сравнению с другими моделями MoE. DeepSeek-VL2 эффективно использует архитектуру MoE и превосходит другие модели с аналогичным количеством активных параметров. 📌Лицензирование: DeepSeek License. 🟡Набор моделей 🟡Техотчет 🟡Сообщество в Discord 🖥GitHub @ai_machinelearning_big_data #AI #ML #VLM #DeepSeek

⚡️ DeepSeek-VL2: релиз набор VL-MoE моделей нового поколения. DeepSeek-VL2 - усовершенствованная серия VLM c Mixture-of-Experts (MoE), которая значительно превосходит DeepSeek-VL.   Модели семейства ориентированы на задачи визуальных ответов на вопросы, оптического распознавания символов, понимания документов/таблиц/схем и визуального обоснования. DeepSeek-VL2 включает три основных модуля: 🟠Визуальный энкодер SigLIP-SO400M-384, который использует динамическую стратегию разбиения изображения на фрагменты. Эта стратегия позволяет эффективно обрабатывать изображения высокого разрешения с различными соотношениями сторон. 🟠VL-адаптер, преобразующий визуальные элементы в формат, понятный языковой модели. Адаптер также добавляет специальные маркеры, чтобы обозначить границы строк, фрагментов и миниатюр. 🟠Языковая модель DeepSeek-MoE с механизмом MLA. MLA повышает эффективность обработки информации, сжимая kv-данные в компактный вектор. Это ускоряет обработку информации и увеличивает пропускную способность. DeepSeek-VL2 обучается в три этапа: на первом этапе обучается MLP-соединитель, который связывает визуальный энкодер с языковой моделью, затем модель обучается на датасете из текста, изображений, аннотаций, QA и данных OCR и, в конце процесса, дообучается с учителем для улучшения ее способности понимать инструкции и вести диалог.   Модельная серия состоит из 3 вариантов c контекстом 4096: 🟢DeepSeek-VL2-Tiny (1B активных параметром и 3.4В общих); 🟢DeepSeek-VL2-Small (2.8B активных параметром и 16.1B общих); 🟢DeepSeek-VL2 (4.5B активных параметром и 27.5B общих). DeepSeek-VL2 была протестирована на задачах DocVQA, ChartQA, InfoVQA, TextVQA, MMBench и показала лучшие результаты по сравнению с другими моделями MoE. DeepSeek-VL2 эффективно использует архитектуру MoE и превосходит другие модели с аналогичным количеством активных параметров. 📌Лицензирование: DeepSeek License. 🟡Набор моделей 🟡Техотчет 🟡Сообщество в Discord 🖥GitHub @ai_machinelearning_big_data #AI #ML #VLM #DeepSeek

Помогай новичкам и получай дополнительный доход! Быть наставников в Практикуме — это возможность делиться опытом, влиять на индустрию и при этом получать дополнительный доход. От вас потребуется тратить около 15 часов в неделю на проведение вебинаров, разбор кейсов и ответы на вопросы. Главное — поддерживать интерес к профессии и мотивацию студентов. Роль наставника спокойно можно совмещать с основной работой благодаря удалёнке и гибкому графику. А бесплатная Школа наставником поможет с soft skills. Посмотрите, что ожидают от кандидата, и откликайтесь, если интересно👌