Анализ данных (Data analysis)

🔈 Звук на этом видео на 100% сгенерирован с помощью MMAudio! @data_analysis_ml

Разбираем тестовое задание на позицию Junior Аналитика в Яндекс Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму. Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в подразделении Яндекс Картинки. Что будет на вебинаре: 🟠С помощью Pandas проанализируем Яндекс-запросы за несколько недель, загрузив их из json-файла 🟠Найдём закономерности и отличия использования сервиса на мобильных устройствах и компьютерах 🟠Разберём фишки Pandas: сложную агрегацию, маппинг, конкатенацию, чейнинг и др. Вебинар проведет Андрон Алексанян, CEO Simulative 🕗Встречаемся 24 декабря в 19:00 🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике! Зарегистрироваться на бесплатный вебинар

🎉 BERT вернулся. 🔥 ModernBERT пересматривает традиционные модели кодеров, поддерживая последовательности 8K при скорости в 2-3 раза выше, сохраняя при этом практическую простоту BERT. Основные моменты → ModernBERT представляет новое семейство моделей для Кодина, превосходящих традиционные архитектуры BERT, как в базовом варинате (139 М параметров), так и в large модели (395 М параметров) вариантах → Архитектура позволяет обрабатывать последовательности до 8 192 токенови → В бенчмарках ModernBERT демонстрирует улучшение хорошие результаты в задачах поиска, NLU и кода, при этом в 2-3 раза быстрее, чем существующие модели. https://huggingface.co/blog/modernbert

🌟 FlashRNN: оптимизация RNN на современном оборудовании. FlashRNN - библиотека, которая реализует традиционные RNN, такие как LSTM, GRU и сети Элмана, а также новейшую архитектуру sLSTM в CUDA и Triton. В отличие от распространенных современных моделей архитектуры Transformers, RNN обладают возможностями отслеживания состояния, оставаясь актуальными для решения задач моделирования временных рядов и логического мышления. FlashRNN предлагает два варианта оптимизации: чередующийся и объединенный. 🟢Чередующийся позволяет обрабатывать данные с большим размером скрытых состояний и значительно превосходит по скорости базовую реализацию PyTorch. 🟢Объединенный вариант агрегирует операции умножения матриц и вычисления функций в одно ядро, снижая количество обращений к памяти и позволяет хранить рекуррентные матрицы весов непосредственно в регистрах GPU. За автоматизацию настройки параметров FlashRNN отвечает библиотека ConstrINT, которая решает задачи целочисленного удовлетворения ограничений, моделируя аппаратные ограничения в виде равенств, неравенств и ограничений делимости. Эксперименты с FlashRNN показали существенное увеличение скорости работы: до 50 раз по сравнению с PyTorch. FlashRNN также позволяет использовать большие размеры скрытых состояний, чем нативная реализация Triton. ▶️ Локальная установка и пример запуска FlashRNN:

# Install FlashRNN
pip install flashrnn


# FlashRNN employs a functional structure, none of the parameters are tied to the `flashrnn` function:

import torch
from flashrnn import flashrnn

device = torch.device('cuda')
dtype = torch.bfloat16
B = 8        # batch size
T = 1024     # sequence length
N = 3        # number of heads
D = 256      # head dimension
G = 4        # number of gates / pre-activations for LSTM example
S = 2        # number of states

Wx = torch.randn([B, T, G, N, D], device=device, dtype=dtype, requires_grad=True)
R = torch.randn([G, N, D, D], device=device, dtype=dtype, requires_grad=True)
b = torch.randn([G, N, D], device=device, dtype=dtype, requires_grad=True)
states_initial = torch.randn([S, B, 1, N, D], device=device, dtype=dtype, requires_grad=True)

# available functions
# lstm, gru, elman, slstm

# available backend
# cuda_fused, cuda, triton and vanilla

states, last_states = flashrnn(Wx, R, b, states=states_initial, function="lstm", backend="cuda_fused")

# for LSTM the hidden h state is the first of [h, c]
# [S, B, T, N, D]
hidden_state = states[0]

📌Лицензирование: NXAI Community License: 🟠бесплатное использование в некоммерческих целях с маркировкой при публикации в отрытых источниках; 🟠получение коммерческой лицензии при годовом доходе свыше 100 млн.евро 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #RNN #FlashRNN

🔍 flow_matching — Библиотека PyTorch для реализации алгоритмов сопоставления потоков, включающая непрерывные и дискретные реализации сопоставления потоков! 🔐 Лицензия: CC BY-NC 🖥 Github @bigdatai

Профессия аналитика данных — одна из самых высокооплачиваемых и перспективных в сфере IT. На курсе «Аналитик данных» от Нетологии вы с нуля освоите необходимые навыки за 7 месяцев под руководством опытных наставников-практиков. Вы изучите SQL, Python, Power BI — ключевые инструменты для работы с данными. Научитесь использовать статистические методы, строить и проверять гипотезы. Создадите 4 полноценных проекта для своего портфолио и выполните более 20 практических заданий. А по окончании курса получите диплом о профпереподготовке и сможете претендовать на должность junior-аналитика. Начните свой путь в сфере аналитики данных — присоединяйтесь к программе. Промокод BIGDATA45 даст повышенную скидку 45% от цены курса. Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5xeTHgk

🖥 Большая шпаргалка, которая содержит исчерпывающие руководства по различным инструментам, необходимым для программирования на ассемблере, реверс-инжиниринга и бинарного анализа! 🌟 Каждая шпаргалка содержит инструкции по установке, примеры использования и расширенные советы для различных операционных систем. 🔐 Лицензия: MIT 🖥 Github @cpluspluc

В Библиотеке иностранной литературы прошел ивент для всех, кто интересуется открытым кодом — «Ночь опенсорс-библиотек». Аналитики учились строить дашборды по опенсорсным репозиториям в DataLens (облачная BI-система для визуализации и анализа данных). А еще получили возможность понетворкать с мейнтейнерами крупных опенсорс проектов. Те, кто не сильно погружен в тему, послушали доклад о том, как сделать свой первый коммит. Помимо хакатонов и воркшопов, гости проходили квесты с перфокартами, ходили на экскурсию в закрытые части библиотеки и отдыхали в зоне с генеративным лайф-кодингом под диджей-сеты. Наглядный кейс про то, как важно вкладываться не только в опенсорс, но и в само сообщество. И такие ивенты — хорошая возможность обменяться опытом и заодно отдохнуть под фановые активности.

🔍 Сравнение Sora и Google Neo 2! @data_analysis_ml

🔹 Cтроим графики для анализа финансовых данных на открытом уроке «Визуализация данных. Основные "финансовые" графики, работа с mplfinance» Рассмотрим свечные графики, научимся строить дополнительные линии на графиках и доверительные интервалы. ✅ Практика: свечные графики с помощью библиотеки mplfinance Оставляйте заявку на курс «ML для финансового анализа» и создайте торгового робота для автоматического проведения операций с оценкой уровня риска 👉 Регистрация на урок и подробности: https://otus.pw/7PRb/?erid=LjN8JxNw8 #реклама О рекламодателе

⚡️ Сегодня был выпущен мощнейший ИИ-движок для физики под названием Genesis. Что это такое: это платформа для симуляции физики в виртуальных мирах с элементами искусственного интеллекта, позволяющая генерировать практически любые объекты. Главная цель — создание трехмерных миров с реалистичной физикой, где можно выполнять различные задачи: обучать роботов, проводить физические эксперименты или разрабатывать анимации для игр. Почему вокруг него столько шума? Genesis отличается невероятной скоростью (в 10–80 раз быстрее аналогов) и высокой эффективностью. Например, чтобы научить робота ходить, потребуется всего одна видеокарта RTX 4090 и 26 секунд времени. Для сравнения, аналогичная тренировка в реальных условиях могла бы занять до 129 дней! Кроме того, Genesis способен самостоятельно генерировать всё необходимое: будь то трёхмерная среда, физика или анимационные последовательности. Разработчики даже предлагают учёным-физикам использовать платформу для изучения поведения воды в разных условиях. Ожидаются первые захватывающие анонсы на базе Genesis! https://genesis-world.readthedocs.io/en/latest/

⚡️ Вышли обновленные модели Granite 3.1 от IBM! Доступна в 4 размерах с двумя различными архитектурами: Mixture of expert ollama run granite3-moe:1b ollama run granite3-moe:3b tool-based ollama run granite3.1-dense:2b ollama run granite3.1-dense:8b IBM также выпстят эмбединги сегодня! Только на английском языке: ollama pull granite-embedding:30m Многоязычный: ollama pull granite-embedding:278m https://ollama.com/library/granite3-dense:2b/blobs/63dd4fe4571a

👩‍💻 multimodal-live-api-web-console — стартовое приложение на React для работы с Multimodal Live API через вебсокеты! 🌟 Он предоставляет модули для воспроизведения аудио, записи пользовательских данных (например, с микрофона или веб-камеры), а также объединенный интерфейс для логирования. Это позволяет разработчикам тестировать и разрабатывать приложения, использующие мультимодальные функции, такие как обработка данных с помощью API Gemini от Google. 🔐 Лицензия: Apache-2.0 🖥 Github @machinelearning_ru

\

📌 Инсайды о Machine Learning и Data Science Ловите свежий подкаст с руководителем ШАДа Алексеем Толстиковым, который вышел на канале Виктора Кантора 🔗 Что делает ML- и DS-специалистов конкурентоспособными 🔗 Могут ли в этих сферах закрепиться люди из совершенно других областей 🔗 Можно ли освоить Data Science самостоятельно 🔗 Почему глубокого знания математики и алгоритмов недостаточно для успешной работы 🔗 Как джуну найти работу 🔗 Как поступить в ШАД и справиться с учебой там @data_analysis_ml

🔥 Text3D — небольшое Gradio приложение, которое генерирует изображения, которые можно использовать для создания 3D-моделей! 🔗 Ссылка: *клик* @data_analysis_ml

📊 ai-hedge-fund — проект, направленный на создание и обучение ИИ-моделей для применения в финансовых рынках, с акцентом на торговлю и управление хедж-фондами! 🌟 В нем используются методы машинного обучения и искусственного интеллекта для прогнозирования движений рынка и автоматической торговли на основе собранных данных. Репозиторий включает в себя примеры реализации, данные для обучения и инструменты для тестирования стратегии торговли с использованием ИИ. 🖥 Github @data_analysis_ml

⚡️ Релиз Falcon 3 Институт технологических инноваций Абу-Даби представил семейство моделей Falcon 3 с расширенными возможностями в областях науки, математики и программирования. ▶️В семейство входят 5 базовых моделей: 🟢Falcon3-1B-Base 🟢Falcon3-3B-Base 🟢Falcon3-Mamba-7B-Base 🟢Falcon3-7B-Base 🟢Falcon3-10B-Base Модели Falcon 3 основаны на трансформерах, совместимы с архитектурой Llama поддерживает до 32К токенов контекста (кроме 1B с контекстом 8К). Все модели используют функцию активации SwiGLU с размером словаря 131K токенов (65K для Mamba-7B версии). Falcon3-7B-Base была масштабирована до 10 млрд. параметров путем дублирования избыточных слоев и последующего обучения на 2 трлн. токенов. Это позволило модели Falcon3-10B-Base достичь высоких результатов в задачах zero-shot и few-shot среди моделей с менее чем 13В параметров. Для создания компактных моделей Falcon3-1B Base и Falcon3-3B Base использовались методы обрезки и дистилляции знаний на основе около 100 ГБ высококачественных данных. Модель Falcon3-Mamba-7B-Base была усовершенствована путем обучения на дополнительных 1,5 трлн. токенов, что привело к созданию Falcon3-Mamba-7B-Base с улучшенными способностями к рассуждению и в математических задачах. ▶️ Семейство продемонстрировало высокую производительность на стандартных бенчмарках: 🟠Falcon3-1B-Base превосходит SmolLM2-1.7B и сопоставима с gemma-2-2b; 🟠Falcon3-3B-Base опережает Llama-3.1-8B и Minitron-4B-Base; 🟠Falcon3-7B-Base показывает результаты, сравнимые с Qwen2.5-7B; 🟠Falcon3-10B-Base - лучшие результаты в категории до 13 млрд. параметров. В бенчмарках задач математики Falcon3-10B-Base достигает 22,9 на MATH-Lvl5 и 83,0 на GSM8K, а в задачах программирования набирает 73,8 на MBPP. Инструктивные версии моделей также показывают высокие результаты, при этом Falcon3-7B-Instruct и Falcon3-10B-Instruct превосходят аналогичные модели до 13 млрд. параметров. ▶️В репозитории на HuggingFace опубликованы базовые, Instruct, GPTQ-INT8, GPTO-INT4, AWQ и GGUF версии моделей Falcon3. ⚠️ В январе 2025 года планируется выпуск моделей семейства Falcon3 с расширенными мультимодальными возможностями: поддержка изображений, видео и аудио, а также полный технический отчет с описанием методик. 📌Лицензирование: Falcon 3 TII Falcon License. 🟡Статья 🟡Набор моделей 🟡Demo Falcon3 🟡Demo Falcon3-Mamba-7B-Instruct 🟡Сообщество в Discord @ai_machinelearning_big_data #AI #ML #LLM #Falcon3

⚡️ Google представили Veo 2 • Качество выходного видео достигает 4K — результат просто потрясающий. • Нейросеть генерирует видео длиной до 10 секунд, хотя разработчики рекомендуют ограничиться 8 секундами. • Есть незначительные проблемы с динамикой, но специалисты из DeepMind обещают оперативно их устранить. • Вскоре нейросеть сможет использовать изображения и даже другие видеоролики в качестве референсов. Согласно внутренним тестам Google, пользователям больше нравятся генерации Veo, чем SORA, в 58,8% случаев. Видео действительно впечатляют (особенно примеры с помидорами, спагетти и картами). Некоторые из этих роликов созданы пользователями, и при использовании тех же промтов результаты в SORA оказываются менее качественными. https://deepmind.google/technologies/veo/veo-2/

🔥 Gateway — это легковесное и быстрое решение для маршрутизации запросов к более чем 250 языковым, визуальным и аудиомоделям! 🌟 Оно предлагает единый API для интеграции моделей менее чем за 2 минуты, поддерживает балансировку нагрузки, условную маршрутизацию, автоматическое восстановление и встроенные механизмы защиты (guardrails). Система оптимизирована для масштабирования AI-приложений, обеспечивает надёжность и безопасность, подходя как для индивидуальных разработчиков, так и для корпоративного использования. 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml