Анализ данных (Data analysis)

⚡️ GPUStack — это менеджер кластеров GPU с открытым исходным кодом для запуска и масштабирования AI моделей. ⚫ Универсальность: Поддерживает работу на разных платформах, включая macOS, Windows и Linux. ⚫ Масштабируемость: Позволяет легко добавлять дополнительные GPU или узлы для увеличения вычислительных мощностей. ⚫ Широкий спектр моделей: Поддерживает запуск больших языковых моделей (LLM), диффузионных моделей, аудио-, embedding и reranker моделей. ⚫ Несколько бекендов: Использует такие решения, как llama-box, vLLM и vox-box для инференса. ⚫ OpenAI-совместимые API: Предоставляет API, совместимые с OpenAI, что облегчает интеграцию с различными приложениями и сервисами. ⚫ Мониторинг и управление: Включает инструменты для отслеживания производительности GPU, использования токенов и управления пользователями и API-ключами. ▪ Github @data_analysis_ml

✔️ OpenAI презентовала новые инструменты для разработчиков. OpenAI анонсировала 3 новых инструмента для разработчиков, поддерживаемых в API и доступных через новый SDK. Среди новинок – WebSearch Tool, основанный на дообученной модели GPT-4o/GPT-4o-mini, для поиска информации в интернете. FileSearch Tool - инструмент поиска по документам с возможностью фильтрации по тегам, аналогично функциональности в Ассистентах. Третий - Computer Use (Operator), использующий ту же GPT-4o, предоставляющий доступ к локальному компьютеру пользователя. Опубликованы и тарифы: ⚫ Computer Use немного дороже обычной GPT-4o — 3 доллара за вход и 12 долларов за выход на миллион токенов; как формировать контекст, какие скриншоты и текст закидывать — остается на ваше усмотрение. ⚫ Поиск по файлам оценивается в $2.5 за 1000 запросов и $0.1 за каждый гигабайт загруженных файлов. ⚫ Стоимость поиска зависит от настройки «длина контекста» (вероятно, от того, сколько ссылок из поисковой выдачи попадут в контекст); для старшей модели цена составляет $30–$50 за тысячу вызовов. 📌 Github 📌 OpenAI на Youtube @data_analysis_ml

🔥 llm-scraper — библиотека на языке TypeScript, предназначенная для извлечения структурированных данных с веб-страниц с использованием LLM! 🌟 Библиотека поддерживает различные провайдеры LLM, включая локальные модели (Ollama, GGUF), OpenAI и Vercel AI SDK. Для определения схем данных используется библиотека Zod, обеспечивая полную типизацию в TypeScript. В основе работы llm-scraper лежит фреймворк Playwright, который управляет взаимодействием с веб-страницами. 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

Открытый вебинар «RL - учимся обыгрывать человека» 📚На вебинаре вы узнаете: 1. Основные концепции стохастических игр, включая многопользовательские стратегии и равновесие. 2. Популярные RL-алгоритмы, адаптированные для работы в стохастических средах (Q-learning, Policy Gradient, MARL).  3. Рассмотрим применение стохастических игр в реальных кейсах: финансы, кибербезопасность, автономные системы. 4. Как обучать агентов, учитывая случайность и стратегии других участников.  👨‍💻Кому будет полезно? + Data Scientists, которые хотят освоить продвинутые методы обучения с подкреплением для сложных сред.  + AI-разработчикам, работающим над автономными агентами и многоагентными системами. ⏰ 18 марта в 20:00 (мск). 🆓Бесплатно. Вебинар в рамках курса «Reinforcement Learning» 👉Записывайтесь: https://otus.pw/ioYS/?erid=2W5zFGri584 Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576 #реклама О рекламодателе

⚡️ Napkin AI — инновационный сервис, который превращает обычный текст в наглядные визуальные схемы, диаграммы и инфографику, облегчая процесс представления сложной информации. • Автоматическая генерация визуализаций:   • Просто вставьте текст, и Napkin AI предложит несколько вариантов визуального представления, которые можно адаптировать под ваши нужды. • Интуитивно понятный интерфейс:   • Легкая настройка цветов, иконок и шрифтов обеспечивает гибкость в дизайне. • Экспорт в разные форматы:   • Готовые визуализации можно сохранить в PNG, SVG или PDF для использования в презентациях, статьях или социальных сетях. • Преимущества для разработчиков:   • Ускорение создания документации: Диаграммы и схемы для технической документации создаются быстрее и проще.   • Улучшение командной коммуникации: Визуальные схемы помогают лучше объяснять сложные концепции и процессы коллегам.   • Повышение качества презентаций: Автоматически сгенерированные инфографики делают ваши выступления более наглядными и профессиональными. Napkin AI находится в стадии бета-тестирования и доступен бесплатно. Это отличная возможность опробовать сервис и интегрировать его в свой рабочий процесс. ✔ Попробовать @data_analysis_ml

🚨Данные растут, запросы тормозят, аналитика буксует. Знакомо? Когда SQL-скрипты уже не справляются, а MapReduce заставляет вас страдать, пора переходить на Apache Spark. На открытом вебинаре 19 марта в 20:00 мск разберём Spark API, научимся работать с DataFrame, RDD и Dataset, изучим практические примеры оптимизации. ➡️ Записывайтесь и получите скидку на большое обучение «Spark Developer»: https://otus.pw/A6Cb/?erid=2W5zFG3awWp Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🔥 TransPixar — новая нейросеть, способная генерировать видео с прозрачным фоном. Это идеально для создания спрайтов в видеоиграх! 🔗 Демо: *клик* 🖥 Github @data_analysis_ml

Приглашаем на открытый урок «Применение искусственного интеллекта в диагностике и визуализации медицинских изображений» Познакомимся с современными методами использования ИИ для анализа медицинских изображений, включая рентгеновские снимки, МРТ и КТ на открытом уроке, посвященному курсу «Искусственный интеллект в медицине» ✅ Рассмотрим примеры успешных внедрений и разберем алгоритмы, которые помогают врачам быстрее и точнее ставить диагнозы.  👉 Регистрация и подробности:  https://otus.pw/zskO/?erid=2W5zFGC6N1v #реклама О рекламодателе

🖥 NocoDB — это база данных без кода (no-code database) с открытым исходным кодом, превращающая любую реляционную базу данных (MySQL, PostgreSQL, SQLite, MSSQL и др.) в гибкую таблицу, аналогичную Airtable! 🌟 Она позволяет пользователям управлять данными с помощью удобного веб-интерфейса, создавать REST API, настраивать представления (таблицы, календари, канбан-доски) и интегрироваться с внешними сервисами. 🔐 Лицензия: AGPL-3.0 🖥 Github @data_analysis_ml

💥 Повышайте точность ML-моделей! Для достижения высокой точности в ML часто используют не одну, а несколько моделей, объединяя их в ансамбли. Записывайтесь на бесплатный вебинар, где мы на практике разберём популярные методы ансамблирования: - Бэггинг снижает дисперсию модели, делая её устойчивее - Градиентный бустинг усиливает предсказания, обучая модели на ошибках 📅 Встречаемся онлайн 17 марта в 18:00 мск. Открытый урок пройдёт в преддверии старта курса «Специализация Machine Learning», а все участники получат скидку на обучение. ➡️ Ссылка для регистрации: https://otus.pw/znbk/?erid=2W5zFGn7i5v #реклама О рекламодателе

🔍 Spark-TTS — свежий проект для синтеза речи, использующей большие языковые модели (LLM). Проект обеспечивает высококачественную генерацию аудио с поддержкой zero-shot клонирования голоса, двуязычной (английский и китайский) синтезацией и управляемой генерацией речи, что делает его пригодным как для исследований, так и для коммерческого применения. https://github.com/SparkAudio/Spark-TTS

Обучение моделей занимает слишком много времени? Локальные ресурсы перегружены?  immers.cloud — облачный GPU-сервис, предоставляющий доступ к мощным видеокартам для ИИ, машинного обучения и любых вычислительных задач. 🚀 Видеокарты и серверы готовы к работе за пару минут 💰 Посекундная тарификация — платите только за фактическое использование ⚡ Максимальная производительность — процессорные ядра и GPU закреплены только за вами 📈 Гибкость и масштабируемость: 11 видеокарт на выбор, быстрый старт и масштабирование  🔧 Все готово к работе — предустановленные драйверы и CUDA Toolkit, актуальные обновления 🎁 Подготовили приятный бонус для тебя: +10% к пополнению баланса

💥 Повышайте точность ML-моделей! Для достижения высокой точности в ML часто используют не одну, а несколько моделей, объединяя их в ансамбли. Записывайтесь на бесплатный вебинар, где мы на практике разберём популярные методы ансамблирования: - Бэггинг снижает дисперсию модели, делая её устойчивее - Градиентный бустинг усиливает предсказания, обучая модели на ошибках 📅 Встречаемся онлайн 17 марта в 18:00 мск. Открытый урок пройдёт в преддверии старта курса «Специализация Machine Learning», а все участники получат скидку на обучение. ➡️ Ссылка для регистрации: https://otus.pw/znbk/?erid=2W5zFGn7i5v #реклама О рекламодателе

🖥 GPU Puzzles Набор интерактивных упражнений («паззлов») для обучения программированию под GPU с использованием CUDA. Это целая серия задач, где требуется написать небольшие CUDA-ядра (ядра GPU), реализующие операции вроде сложения с константой (map), поэлементного суммирования (zip), работы с блоками и потоками, свёртки, матричного умножения и других параллельных алгоритмов. Основная цель репозитория – дать начинающим возможность непосредственно попрактиковаться в программировании под GPU, без необходимости погружаться в сложную документацию. Для удобства рекомендуется запускать задания в Google Colab с включённым режимом GPU. Репозиторий лицензирован по MIT, имеет высокую популярность (более 10 тыс звёзд) и является частью серии обучающих проектов (наряду с Tensor Puzzles, Autodiff Puzzles, Triton Puzzles и другими). А здесь реализация задач на C++ ▪ Github ▪ Colab @machinelearning_interview

🎓 1) Andrej Karpathy Глубокие, но доступные лекции по глубокому обучению, языковым моделям и введению в нейронные сети. Ссылка: https://www.youtube.com/c/AndrejKarpathy 📊 2) 3Blue1Brown Потрясающие визуализации, которые делают абстрактные математические концепции понятными и интуитивными. Ссылка: https://www.youtube.com/c/3blue1brown 🎙️ 3) Lex Fridman Глубокие беседы с лидерами индустрии ИИ, позволяющие получить широкий взгляд на современные тенденции. Ссылка: https://www.youtube.com/c/LexFridman 🤖 4) Machine Learning Street Talk Технические погружения и обсуждения с ведущими исследователями в области ИИ и машинного обучения. Ссылка: https://www.youtube.com/c/MachineLearningStreetTalk 📚 5) StatQuest with Joshua Starmer PhD Доступные и понятные объяснения основ машинного обучения и статистики для начинающих. Ссылка: https://www.youtube.com/c/statquest 🍉 6) Serrano Academy (Luis Serrano) Ясный и доступный контент о машинном обучении, глубоких нейронных сетях и последних достижениях в ИИ. Ссылка: https://www.youtube.com/c/LuisSerrano 💻 7) Jeremy Howard Практические курсы по глубокому обучению и обучающие видео по созданию AI-приложений, основанные на опыте Fast.ai. Ссылка: https://www.youtube.com/c/Fastai 🛠️ 8) Hamel Husain Практические уроки по работе с языковыми моделями (LLMs), RAG, тонкой настройке моделей и оценке ИИ. Ссылка: https://www.youtube.com/c/HamelHusain 🚀 9) Jason Liu Экспертные лекции по RAG и советы по фрилансу в области ИИ для специалистов по машинному обучению. Ссылка: https://www.youtube.com/c/JasonLiu ⚙️ 10) Dave Ebbelaar Практические руководства по созданию ИИ-систем и применению технологий в реальных проектах. Ссылка: https://www.youtube.com/c/DaveEbbelaar Эти каналы предлагают разнообразный и качественный контент для всех, кто хочет углубиться в изучение искусственного интеллекта. Независимо от вашего уровня подготовки, здесь каждый найдёт что-то полезное для себя! @data_analysis_ml

🖥 OpenAi залили новую страницу всех своих моделей — теперь вы можете легко увидеть разбивку возможностей каждой модели и сравнить все модели между собой. https://platform.openai.com/docs/models @data_analysis_ml

🎵 DiffRhythm - полноценныйгенератор песен всего за несколько секунд! DiffRhythm‑base — базовая модель из коллекции DiffRhythm от ASLP‑lab на Hugging Face. Проект интересен тем, что применяет современные диффузионные алгоритмы для генерации и анализа ритмических структур, что открывает новые возможности в области музыкального творчества и аудиоанализа. ▪Модель: https://huggingface.co/ASLP-lab/DiffRhythm-base ▪Демо: https://huggingface.co/spaces/ASLP-lab/DiffRhythm ▪Статья: https://huggingface.co/papers/2503.01183

🗼Многоязычный LLM с поддержкой 25 языков, выпущенный командой Alibaba DAMO ✨ 9B/83B ✨ Поддерживает 25 языков: Английский, китайский, хинди, испанский, арабский, французский, бенгальский, португальский, русский, урду, индонезийский, немецкий, японский, суахили, филиппинский, тамильский, вьетнамский, турецкий, итальянский, яванский, корейский, хауса, персидский, тайский и бирманский. ▪Модель: https://huggingface.co/collections/Tower-Babel/babel-67c172157372d4d6c4b4c6d5 ▪Paper: https://huggingface.co/papers/2503.00865 @data_analysis_ml

⚡️ HF: Spark-TTS, модель преобразования текста в речь на базе LLM, которая выполняет клонирование голоса с нуля и создание голоса с высокой детализацией — все в одном потоке! > Сделана на Qwen2.5 > Управляйте частотой тона, скоростью и стилем диктора непосредственно из текста. Попробовать можно здесь: https://huggingface.co/spaces/Mobvoi/Offical-Spark-TTS Paper: https://arxiv.org/pdf/2503.01710 Code: https://github.com/SparkAudio/Spark-TTS Demo: https://sparkaudio.github.io/spark-tts/

📌 PyTorch: новые инструменты для для экономии памяти при обучении моделей. PyTorch представил усовершенствованные методы Activation Checkpointing (AC), цель которых - снижение потребления памяти при обучении. Традиционный подход в eager mode сохраняет промежуточные активации для обратного прохода, что зачастую приводит к значительному расходу ресурсов. AC позволяет не сохранять эти тензоры, а вычислять их заново при необходимости, тем самым жертвуя вычислительным временем ради экономии памяти. Новая техника – Selective Activation Checkpoint (SAC). В отличие от обычного AC, который затрагивает всю выбранную область, SAC дает гранулярный контроль над тем, какие операции следует пересчитывать, а какие – сохранять. Это достигается за счет использования policy_fn, определяющей, нужно ли сохранять результаты конкретной операции. SAC будет полезен для избегания перевычисления ресурсоемких операций, например, матричных умножений. Для torch.compile стала доступна Memory Budget API. Эта функция автоматически применяет SAC с оптимальной политикой, исходя из заданного пользователем бюджета памяти (от 0 до 1). Бюджет 0 соответствует обычному AC, а 1 – поведению torch.compile по умолчанию. 🔜 Читать подробную статью в блоге Pytorch @ai_machinelearning_big_data #AI #ML #Pytorch