Анализ данных (Data analysis)

Вышел PyTorch 2.5 🔥 Выпуск #PyTorch 2.5, в котором представлена новая серверная часть cuDNN для SDPA, компиляция torch.compile и ускорения производительности серверной части TorchInductor CPP Все обновления можно найти здесь: https://pytorch.org/blog/pytorch2-5/

🖥 TensorRT Model Optimizer — это библиотека от NVIDIA для оптимизации глубоких нейросетей с помощью современных методов, таких как квантование, прунинг и дистилляция. Цель оптимизатора — уменьшить размер моделей и повысить скорость их выполнения на GPU 🌟 Библиотека поддерживает TensorRT и TensorRT-LLM для ускорения работы с большими языковыми моделями и генеративными ИИ. Библиотека предоставялет Python API для упрощенной интеграции и развертывания моделей. ▪️Github @data_analysis_ml

⚡️ Компания Open Sora Plan выпустила версию 1.3 своей модели генерации видео. https://github.com/PKU-YuanGroup/Open-Sora-Plan/blob/main/docs/Report-v1.3.0.md @data_analysis_ml

⚡️ Mistral AI представила новые модели 3B и 8B. Mistral AI, отмечая годовщину выпуска Mistral 7B, представила две новые модели: Ministral 3B и Ministral 8B. Семейство этих моделей получило название «Ministraux», они отличаются высокой производительностью в области знаний, рассуждений, вызова функций и эффективности среди аналогичных моделей категории менее 10 млрд. параметров. Обе модели Ministraux поддерживают контекстную длину до 128 тыс. токенов (32 тыс. токенов на vLLM), а Ministral 8B использует специальную схему чередующегося скользящего окна внимания для более быстрого и эффективного инференса. Модели предназначены для использования в различных сценариях, от робототехники до автономных интеллектуальных помощников без подключения к интернету. Обе модели в ближайшее время будут доступны в сервисе La Plateforme и в облачных сервисах партнеров MistalAI. Цены: 0.1$/M (input and output) для Ministral 8B и 0.04$ /M (input and output) для Ministral 3B. ▶️ Ministral 3B доступна для некоммерческого использования по запросу через форму. ▶️ Ministral 8B-Instruct опубликована в отрытом доступе: 🟢Architecture: Transformer 🟢Parameters: 8B 🟢Layers: 36 🟢Heads: 32 🟢Dim: 4096 🟢Hidden Dim: 12288 🟢Vocab Size: 131K 🟢Context Length: 128K 🟢Tokenizer: V3-Tekken 🟢Language: multilingual Локальный запуск рекомендуется выполнять в среде vLLM, воспользоваться docker или библиотекой Mistral Inference. ⚠️ vLLM имеет ограничение на размер контекста 32k, поскольку поддержка interleaved attention kernels for paged attention в нем пока еще не реализована. ⚠️ Для локального запуска Ministral 8B-Instruct понадобится 24 Gb VRAM 📌Лицензирование : MRL-0.1 🟡Страница проекта 🟡Модель 🟡Demo Ministral 8B-Instruct @ai_machinelearning_big_data #AI #ML #LLM #Ministraux #MistralAI

🤗 Большое обновление для локальных LLM! Теперь вы можете легко использовать любую модель GGUF на huggingface напрямую с ollama. Просто укажите на репозиторий Hugging Face и запустите ее! Вот как запустить 1. Найдите на хабе нужный GGUF, например Llama 3.2 3B. 2. ollama run hf(.)co/hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF remove () 3. Работатайет со своей моделью локально, используя возможности llama.cpp Документация: https://huggingface.co/docs/hub/ollama

🏆 NVIDIA молча выпустила файнтюн модели Llama 3.1 70B, которая превзошла по производительности GPT-4o и AnthropicAI Claude Sonnet 3.5. 🏆 85.0 на Arena Hard, 57.6 на AlpacaEval 2 LC, и 8.98 MT-Bench 🥇 Превосходит GPT-4o и Claude 3.5 Sonnet на Нескольких бенчмарках 🦙 Основан на Llama-3.1-70B-Instruct и обучен с помощью RLHF (REINFORCE) 🧠 Выпущена также Llama-3.1-Nemotron-70B-Reward #2 на RewardBench 🤗 Доступно на Hugging Face https://huggingface.co/collections/nvidia/llama-31-nemotron-70b-670e93cd366feea16abc13d8 @data_analysis_ml

🖥 awesome-ai-agents — полезный репозиторий, который содержит список различных автономных ИИ-агентов, таких как AutoGPT, BabyAGI, GPT Engineer и других! 🌟 Здесь представлены библиотеки и инструменты для работы с искусственным интеллектом, включая автономные агенты и разработки на основе GPT. Репозиторий служит полезным ресурсом для тех, кто хочет исследовать или создавать ИИ-агентов для различных задач! ▪️Github @data_analysis_ml

🔥 Руководство по оценке больших языковых моделей (LLM), созданное командой Hugging Face. Оно включает как практические советы, так и теоретические знания, собранные при управлении Open LLM Leaderboard и разработке инструмента lighteval Hugging Face выложила на Github руководство по оценке LLM. В нем собраны различные способы оценки модели, руководства по разработке собственных оценок, а также советы и рекомендации из практического опыта. В руководстве рассказывается о разных способах оценки: с помощью автоматических тестов, людей или других моделей. Особое внимание уделяется тому, как избежать проблем с инференсом модели и сделать результаты одинаковыми. В руководстве есть советы о том, как сделать данные чистыми, как использовать шаблоны для общения с LLM и как анализировать неожиданные плохие результаты. Если вы ничего не знаете об оценке и бенчмарках, вам следует начать с разделов Basics в каждой главе, прежде чем погружаться глубже. В разделе базовые знания вы также найдете пояснения, которые помогут вам разобраться в важных темах LLM: например, как работает инференс модели и что такое токенизация. Более прикладными разделы: советы и рекомендации, устранение неполадок и разделы, посвященные дизайну. ▶️Оглавление: 🟢Автоматические бенчмарки 🟢Оценка человеком 🟢LLM-судья 🟢Устранение неполадок 🟢Базовые знания 📌 Планы на будущие гайды: 🟠Описание автоматических метрик; 🟠Какие основные моменты вы всегда должны учитывать при построении задачи; 🟠Зачем нужна оценка LLM; 🟠Почему сравнивать модели между собой - это сложно. ▪️Github @data_analysis_ml

Бизнесу данные нужны как воздух📊 На их основе компании принимают важные стратегические решения. Поэтому специалисты, которые собирают, обрабатывают и анализируют данные, всегда востребованы. Таких профессионалов готовят на курсе «Аналитик данных» от МФТИ и Нетологии. За 10 месяцев вы получите фундаментальные знания, актуальные навыки и кейсы в портфолио. Вы научитесь: - использовать Python для анализа данных; - применять методы ИИ в своих задачах; - работать с базами данных; - визуализировать данные. После обучения получите дипломы о профессиональной переподготовке от МФТИ и Нетологии. Центр развития карьеры поможет с трудоустройством, резюме и портфолио. Освойте профессию на стыке IT и бизнеса Реклама. ООО "Нетология". Erid 2VSb5xPwBwn

🔥 awesome-llm-powered-agent — полезный репозиторий, который содержит подборку различных проектов, библиотек и ресурсов, которые связаны с агентами, работающими на основе больших языковых моделей (LLM, large language models) 🌟 Здесь собраны инструменты и проекты, которые помогают разрабатывать или использовать интеллектуальных агентов для автоматизации задач и взаимодействия с окружающей средой через языковые модели 🔐 Лицензия: MIT ▪️Github @data_analysis_ml

Как стать высокооплачиваемым специалистов в ML? Изучать тренды в Data Science с экспертами топовых компаний на продвинутом курсе «Machine Learning. Professional» от OTUS  Приглашаем на открытый урок, где рассмотрим современную модель TSMixter от Google которая умеет автоматически раскладывать временной ряд на сложные компоненты и строить прогноз на их основе. ✅ Изучение и практика: научимся загружать и работать с моделью Сравним ее с более сложными трансформенными моделями, такими как NBEATS, NHITS, iTransformers, PatchTST и TimesNet. 👇 Регистрация на урок:  https://otus.pw/OdX9/?erid=LjN8KLFMu #реклама О рекламодателе

🖥 ChatHub — получайте ответ от ChatGPT, Claude, Gemini и других моделей разом! 💡 С ChatHub вы можете легко задать один и тот же вопрос нескольким чат-ботам на основе искусственного интеллекта и сравнить их ответы бок о бок! Также в этом сервисе можно генерировать картинки и проводить поиск ресурсов в интернете! 🔗 Ссылка: *клик* @data_analysis_ml

Вечерний митап для ML-инженеров в Белграде и онлайн 📅 17 октября в 18:00 собираемся в хабе «Сербская Роза», чтобы обсудить тренды, новые подходы, решения и вызовы индустрии в неформальной обстановке. Спикеры и темы докладов: 🔸 Илья Ирхин, руководитель подразделения аналитики в Яндекс Еде. Подробно рассмотрит рекламу ресторанов в сервисе: аукцион, ранжирование, ценообразование 🔸 Дмитрий Солодуха, руководитель группы в Алисе и Умных устройствах Яндекса. Покажет, как мы учим Алису откликаться без имени 🔸 Антон Клочков, руководитель подгруппы распознавания текста в VLM в Яндекс Поиске. Расскажет о развитии навыков распознавания текста в VLM 🔸 Пётр Вытовтов, руководитель группы в Яндекс Погоде. Рассмотрит трансформеры сервиса и расскажет, как начать прогнозировать до миллиметра осадков После докладов офлайн-участников ждёт нетворкинг с экспертами из разных компаний! 📎 Регистрация и подробности тут. Ждём вас на ML Party в Белграде! Реклама. ООО "Яндекс", ИНН 7736207543.

📖 AI-Scientist — это проект, направленный на создание системы для автоматизации научных открытий и исследований. Использует модели обработки естественного языка, обучение с подкреплением и графовые нейронные сети для чтения научной литературы, генерации гипотез, проектирования экспериментов и анализа результатов. 🌟 Цель — помочь исследователям находить новые направления и автоматизировать рутинные задачи, делая научный процесс более эффективным. ▪️Github @data_analysis_ml

МТС True Tech Champ Прими участие в чемпионате от МТС, запрограммируй робота и поборись за главный приз 4000 0000 руб. Участникам будет предложено просканировать виртуальный лабиринт, получить массив данных о расположении стен и создать алгоритм для самого быстрого поиска оптимального маршрута робота-мыши. Финал чемпионата пройдет в формате зрелищной гонки роботов. Регистрация: до 15 октября Доступ к промежуточным онлайн заданиям: до 16 октября Финал в МТС Live Холл: 8 ноября Трек по программированию роботов будет интересен разработчикам Python, JS, Java, C#, С++, Go и не только. Для участия не обязательно разбираться в устройстве роботов: эксперты трека уже сконструировали их и создали прошивку. Успей зарегистрироваться до 15 октября по ссылке.

🤗 Hugging Face Llama Recipes Целый репозиторий, который содержит полезные рецепты и советы для быстрого работы с моделями Llama 3.x, включая Llama 3.1 и Llama 3.2. ▪️Github @data_analysis_ml

🖥 anthropic-gradio — интерфейс для взаимодействия с моделями Anthropic через платформу Gradio. Он позволяет пользователям легко подключать и тестировать модели искусственного интеллекта от Anthropic в интерактивной среде Gradio, которая предназначена для создания пользовательских интерфейсов для демонстрации машинного обучения 🌟 Репозиторий помогает разработчикам быстрее интегрировать AI-модели в свои приложения, упрощая взаимодействие с этими моделями через визуальные интерфейсы ▪️Github @data_analysis_ml

🖥 MLE-bench — новый бенчмарк от OpenAI для оценки того, как хорошо ИИ-агенты справляются с задачами машинного обучения. Для этого были собраны 75 соревнований с Kaggle, где проверяются такие навыки, как подготовка данных, тренировка моделей, работа с алгоритмами. 🌟 Лучшая конфигурация — OpenAI o1-preview с AIDE — достигла уровня бронзовой медали в 16.9% конкурсов. 📖 Arxiv: *клик* ▪️Github @data_analysis_ml

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data C++ t.me/cpluspluc Python: t.me/pythonl Хакинг: t.me/linuxkalii Devops: t.me/DevOPSitsec АНАЛИЗ Данных: t.me/dataanlitics Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/javatg Базы данных: t.me/sqlhub Linux: t.me/linuxacademiya Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Docker: t.me/DevopsDocker Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai Собеседования МЛ: t.me/machinelearning_interview МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy