Анализ данных (Data analysis)

Владельцы Mac, вам подарок подъехал: MLX LM теперь интегрирован непосредственно в Hugging Face 🤯 ⬇️ Вы можете запустить более 4400 LLM локально на Apple Silicon. Нужно только включить MLX LM в настройках локальных приложений: https://huggingface.co/settings/local-apps

🤖 Диффузионные политики забывают прошлое. Новый подход учит роботов помнить — в 3 раза лучше и в 10 раз дешевле Современные роботы для надёжной и устойчивой работы должны помнить, что происходило ранее. Но как только в диффузионные политики добавляют историю действий — производительность падает, а обучение становится дорогим и нестабильным. 📌 Исследователи представили новый метод — PTP (Past Trajectory Prediction), который помогает роботам эффективно использовать прошлый опыт. Что делает PTP: ✅ Учит робота находить связь между прошлым и будущим ✅ Позволяет использовать быстрые кэшированные контексты вместо длинной истории ✅ Ускоряет обучение и повышает качество поведения в 3 раза ✅ Уменьшает вычислительные затраты более чем в 10 раз ✅ Добавляет трюк на этапе запуска, который проверяет, следит ли робот за собственной историей 📈 Обучение роботов с учётом долгосрочного контекста стало реально применимым. Если мы хотим создавать умных, автономных и надёжных машин — это большой шаг вперёд. 🔗 Подробнее: - Статья - Проект - Код @data_analytics_ml

🔜 soarXiv — и это очень красивый способ исследовать человеческие знания. Вам нужно заменить «arxiv» на «soarxiv» в URL статьи, и вы попадёте на её визуализацию во Вселенной. Поддерживается примерно 2,8 миллиона научных работ. soarxiv.org

⚡️ NNCF — фреймворк для сжатия нейросетей без потерь точности. Проект поддерживает квантование, сжатие весов и другие методы как после обучения, так и непосредственно во время тренировки моделей. Инструмент работает с PyTorch, TensorFlow, ONNX и OpenVINO, предлагая единый API для разных фреймворков. Например, для 8-битного квантования после обучения достаточно 300 примеров калибровочных данных, никаких сложных настроек. Проект имеет интеграцию с HuggingFace Optimum и OpenVINO Training Extensions, а также готовые примеры для классификации изображений, детекции объектов и даже NLP. 🤖 GitHub @data_analytics_ml

❓Зачем Data Scientist изучать ML? Машинное обучение — это не просто модное словосочетание. Это основа Data Science, без которой успешная карьера в этой области невозможна. Вы не сможете работать с большими данными и обучать ИИ, если не освоите методы ML. На открытом вебинаре 19 мая в 18:00 мск вы узнаете, зачем вам ML, и научитесь решать реальную задачу: классифицировать изображения с помощью машинного обучения. 📣 Спикер Мария Тихонова – PhD Computer Science, Senior Data Scientist и преподаватель в одном из крупнейших университетов России. ➡️ Записывайтесь на открытый вебинар и получите скидку на большое обучение «Специализация Machine Learning»: https://otus.pw/vtKQC/?erid=2W5zFJXRnBi  #реклама О рекламодателе

II-Medical-8B — компактная, но мощная модель , специально разработанная для медицинских задач. Несмотря на размер, она превосходит более крупные модели, такие как GPT-4.5, по точности и эффективности в клинических тестах. 🔍 Почему это важно Точность и прозрачность: II-Medical-8B обеспечивает пошаговое клиническое рассуждение, что критично для медицинских приложений. - Доступность: Модель достаточно компактна, чтобы запускаться локально, обеспечиваяет быстрый и приватный доступ без необходимости в дорогой облачной инфраструктуре. 📍 С лицензией MIT. Для запуска не требуется GPU https://huggingface.co/Intelligent-Internet/II-Medical-8B

Если вы размышляете, как усилить своё резюме, наш совет — освойте SQL. Это язык, который помогает извлекать ценную информацию из массивов данных. Познакомиться с инструментом можно на бесплатном курсе «Введение в SQL и работу с базой данных». За 5 занятий вы научитесь создавать, редактировать и обновлять базы данных, сделаете свои первые запросы и отчёты. Курс будет полезен даже тем, кто пока не собирается становиться аналитиком. Научитесь применять SQL в своих задачах — с ним вы сможете больше – https://netolo.gy Реклама. ООО "Нетология". ИНН 7726464125 Erid: 2VSb5xbuDWY

Подборка сервисов для быстрой оценки и сравнения LLM Открытых моделей становится всё больше, а универсального ответа, какую ставить в продукт — нет. Одним важна точность, другим — стоимость, масштабируемость или устойчивость на длинных запросах. Сравнительные сервисы упрощают этот выбор: они фиксируют поведение в реальных сценариях, агрегируют пользовательские оценки и показывают, какие решения уже в продакшене. Собрали подборку таких платформ. 1️⃣ OpenRouter: рейтинг LLM по реальному использованию OpenRouter публикует открытый рейтинг моделей, основанный на частоте их использования в реальных продуктах. Это не лабораторные тесты, а фактические данные из прикладных сценариев: кодинг, маркетинг, финтех, технологии.  Рейтинг можно фильтровать по задачам и периоду: за день, неделю, месяц или по росту популярности. Это рыночный барометр: если модель стабильно удерживает лидерство в вашей категории — её используют в продакшене. 2️⃣ Chatbot Arena (LMSYS): парные сравнения моделей  Платформа предлагает формат арены: пользователь задаёт вопрос, а две модели отвечают параллельно. После этого выбирается лучший ответ. По итогам сравнений формируется рейтинг по системе Elo — как в шахматах, только для LLM. Для моделей на русском языке есть аналог — LLM Arena. Сервис также поддерживает сравнения, голосование за лучший ответ и динамический рейтинг. Включены YandexGPT, GigaChat, MTS AI и другие модели. 3️⃣ Hugging Face: рейтинг по независимым бенчмаркам В отличие от рейтингов популярности или пользовательских голосов, Hugging Face оценивает модели по результатам стандартных тестов: MMLU (общие знания),  BBH (логика), IFEval (следование инструкциям), кодингу, математике и другим. Каждая модель получает баллы по ряду метрик, по которым можно отсортировать модели. 4️⃣ MERA: открытый бенчмарк для русскоязычных LLM Лидерборд ранжирует модели по результатам фиксированного набора задач: логика, код, знания, этика. Оценка проходит в равных условиях: стандартизированные промпты, единые параметры, открытая методика. Подходит, если вы работаете с русскоязычными моделями, и вам важна применимость и эффективность в конкретной области. Какие выводы?  Выбор LLM — это управленческое решение с последствиями для качества, стоимости и скорости продукта. Сравнительные платформы не заменяют пилоты, но позволяют действовать быстрее и точнее: 📍 Отсекать слабые решения до интеграции 📍 Фокусироваться на моделях, которые уже работают в продакшене 📍 Оценивать зрелость open-source вариантов без риска потерь в качестве Если вы внедряете LLM в продукт, рейтинги помогают действовать не по наитию, а по обоснованным критериям. Но важно не полагаться на один источник — первичную кросс-оценку стоит строить на данных из разных сервисов.  #AI_moment @Redmadnews

🤖 Создание легковесного персонального ассистента на базе Qwen Хочешь создать собственного ИИ-ассистента, работающего локально? В статье на Machine Learning Mastery показано, как это сделать с помощью модели Qwen1.5-7B-Chat от Alibaba. 🔧 Что понадобится: - Python - Библиотеки: transformers, accelerate, bitsandbytes, einops, ipywidgets - Модель Qwen1.5-7B-Chat с поддержкой 4-битной квантизации для экономии памяти 🛠️ Основные шаги: 1. Установка необходимых библиотек и проверка совместимости 2. Загрузка модели и токенизатора с использованием Hugging Face Transformers 3. Настройка квантизации (4-битной или 8-битной) для оптимизации использования памяти 4. Создание функции генерации ответов с учетом истории чата 5. Реализация пользовательского интерфейса с помощью ipywidgets или командной строки 📈 Преимущества: - Работа на локальной машине без необходимости подключения к интернету - Быстрая генерация ответов благодаря квантизации и использованию GPU - Гибкость в настройке и расширении функциональности ассистента 🔗 Подробнее о процессе создания ассистента читайте в оригинальной статье

🤖 Создание легковесного персонального ассистента на базе Qwen Хочешь создать собственного ИИ-ассистента, работающего локально? В статье на Machine Learning Mastery показано, как это сделать с помощью модели Qwen1.5-7B-Chat от Alibaba. 🔧 Что понадобится: - Python - Библиотеки: transformers, accelerate, bitsandbytes, einops, ipywidgets - Модель Qwen1.5-7B-Chat с поддержкой 4-битной квантизации для экономии памяти 🛠️ Основные шаги: 1. Установка необходимых библиотек и проверка совместимости 2. Загрузка модели и токенизатора с использованием Hugging Face Transformers 3. Настройка квантизации (4-битной или 8-битной) для оптимизации использования памяти 4. Создание функции генерации ответов с учетом истории чата 5. Реализация пользовательского интерфейса с помощью ipywidgets или командной строки 📈 Преимущества: - Работа на локальной машине без необходимости подключения к интернету - Быстрая генерация ответов благодаря квантизации и использованию GPU - Гибкость в настройке и расширении функциональности ассистента 🔗 Подробнее о процессе создания ассистента читайте в оригинальной статье

Устроиться аналитиком в Яндекс за выходные 7–8 июня проводим Weekend Offer Analytics. До 3 июня оставьте заявку на участие, 7 июня пройдите два технические собеседования, а 8 июня познакомьтесь с командами и получите офер. В мероприятии участвует 12 команд: Алиса и Умные устройства, Игры, R&D, Рекламные технологии, Поиск и Суперапп, Безопасность, Коммерческий департамент, Автономный транспорт, Ecom-сценарии Поиска, Качество Поиска, Международный Поиск, Карты. Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным. Узнать подробности и зарегистрироваться можно здесь. Реклама. ООО "Яндекс". ИНН 7736207543

📢 Hugging Face теперь интегрирован с Kaggle Notebooks С сегодняшнего дня пользователи Kaggle могут напрямую использовать любые модели с Hugging Face в своих ноутбуках — без ручной загрузки, настройки токенов и дополнительных библиотек. 🤝 Платформы Hugging Face и Kaggle объявили о партнёрстве, которое позволит участникам соревнований и исследователям работать с новейшими SOTA-моделями буквально "из коробки". 🔥 Это лишь первый шаг: команды уже работают над дальнейшей интеграцией, чтобы сделать работу с HF-моделями ещё удобнее внутри экосистемы Kaggle. 🔗 Попробовать можно прямо сейчас — поддержка уже включена в среду Kaggle Notebooks. https://huggingface.co/blog/kaggle-integration

🎨 Step1X-3D — Генерация текстурированных 3D-объектов нового поколения Step1X-3D — это открытая исследовательская платформа для высокоточной, воспроизводимой и управляемой генерации текстурированных 3D-ассетов. Проект разработан командой [StepFun](https://github.com/stepfun-ai) и доступен на Hugging Face. 🔧 Основные компоненты - 📦 Очистка и подготовка данных Обработано более 5 миллионов 3D-моделей. Отобраны 2 миллиона высококачественных ассетов с нормализованной геометрией и текстурами. Более 800 тысяч объектов доступны открыто. - 🧠 Двухэтапная генеративная архитектура 1. Генерация геометрии Используется гибрид VAE + Denoising Diffusion Transformer (DiT) для создания TSDF-представлений. Применяется латентное кодирование и выборка по краевым признакам для детализации. 2. Синтез текстур Диффузионная модель с геометрическим кондиционированием и согласованием в латентном пространстве для кросс-вью согласованности. - 🧪 Open Source Полностью открыт: доступны обученные модели, код, примеры и pipeline для адаптации. 🌟 Особенности - 🔄 Интеграция 2D → 3D Поддерживает использование техник управления, таких как LoRA, из 2D генерации — теперь и для 3D-объектов. - 🥇 SOTA-качество По ряду метрик превосходит существующие open-source решения и приближается к проприетарным системам. Step1X-3D задаёт новый стандарт в открытых 3D-исследованиях, объединяя качество, гибкость и открытость для исследователей, разработчиков и креаторов. - 📄 Hugging Face - 💻 GitHub - 🚀 Демо - ▶️ YouTube

Anthropic проводит испытания безопасности новой модели под названием «Клод-Нептун». Не удивлюсь, если мы скоро увидим Claude 4. Дарио Амодей в своём последнем интервью говорил, что Claude 4 будет готов через шесть месяцев. Похоже, это время уже подходит.

✔️ NVIDIA поставит в Саудовскую Аравию 18 000 топовых чипов для ИИ. NVIDIA отправит более 18 000 флагманских Blackwell GB300 в саудовскую компанию-стартап Humain, заявил CEO Джeнсeн Хуанг на инвестиционном форуме в Эр-Рияде. Эти чипы, одни из самых мощных в мире, будут работать в дата-центрах суммарной мощностью 500 мегаватт, помогая строить ИИ-инфраструктуру страны. Humain, принадлежащая местному суверенному фонду, позже задействует «сотни тысяч» GPU. AMD тоже участвует в проекте, и тоже поставит свои чипы для аналогичной инфраструктуры на $10 млрд. cnbc.com ✔️ Audible внедряет ИИ для создания аудиокниг. Audible объявил о внедрении полного цикла производства аудиокниг на основе ИИ — от перевода до озвучки. В ближайшие месяцы сервис предложит более 100 синтезированных голосов на английском, испанском, французском и итальянском языках с акцентами и диалектами. Технология поддерживает два варианта перевода: текст-текст (с последующей озвучкой) и речь-речь, сохраняющую стиль оригинального чтеца. Для точности перевода доступна проверка профессиональными лингвистами. Первые тесты перевода стартуют этой осенью. thebookseller.com ✔️ Tencent CodeBuddy: ИИ-ассистент для программистов. Tencent запустил CodeBuddy, инструмент, который может стать конкурентом Cursor. Он поддерживает автодополнение кода, диагностику ошибок, рефакторинг, написание тестов и ревью, а также работает с экосистемой WeChat. Особенность сервиса - режим Craft: ИИ понимает задачи на естественном языке и генерирует проекты из нескольких файлов. CodeBuddy поддерживает MCP-протокол, позволяя интегрировать сторонние инструменты без лишних телодвижений. В основе — модели DeepSeek V3 и HunYuan Turbo S, доступные бесплатно. Инструмент совместим с VSCode, Jetbrains и другими IDE. copilot.tencent.com ✔️ Intel Arc B580 может получить уникальную версию с двумя GPU и 48 ГБ памяти. Портал videocardz поделился слухами о том, что один из партнеров Intel разрабатывает двухчиповую версию видеокарты Arc B580 с суммарными 48 ГБ видеопамяти. По данным неназванного источника, устройство получит нестандартный дизайн, а его анонс запланирован на ближайшую неделю. Хотя точный бренд пока не называется, известно, что проект не является официальной разработкой Intel и находится под NDA. При этом, обычная версия B580 с 24 ГБ задерживается на несколько месяцев и есть вероятность, что это связано с "мистической" 48 ГБ-версией. Если информация подтвердится, это станет редким случаем десктопного двухчипового решения в эпоху монопольных GPU. Ждем подробностей на Computex. videocardz.com ✔️ Утечка системного промпта Claude взбудоражила ИИ-сообщество. Системный промпт Claude, описывающий поведение модели и ее инструменты, слили в сеть — 16,7 тыс. слов и 24 тыс. токенов. Документ раскрывает детали от формата ответов до методов решения задач, например, как считать буквы в слове «strawberry». В сравнении с 2,2 тыс. словами у OpenAI он гигантский. Большая часть текста посвящена интеграции с MCP-сервером, поисковыми правилами и «горячими исправлениями» для данных после 2024 года. Andrej Karpathy назвал утечку поводом обсудить новую парадигму обучения ИИ: вместо тонкой настройки весов модели он предложил редактировать промпты вручную, как человек использует заметки. Это должно помочь ИИ запоминать стратегии и адаптироваться к контексту. Однако критики возражают: автономные подсказки могут запутать модель, а без постоянного обучения эффект будет краткосрочным. news.ycombinator.com @ai_machinelearning_big_data #news #ai #ml

🔍 Что такое AssetGen 2.0? AssetGen 2.0 — это новый фреймворк-от способный создавать высококачественные 3D-модели и текстуры на основе текстовых или визуальных запросов. Она объединяет два компонента: - 3D-меши: создаются с использованием одностадийной диффузионной модели, обеспечивающей высокую детализацию и геометрическую точность. Текстуры: генерируются с помощью модели TextureGen, которая обеспечивает высокое качество и согласованность текстур. 🆚 Улучшения по сравнению с AssetGen 1.0 Одностадийная генерация: AssetGen 2.0 использует одностадийную диффузионную модель, что позволяет напрямую создавать 3D-объекты из текстовых или визуальных запросов, улучшая качество и сокращая время генерации. Повышенная детализация: новая архитектура обеспечивает более высокую детализацию и точность геометрии по сравнению с предыдущей версией. Улучшенные текстуры: TextureGen обеспечивает более высокое качество текстур с улучшенной согласованностью между различными видами объекта. 🌍AssetGen 2.0 уже используется внутри компании для создания 3D-миров и будет доступна для разработчиков Horizon позже в этом году. Планируется также расширение возможностей модели для генерации целых 3D-сцен на основе текстовых или визуальных запросов. 🔗 Подробнее @data_analysis_ml

Сэм Альтман: 2025 — год ИИ-агентов 2026 — год научных исследований и прорывов 2027 — год, когда ИИ и робототехника действительно начнут взаимодействовать с физическим миром Погнали! @data_analysis_ml

🩺 HealthBench — новый бенчмарк от OpenAI для оценки ИИ в медицине OpenAI представила HealthBench — масштабный бенчмарк, разработанный для оценки возможностей языковых моделей в медицинских сценариях. Он создан в сотрудничестве с 262 врачами из 60 стран и включает 5 000 реалистичных медицинских диалогов. 🔍 Основные особенности HealthBench: - Реалистичные кейсы: Диалоги отражают реальные взаимодействия между пациентами и врачами, охватывая различные медицинские специальности и контексты. - Многоязычность: Бенчмарк поддерживает несколько языков, что позволяет оценивать модели в глобальном масштабе. - Оценка по рубрикам: Каждый ответ модели оценивается по набору критериев, разработанных врачами, с учетом полноты, точности и уместности. Открытый доступ: Код и данные доступны на GitHub, что способствует прозрачности и сотрудничеству в исследовательском сообществе. HealthBench устанавливает новый стандарт для оценки ИИ в здравоохранении, обеспечивая более надежные и безопасные инструменты для пациентов и врачей. 🔗 Подробнее: https://openai.com/index/healthbench/

⚡️Создаём свою нейросеть в PyTorch Хотите быстро разобраться в PyTorch и написать свою нейросеть? Мы подготовили для вас вебинар, где на практике разберём все этапы создания ML-модели. Вебинар проведет Владислав Агафонов — ML-инженер, ранее работал в Yandex и Huawei. Что будет на вебинаре? 🟠Установим PyTorch в Google Colab и настроим работу на бесплатном GPU; 🟠Поймём, что такое тензоры и почему они — фундамент всех нейросетей; 🟠Скачаем готовый датасет, разберём его структуру и подготовим для обучения; 🟠Научимся использовать DataLoader для эффективной загрузки данных; 🟠Пошагово соберём облегчённую версию классической свёрточной нейронной сети (CNN); 🟠Обучим и протестируем модель. 🕗 Встречаемся 14 мая в 18:30 по МСК, будет много практики, ответы на вопросы и полезные инсайты от эксперта. 😶Зарегистрироваться на бесплатный вебинар

🌐 Reader от Jina AI — переводчик веб-страниц для языковых моделей. Этот необычный проект решает проблему всех RAG-систем, превращая контент веб-страниц в удобоваримый для LLM формат. Просто добавьте https://r.jina.ai/ перед любой ссылкой и получите очищенный от рекламы, JS-кода и лишних элементов текст с автоматически подписанными изображениями. Также запрос через s.jina.ai не просто выдает список ссылок, а сразу загружает и обрабатывает топ-5 результатов. Технология уже используется в продакшене и полностью бесплатна. 🤖 GitHub @data_analysis_ml