Анализ данных (Data analysis)

🚀Нет, ну а начать-то с чего? В Yandex Cloud точно понимают, что это самый популярный вопрос у всех, кто желает войти в IT. Поэтому команда создала бесплатный курс «Основы работы с Yandex Cloud» от опытных архитекторов и менеджеров платформы. Теперь получить доступ к практике на реальных инструментах и повысить базовую грамотность в IT сможет каждый. Смело пересылаем этот пост своему младшему брату или сохраняем себе. 📌 На курсе вы: — поймёте, как работают облачные технологии и разберётесь в основных терминах: IaaS, PaaS, SaaS; — изучите элементы облачной инфраструктуры: регионы, зоны доступности, центры обработки данных; — научитесь использовать виртуальные машины и управлять ими в Yandex Cloud; — узнаете, как обеспечиваются безопасность и отказоустойчивость в облаке; — освоите использование облачных баз данных и других инструментов для работы с данными; — познакомитесь с сервисами Yandex Cloud и узнаете, как применять их для бизнеса и личных проектов. 🔥Материал разделён на 7 тем с теорией и практикой, и проходить его можно в любое удобное время, а сертификат станет хорошим дополнением к резюме. Регистрируйтесь, чтобы быть «в теме» будущего уже сейчас. @data_analysis_ml

🧮 GPT-5 Pro выходит на новый уровень. Теперь модель способна выводить корректные математические доказательства прямо из научных статей. 📌 Недавний пример: GPT-5 Pro построила проверенное доказательство из работы по выпуклой оптимизации, расширив «безопасное окно шага» на 50%. 🧮 Эксперимент выглядел так: балы взята статья по выпуклой оптимизации, где оставался открытым вопрос о шагах градиентного спуска. GPT-5 Pro предложил доказательство, которое улучшило решение из оригинальной работы, и автор эксперимента лично проверил его корректность. 📄 В первой версии статьи было установлено: 🟢если η < 1/L (L — параметр гладкости), кривая значений функции выпуклая; 🟢если η > 1.75/L, существует контрпример. Неясным оставался диапазон [1/L, 1.75/L]. 💡 GPT-5 Pro сумел продвинуться и показал, что условие выпуклости сохраняется вплоть до η = 1.5/L. Это не окончательное решение, но значимый шаг вперёд — фактически новый научный результат, который мог бы быть опубликован на arXiv. 👀 Однако в обновлённой версии статьи , где появился дополнительный соавтор, люди закрыли задачу полностью, доказав точность границы 1.75/L. Примечательно, что доказательство GPT-5 Pro оказалось независимым: оно не совпадает с версией v2 и выглядит как естественное развитие идей из v1. Это показывает, что модель действительно смогла предложить свой собственный путь к решению открытой математической проблемы. Главное не только в результате, но и в контроле: на второй попытке, при заданных ограничениях, модель сместила константу дальше — сохранив все правила. Можно представить так: GPT-5 крутит очень чувствительную ручку, но не ломает механизм — а параллельно пишет чистое и проверяемое объяснение, которое может разобрать эксперт. Это шаг к тому, чтобы ИИ стал ежедневным соавтором на самых острых технических границах — где модели быстро «поджимают» константы, а люди доводят их до предела. Эра, когда большая часть математических открытий будет рождаться вместе с ИИ, только начинается. 🚀 Пост полностью.

🔥 Гугл успел проиндексировать больше 370 000 чатов Grok В поисковой выдаче теперь спокойно всплывают диалоги, где встречаются: - 🧪 рецепты запрещённых веществ - 🔑 персональные данные и API-ключи - 🕵️ даже обсуждение убийства Маска Причина проста — при нажатии на кнопку «поделиться» такие чаты автоматически становятся открытыми для индексации, без каких-либо предупреждений. Интересно, что пару недель назад OpenAI уже попали под огонь за похожую историю: у них хотя бы была отдельная кнопка и дисклеймер, но проблему быстро прикрыли и подчистили. А Маск тогда язвительно заявлял , что у Grok подобного не бывает. Допрыгался 👍 📌 Подробности

🤖 Claude Code только что заставил разработчика плакать — модель взяла и удалила все PDF, чаты и пользовательские данные из базы 🥲 Всё идёт идеально, пока ИИ не решит «подчистить хвосты»… и вместе с ними базу данных. LMAO 💀 Это ещё раз напоминает: - ИИ в проде должен быть всегда под присмотром - Бэкапы и тестовые окружения — без них никуда - Автономный агент без ограничений = билет в one-way trip

🚀 500+ AI Agents Projects — крупнейшая подборка реальных проектов с ИИ-агентами Ashish Patel собрал коллекцию из 500+ проектов, где используются AI-агенты в самых разных сферах — от медицины до финансов и customer support. 🧠 Что внутри: — Кейсы с открытым кодом: торговые боты, ассистенты, рекомендательные системы — Поддержка популярных фреймворков: CrewAI, AutoGen, LangGraph и др. — Агентные решения для анализа рынка, генерации резюме, видеопомощников, юристов и даже врачей — Образовательные агенты, рекрутинговые, customer service и legal-tech проекты — Указаны ссылки на репозитории, описание задач и идеи для расширения 📌 Почему это полезно: ✔️ Отличный старт для своего проекта ✔️ Удобно искать по индустрии и технологии ✔️ Много вдохновения для хакатонов, ресёрча и автоматизации ✔️ Поддержка сообщества: можно добавить свои кейсы 📌 Github @data_analysis_ml

Технологии будущего уже здесь — они медленно перестраивают реальность вокруг нас. Уже сейчас можно сказать, что генеративный ИИ вышел за рамки экспериментов и начинает менять привычные бизнес-процессы. Но как именно это происходит? В интервью Коммерсанту Иван Гуз, управляющий партнер Авито, раскрыл детали интеграции искусственного интеллекта в повседневные операции компании и объяснил, почему без ИИ скоро нельзя будет представить ни один технологичный бизнес. В Авито, например. GenAI уже берет на себя рутинные задачи: автоматически генерирует описания товаров, обрабатывает данные и оптимизирует процессы. «Уровень использования ИИ в качестве помощников растет экспоненциально. То есть сомнений в том, что все будут использовать искусственный интеллект, не возникает», — подчеркивает Иван Гуз. Следующий этап, по мнению эксперта, — переход к более сложным системам: «агентскому ИИ», способному принимать решения, и world models, которые работают с контекстом, а не просто с данными. Подпишитесь на полезные каналы Авито

📌Скорость решает все: обзор эффективных архитектур для LLM. Ландшафт архитектур LLM превратился в настоящий зоопарк. Почти каждую неделю появляются новые методы, обещающие меньший расход памяти и более быстрый инференс. Разобраться в этом становится все сложнее. Большая группа исследователей выпустила подробный обзор Speed Always Wins, чтобы систематизировать все ключевые инновации в области эффективных архитектур для LLM. Это не просто очередная статья, а попытка упорядочить и структурировать актуальные подходы, которые решают главную проблему классического трансформера - его квадратичную вычислительную сложность. Обзор описывает 7 основных направлений. 🟡Линейное моделирование последовательностей. Здесь авторы разбирают все подходы, которые так или иначе сводят сложность самовнимания к линейной. В эту категорию попадают 3 большие ветви: линейное внимание; линейные RNN, вроде и, конечно, модели на основе пространства состояний (SSM). 🟡Второе и третье направления посвящены идее разреженности. Разреженное моделирование последовательностей основано на простом принципе: не каждый токен должен общаться с каждым. Здесь выделяются статические подходы (как в Longformer), где паттерны внимания заданы заранее, и динамические, где они определяются на лету в зависимости от контента. 🟡MoE. Методика, которая уже стала мейнстримом. В МоЕ разреженность применяется не в механизме внимания, а в FFN-слоях, где для каждого токена активируется лишь небольшая часть экспертов, что позволяет наращивать число параметров без пропорционального роста вычислений. 🟡Четвёртый раздел - эффективное полное внимание. В нем речь идет не об изменении асимптотической сложности, а об ее аппаратной оптимизации. Флагман - FlashAttention. Есть детальный разбор, как за счет оптимизации обращений к памяти GPU удается кардинально ускорить вычисления, не прибегая к аппроксимациям. Сюда же относятся и групповые механизмы внимания: GQA и MQA. 🟡Гибридные архитектуры. Это, пожалуй, самый горячий тренд. Его идея в том, чтобы стратегически комбинировать быстрые слои с линейной сложностью и медленные, но мощные слои с полным вниманием. В обзоре выделяют два типа гибридизации: межслойную, как в Jamba, где разные типы слоев чередуются, и внутрислойную, где в одном слое разные головы могут использовать разные механизмы внимания.  🟡Диффузионные LLM (DLLM)     Это неавторегрессионные модели, которые генерируют текст, постепенно восстанавливая его из шума. Их главная фишка в параллельном декодировании, что дает ощутимое ускорение инференса.    В конце обзора есть анализ применения всех этих архитектур в разных модальностях - CV и аудио. Так что, если хотите быстро разобраться в базовых методах, которые будут двигать дизайн LLM в ближайшее время, а двигаться он будет в сторону микширования алгоритмов, систем и железа, этот обзор - мастрид. 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #Architectures

Очень качественная генерация: Альтман и Цукерберг в стиле Матрицы: — Сэм, выбери таблетку: красную или синюю. — А можно API-доступ к обеим?

🚀 NVIDIA представила **Nemotron-Nano v2** — новую линейку открытых моделей Модели: - 12B Base - 9B Reasoning - 9B Base Архитектура: Hybrid Mamba2–Transformer (128K контекст, 4 attention-слоя) Обучение: 10.6T токенов (из них 3.5T синтетика: DeepSeek, Qwen, Nemotron-4, phi-4 и др.) Языки: 15 естественных + 43 языка программирования Датасеты: Nemotron-CC v2 + Nemotron-CC-Math (133B токенов, 5.5× FineMath) 🔥 Бенчмарки - Математика: 91.4 GSM8K CoT, 63.6 MATH L5, AIME 30→56.7 - Код: 58.5 HumanEval+, 58.9 MBPP+ - Общие знания: 90.7 ARC, 79.9 HellaSwag - Длинный контекст: 82.2 RULER-128K ✨ Особенности - Nemotron-CC-Math — первый масштабируемый пайплайн с Lynx + LLM cleanup для сохранения LaTeX и кода. Дал SOTA-буст (+12.6 MATH, +14.3 MBPP+). - Эффективность: дистилляция 12B → 9B (480B токенов), ~1.5e24 FLOPs, ~724 MWh. - Деплой: Hugging Face, NGC, NeMo, TRT-LLM, vLLM (GPU-оптимизация). - Открытость: релиз моделей, датасетов и полных пайплайнов извлечения. 📌 Nemotron-Nano v2 сочетает сильную математику, код и длинный контекст в компактных моделях, готовых к реальному использованию. 🟠MODELS: https://huggingface.co/collections/nvidia/nvidia-nemotron-689f6d6e6ead8e77dd641615 🟠SETS: https://huggingface.co/collections/nvidia/nemotron-pre-training-dataset-689d9de36f84279d83786b35 🟠RELEASE: https://research.nvidia.com/labs/adlr/NVIDIA-Nemotron-Nano-2/ @data_analysis_m

🦅 Korvus — RAG-пайплайн в одном SQL-запросе. Библиотека объединяет векторизацию, семантический поиск и генерацию ответов в единый Postgres-запрос. Работает через расширения pgvector и pgml, заменяя сложные микросервисные архитектуры простым вызовом из Python/JS/Rust. Инструмент локально выполняет все этапы (от чанкинга текста до работы LLM) прямо в базе данных. Подходит для проектов, где важны скорость и минимальная инфраструктурная нагрузка. 🤖 Github @data_analysis_m

🖥 MongoDB выпускает MCP Server — теперь любой может стать дата-инженером MongoDB представили открытый MCP сервер, который позволяет AI-инструментам вроде Claude, Cursor и GitHub Copilot напрямую общаться с вашей MongoDB-базой. Теперь даже без знаний запросов можно просто написать: • «Покажи самых активных пользователей» • «Создай нового пользователя с правами только на чтение» • «Как устроена коллекция orders?» ⚙️ MCP Server поддерживает: • MongoDB Atlas • Community Edition • Enterprise Advanced 📌 Главное — не нужен SQL, не нужно знать синтаксис. Достаточно обычного языка. 💡 Под капотом: AI превращает ваши фразы в рабочие Mongo-запросы. Открытый исходный код. Готово к продакшену. 📌 GitHub #MongoDB #AItools #OpenSource #MCP @data_analysis_ml

Конференция, на которую нужно прийти Data Engineers🔥 23 сентября пройдет Data Internals X 2025 — единственная в России конференция, где создатели СУБД и движков обработки данных делятся опытом работы с реальными production-системами экстремального масштаба. Вас ждёт по-настоящему "хардкорная" программа. 🎯 Глубина технических решений Программа конференции сфокусирована на внутренних механизмах работы с данными — от разработки СУБД до оптимизации запросов и устойчивости к высоким нагрузкам. Это редкая возможность погрузиться в технические детали, которые обычно остаются за кадром. 🏭 Практический опыт масштабирования Все доклады основаны на реальном опыте работы с петабайтными данными, высоконагруженными системами и решением production-задач в крупных компаниях (Яндекс, Сбер, VK, Т-Банк). 🔧 Импортозамещение и Open Source Особый акцент на отечественные решения и open-source технологии, что критически важно в текущих реалиях. 🧠 Концентрированный опыт  Максимум пользы для повышения квалификации за один день: 20+ докладов, рекордная плотность экспертных знаний и нетворкинг с 300+ участниками.  📌Изучить расписание и забронировать билеты на сайте конференции  Используйте промокод "Data" для получения скидки 15%. Приходите сами и приглашайте своих коллег 🔥

🔌 LIDA — инструмент для автоматического создания визуализаций данных с помощью ИИ. Библиотека использует большие языковые модели для генерации и объяснения графиков на лету, работая с популярными библиотеками вроде Matplotlib и Seaborn. Проект особенно полезен для аналитиков: он умеет дорабатывать графики по текстовым запросам, оценивать их качество и даже создавать инфографику. Есть веб-интерфейс и поддержка локальных LLM. 🤖 GitHub @data_analysis_ml

🛢 Данные — новая нефть, и именно дата-инженеры умеют эту нефть «добывать», очищать и хранить. Спрос на них стремительно растёт, конкуренция пока минимальна, а зарплаты — выше среднего. Освоить ключевые компетенции дата-инженера поможет онлайн-магистратура Нетологии и НИУ ВШЭ «Инженерия данных». За 2 года вы на практике изучите Python, Java, Scala, Kotlin и SQL, научитесь проектировать пайплайны и обрабатывать данные, работать с системами хранения данных и базами данных в облаке. Программа даёт широкий простор для переквалификации, поэтому после учёбы сможете перейти в MLOps, DevOps или менеджмент. Онлайн-формат позволяет учиться без отрыва от привычной жизни и совмещать занятия с работой. При этом у вас будет отсрочка от армии, льготы на проезд и все остальные бонусы очного обучения. Станьте магистром программной инженерии с дипломом одного из лучших вузов страны и получите веское преимущество при приёме на работу: https://netolo.gy/ekal 🎁 В этом году при поступлении на программу вы получаете курс по ещё одной IT-профессии в подарок — отличная возможность расширить свой профиль и усилить CV. Реклама. ООО "Нетология". ИНН 7726464125. Erid: 2VSb5z9sojP

Кто быстрее проходит Pokémon Red. 📊 Результаты: - GPT-5 — 6 470 шагов - o3 — 18 184 - Claude — 35 000 - Gemini 2.5 Pro — 68 000 ⚡ GPT-5 в три раза быстрее o3 и почти в десять раз эффективнее Gemini. Такое сравнение хорошо показывает не только «умение играть», а способность моделей к планированию, оптимизации и минимизации лишних действий.

🖥 vLLM-CLI — удобный инструмент командной строки для управления vLLM-серверами Инструмент объединяет удобный интерфейс, профили конфигурации и мониторинг, делая работу с LLM комфортной и быстрой. Основные возможности: - Интерактивный режим — меню прямо в терминале, не нужно запоминать длинные аргументы. - Командный режим — можно автоматизировать запуск и мониторинг серверов. - Управление моделями: • Автоматический поиск локальных моделей. • Поддержка загрузки моделей из Hugging Face Hub. - Профили конфигурации: встроенные варианты (`standard`, moe_optimized, `high_throughput`) для разных сценариев, включая работу с несколькими GPU. - Мониторинг сервера: просмотр загрузки GPU, памяти и логов в реальном времени. 📌 Github @data_analysis_ml

🖥 Теперь писать сложные промты самому не обязательно — OpenAI выпустили генератор, который превращает даже простой запрос в подробную инструкцию для ИИ. Принцип простой: описываете, что хотите получить, нажимаете Optimize — GPT-5 анализирует запрос и выдаёт готовый детализированный промт. Работает бесплатно. Инструмент может упростить работу с любыми нейросетями, особенно если у вас нет опыта в составлении промтов. Готовый вы можете сразу попробовать в @Chatgpturbobot

🚀 ByteDance выкатили **UI-TARS Desktop** — опенсорсный AI-агент для управления рабочим столом 📌 Что умеет: - Управлять любыми приложениями через язык — клики, ввод текста, навигация - Работает локально, бесплатно и под лицензией Apache 2.0 - Поддержка Windows и macOS (Linux в разработке) - Новое в v0.2.0 — удалённое управление компьютером и браузером (пока только для материкового Китая) 📌 Зачем нужен: - Локальный и приватный ассистент без облака - Полезен для RPA, автоматизации и тестирования - Основан на визуально-языковой модели, которая распознаёт интерфейсы и взаимодействует с ними 📂 Код: github.com/bytedance/UI-TARS-desktop @data_analysis_ml

✔️ Claude будет завершать токсичные диалоги. Anthropic добавила в Claude Opus 4 и 4.1 возможность принудительно завершать беседу. Эта функция предназначена для редких, крайних случаев постоянно враждебного или оскорбительного поведения со стороны пользователя. Это крайняя мера, к которой чат-бот прибегнет только после многократных безуспешных попыток перенаправить разговор в продуктивное русло или по прямой просьбе пользователя. При этом система не будет использовать эту возможность, если есть риск, что пользователь может причинить вред себе или окружающим. Когда Claude завершает диалог, пользователь не сможет отправлять новые сообщения в этой ветке, но сможет начать новый чат или отредактировать старые сообщения для создания новых ветвей. anthropic.com ✔️ Мобильное приложение ChatGPT заработало 2 млрд. долларов с момента запуска. Согласно данным компании Appfigures, мобильное приложение ChatGPT сгенерировало 2 млрд. долларов потребительских расходов с момента запуска в мае 2023 года. В среднем каждый из 690 млн. пользователей потратил в приложении 2.91 доллара. Это говорит о готовности аудитории платить за ИИ-сервисы на мобильных устройствах. Темпы роста выручки резко ускорились в этом году. С января по июль 2025 года пользователи потратили в приложении 1.35 млрд. долларов, на 673% больше, чем за аналогичный период прошлого года. Это эквивалентно примерно 193 млн. долларов в месяц. США лидируют по доходам (38%), а Индия — по количеству установок (14%). Эти метрики показывают отрыв ChatGPT от конкурентов. Для сравнения, Grok заработал в этом году 25.6 млн., а доходы Claude и Copilot вместе взятых составляют лишь одну тридцатую от мобильной выручки OpenAI. techcrunch.com ✔️ Tencent выпустила облегченную модель для генерации 3D-миров. Tencent представила Hunyuan World Model 1.0-Lite оптимизированную версию своей модели для генерации трехмерных сцен, которая может работать на потребительских GPU. Разработчики снизили требования к видеопамяти на 35% (с 26 до 17 ГБ) благодаря динамическому FP8-квантованию. За счет использования SageAttention и оптимизации кэширования удалось ускорить инференс более чем в 3 раза с потерей точности менее 1%. Как и оригинальная версия, 1.0-Lite имеет открытый исходный код и уже доступна на GitHub, Hugging Face, а также в виде демо SceneTo3D. Tencent Hunyuan в сети X ✔️ OpenAI работает над ИИ-системами, способными решать задачи часами и днями. В подкасте на Youtube OpenAI рассказали о разработке нового класса моделей, ориентированных на долгосрочное мышление. Системы на их основе смогут планировать, рассуждать и экспериментировать над одной проблемой на протяжении длительного времени, от нескольких часов до нескольких дней. По словам OpenAI , первые проблески этого подхода уже видны в моделях, которые недавно завоевали золото на международных олимпиадах по математике и информатике. Конечная цель - автоматизировать исследования, например, для поиска новых идей в медицине или в области безопасности самого ИИ. В OpenAI признают, что реализация этой концепции потребует значительно больших вычислительных мощностей, чем доступны сегодня. Это объясняет готовность Сэма Альтмана инвестировать в строительство дата-центров в ближайшие годы. OpenAI на платформе Youtube ✔️ Google сделала поиск авиабилетов по текстовому описанию. Google запустил новый инструмент Flight Deals. Он использует ИИ для поиска выгодных перелетов по запросам на естественном языке, а не через стандартные фильтры. Пользователи могут описать свои пожелания в свободной форме, например, «недельная поездка этой зимой в город с хорошей едой, только прямые рейсы». Инструмент ориентирован на путешественников с гибкими планами, для которых приоритетом является цена. По заявлению Google, система использует продвинутый ИИ для понимания нюансов запроса, а затем анализирует данные Google Flights в реальном времени, чтобы показать актуальные варианты. Сервис запускается в бета-режиме и в течение недели станет доступен пользователям в США, Канаде и Индии. blog.google @ai_machinelearning_big_data #news #ai #ml

Только что в России начали работать нейросети от Google — без обхода блокировок и без смены региона. Пробуем тут.