Анализ данных (Data analysis)

🔥 Огромная статья, которая посвящена оптимизации вывода (инференса) больших языковых моделей (LLM) с использованием одного графического процессора! 🌟 Автор делится опытом создания собственного движка для LLM на основе C++ и CUDA, фокусируясь на максимизации пропускной способности. Рассматриваются ключевые этапы, такие как загрузка модели, выполнение прямого прохода, использование кеша KV и многозадачность на CPU. Также подчеркивается важность пропускной способности памяти и квантования модели (например, FP16) для эффективного вывода. В статье приводятся бенчмарки и сравнение с другими фреймворками, такими как llama.cpp и Hugging Face, чтобы установить реалистичные цели по производительности. 🔗 Ссылка: *клик* #machinelearning @data_analysis_ml

🖥 PyXL — первый в мире специализированный процессор для нативного запуска Python Что это? PyXL исполняет байт-код CPython прямо на чипе — без JIT, интерпретатора и виртуальных машин. Ваши .py файлы компилируются в байт-код, затем транслируются в набор инструкций PySM, которые обрабатываются процессором. Ключевые особенности: ⚡ Скорость: в тестах обработки GPIO PyXL в 30× быстрее MicroPython на Pyboard (480 нс vs 14 741 нс при 100 MHz vs 168 MHz). 🔧 Прототип на FPGA: реализован на Verilog и тестируется на платах Zynq-7000. 🚀 Без прослоек: доступ к GPIO — напрямую, без Си-функций и внешних вызовов. 🏗️ Архитектура: конвейерная обработка, стековая модель, динамическая типизация без ограничений на типы переменных. 🛠️ Инструменты: транслятор на Python под неизм. CPython, готов к встраиваемым системам и реальному времени. Что дальше? 📅 Полные технические детали будут представлены 17 мая на PyCon 2025. Рассматривается открытие кода и выпуск ASIC-чипа. Автор проекта — Рон Ливне (Ron Livne), эксперт по аппаратному ускорению и оптимизации. #Python #PyXL #Embedded #FPGA #PyCon2025 #HardwareАкселерация https://runpyxl.com/gpio

🤖 Deep Live Cam: тулза для создания дипфейков в реальном времени без искажений и с идеальной подгонкой под свет и движение головы. Можно даже спокойно трясти головой и лицо останется без искажений. 🔜 Код

🚀 DeepWiki-Open: автоматическая генерация вики-документации с ИИ Это open-source инструмент для автоматического создания интерактивной вики-документации на основе исходного кода репозитория. Идеально подходит для разработчиков и команд, которые хотят быстро структурировать знания о проекте. ## 🔍 Что умеет DeepWiki - Анализирует код и его архитектуру - Генерирует документацию по компонентам и их связям - Создает визуальные диаграммы (например, с помощью Mermaid) - Структурирует всё в вики с удобной навигацией ✨ Особенности ✅ Мгновенная генерация вики ✅ Поддержка приватных репозиториев ✅ Интеллектуальный анализ кода с помощью OpenAI и Google Gemini ✅ Автоматические архитектурные диаграммы ✅ Удобный интерфейс 🛠️ Стек технологий - Backend: Python (FastAPI) - Frontend: Next.js + React - Визуализация: Mermaid - Контейнеризация: Docker, docker-compose 🚀 Быстрый старт

git clone https://github.com/AsyncFuncAI/deepwiki-open.git
cd deepwiki-open
echo "GOOGLE_API_KEY=ваш_google_api_key" > .env
echo "OPENAI_API_KEY=ваш_openai_api_key" >> .env
docker-compose up

▪ GitHub

🖥 Google встраивает рекламу в ответы чат-ботов Google теперь размещает рекламу непосредственно в разговорах чат-ботов на базе ИИ, расширяя свою сеть AdSense для поиска. Этот шаг позволяет бесшовно интегрировать рекламу в диалоги, управляемые ИИ. Мы все знали, что этот день настанет. Это был всего лишь вопрос времени.

✔️ Gemini планирует интеграцию с GitHub. Gemini для GitHub упростит работу с чужим кодом. Интеграция позволяет прикрепить репозиторий к запросу и получить от ИИ помощь: разобраться в структуре проекта, объяснить функции, предложить оптимизацию или найти баги. Пока функционал ограничен: нельзя просматривать историю коммитов, пул-реквесты или вносить изменения напрямую в репозиторий. Загрузить можно только один проект (до 5000 файлов и 100 МБ), а для приватных репозиториев потребуется привязать GitHub-аккаунт к Google. Импорт доступен через веб-версию Gemini, но начатый диалог можно продолжить в мобильном приложении. Интеграция появится в настройках Gemini в ближайшее время. 9to5google.com ✔️ Релиз моделей серии Phi-4 с ризонингом. Microsoft выпустила Phi-4-reasoning, Phi-4-reasoning-plus и Phi-4-mini-reasoning с 14 миллиардов параметров у первых двух и 3.6 млрд. у mini. Phi-4-reasoning-plus обошёл 671-миллиардную DeepSeek-R1 в тестах AIME 2025, а mini-reasoning была создана для работы на смартфонах или IoT-устройствах: она решает задачи от школьного уровня до научных расчетов, не нагружая систему. Детали создания доступны в техническом отчете, а сами модели - на Azure или HuggingFace. azure.microsoft.com ✔️ Anthropic добавила интеграцию приложений и улучшила исследовательские возможности Claude . Anthropic представила 2 ключевых обновления для своего Claude: интеграцию сторонних сервисов и расширенный инструмент для глубокого анализа. Новая функция "Integrations" позволяет подключать Claude к бизнес-приложениям вроде Confluence, Zapier или PayPal через серверы на базе протокола MCP. Это даст ИИ доступ к данным проектов, автоматизирует задачи и улучшает контекстную работу. Параллельно запущен Advanced Research: теперь Claude может анализировать сотни источников (включая корпоративные данные и локальные диски) за несколько минут, формируя детальные отчеты со ссылками на источники. Обновление использует «рассуждающие» модели ИИ. Функции доступны в бета-версии для подписчиков Claude Max, Team и Enterprise, а также скоро появятся в плане Pro. Anthropic также увеличила лимиты для кодинг-инструмента Claude Code. anthropic.com ✔️ Google тестирует рекламу в диалогах с AI-чатами через AdSense. Google начал внедрять рекламу в чаты пользователей с некоторыми сторонними ИИ-ассистентами через сеть AdSense. Функция, запущенная в этом году, уже тестировалась с стартапами Ask и Liner. Представитель компании подтвердил: «AdSense для Поиска доступен сайтам, которые хотят показывать релевантную рекламу в своих AI-диалогах». Этот шаг выглядит попыткой монетизировать растущую популярность ИИ-чатов вроде ChatGPT или Claude, которые постепенно заменяют традиционный поиск. Ранее компания уже добавляла рекламу в ИИ-сниппеты поиска. Однако интеграция с внешними сервисами — новый этап. bloomberg.com ✔️ Умные очки Ray-Ban будут собирать пользовательские данные для обучения ИИ. Facebook-research внесли ключевые изменения в правила конфиденциальности своих умных очков Ray-Ban. С 29 апреля владельцы устройств больше не могут отключать сохранение голосовых записей в облаке — удалить их можно только вручную через настройки. По словам компании, аудио и транскрипты хранятся до года для улучшения продуктов, а случайные активации удаляются через 90 дней. Фото и видео с камеры очков по-прежнему остаются в галерее смартфона и не используются для обучения ИИ, если не загружены в облачные сервисы компании или сторонние приложения. Однако голосовой помощник теперь всегда активен, пока пользователь не отключит его вручную. Это решение направлено на сбор данных для тренировки алгоритмов. theverge.com @ai_machinelearning_big_data #news #ai #ml

🚨 Microsoft представила Phi-4 Reasoning — ризониг модель на 14B параметров для сложных задач! 📐 Phi-4 Reasoning — это версия Phi-4, дообученная для математики, науки и программирования. Несмотря на относительно компактный размер (14B параметров), она конкурирует с более крупными моделями, вроде DeepSeek-R1 и OpenAI o3-mini, на бенчмарках вроде AIME 2025 и OmniMath. 🔍 Ключевые моменты: • 14B параметров • версия Phi-4-Reasoning-Plus дообучена с Reinforcement Learning • превосходит DeepSeek-R1-Distill-Llama-70B • почти догоняет оригинальную DeepSeek-R1 (70B) по качеству https://huggingface.co/collections/unsloth/phi-4-all-versions-677eecf93784e61afe762afa @data_analysis_ml

🚀 17 000 промптов в одной базе — собрано всё, что нужно для работы с ИИ! Разработчики собрали огромное хранилище запросов для всех топовых нейросетей: от Midjourney и ChatGPT до Runway и DALL·E. ✅ Что внутри: • Все промпты удобно отсортированы по категориям, задачам, стилям и инструментам — не заблудитесь. • К каждому запросу прикладываются примеры использования. • Сервис помогает адаптировать ваши собственные промпты под конкретные задачи. • Можно публиковать свои промпты и делиться ими с другими. • Есть быстрое расширение для Chrome. • И всё это бесплатно. https://promptport.ai/

Microsoft: до 30 % кода уже пишет AI На конференции LlamaCon CEO Microsoft Сатья Наделла объявил, что от 20 % до 30 % кода в репозиториях компании сегодня «написаны программным обеспечением», то есть с использованием искусственного интеллекта. ## Ключевые моменты - Зависимость от языка. Лучшие результаты при генерации — на Python, более слабые — на C++. - Интеграция на всех этапах. AI применяется не только для генерации чернового кода, но и для его ревью. - Сравнение с конкурентами. Google уже сообщает о более 30 % AI-сгенерированного кода, Meta прогнозирует до 50 % при разработке своих языковых моделей. - Долгосрочная перспектива. По прогнозам CTO Microsoft, к 2030 г. доля AI-генерируемого кода может вырасти до 95 %. - Ограничения метрик. Пока не до конца ясно, что именно учитывается в «AI-коде» (автодополнение, шаблоны, бизнес-логика), поэтому цифры стоит воспринимать с осторожностью. ## Почему это важно 1. Ускорение разработки. Рутинные задачи автоматизируются, разработчики получают больше времени на архитектуру. 2. Новый уровень качества. Автоматическое ревью помогает быстрее находить ошибки, но требует строгой проверки. 3. Риски безопасности. Сгенерированный код нуждается в дополнительном анализе на уязвимости. 4. Эволюция ролей. Разработчики всё больше становятся архитекторами и аудиторами, а не «создателями» кода.

Welcome Time для аналитиков: дружелюбная встреча с командой Поиска с Нейро в штаб-квартире Яндекса Расскажем в чем специфика аналитики в продукте, проведем диагностику навыков и ответим на все ваши вопросы. Где и когда: 17 мая в 12:00, штаб-квартира Яндекса «Красная Роза» (Льва Толстого, 16) Что в программе: -Как устроена аналитика Поиска -В чём специфика аналитики доли и дистрибуции -Как работает продуктовая аналитика YandexGPT -Всё об аналитике срезов в Поиске -Диагностика навыков и нетворкинг Да, один из главных пойнтов встречи — диагностика навыков аналитики и математической статистики. Если пройдёте успешно — в течение двух лет сможем засчитать как техническую секцию собеседования в Яндекс. Поиск с Нейро — первый и самый широко используемый сервис Яндекса. Наши аналитики развивают сложный и высоконагруженный сервис, который постоянно обновляется и нуждается в свежих идеях! Возможно, в ваших. ➡️ Регистрируйтесь на Welcome Time для аналитиков здесь

У DeepSeek на подходе новая версия (671B math/prover model), но это не R2 https://huggingface.co/deepseek-ai/DeepSeek-Prover-V2-671B @data_analysis_ml

🖥 GPT-4 больше не будет доступен с завтрашнего дня. Прощай, легенда.

🔥 Релиз Qwen 3 от Alibaba В релиз вошли 2 MoE-модели и 6 Dense models (плотные модели), размером от 0.6B до 235B параметров. 🏆 Флагманская модель Qwen3-235B-A22B демонстрирует конкурентные результаты в задачах Кодина, математики и общих способностей, уверенно соперничая с передовыми моделями, такими как DeepSeek-R1, o1, o3-mini, Grok-3 и Gemini-2.5-Pro. ⚡ Небольшая MoE-модель Qwen3-30B-A3B превосходит QwQ-32B, испрльзуя в 10 раз больше параметров. 🔥 Компактная модель Qwen3-4B сопоставима по производительности с Qwen2.5-72B-Instruct. 🔜Blog: https://qwenlm.github.io/blog/qwen3/ 🔜GitHub: https://github.com/QwenLM/Qwen3 🔜Hugging Face: https://huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f 🔜 ModelScope: https://modelscope.cn/collections/Qwen3-9743180bdc6b48 @ai_machinelearning_big_data #Qwen

📄 Sparrow — интеллектуальный парсинг документов с помощью LLM. Этот проект сочетает компьютерное зрение и языковые модели для извлечения информации из счетов, банковских выписок и других сложных документов. Инструмент имеет модульную архитектуру, позволяющую запускать pipelines как локально, так и в облаке через Hugging Face. Интересно, что Sparrow не просто распознает текст, а понимает семантику документов — система может извлекать конкретные поля по JSON-шаблону и даже обрабатывать многостраничные PDF с сохранением структуры. 🤖 GitHub @data_analysis_ml

🦉Модели Qwen 3 были опубликованы на ModelScope и затем были быстро удалены. Теперь мы знаем параметры и архитектуру. > Tripled language coverage, новые архитектурные фишки и контекст до 32k — всё в одной серии моделей. - 🔧 Новые техники: global-batch load balancing (MoE), qk layernorm, тонкая настройка гиперпараметров через scaling laws - 🚀 Dens + Mixture-of-Experts линейка: разные размеры и режимы для любых задач - 📈 Улучшена стабильность и качество выводов по сравнению с Qwen 2.5 🤖 Модель Qwen3-8B в цифрах - Тип: causal language model - Параметры всего: 8,2 B (6,95 B без эмбеддингов) - Слои: 36 - Attention heads (GQA): 32 для Q и 8 для KV - Контекстное окно: 32 768 токенов - разработчикам — компактная, но мощная 8B-модель с длинным контекстом - продвинутая MoE-архитектура - это мультиязычная plug-and-play LLM и https://modelscope.cn/collections/Qwen3-9743180bdc6b48

Скайнет, который мы заслужили @data_analysis_ml

🧠 MaxKB — open-source ИИ-ассистент для бизнеса с RAG-движком. Это не просто чат-бот, а целая платформа для создания умных ассистентов на базе языковых моделей. Система умеет работать с документами, поддерживает сложные workflows и интеграцию через API. Для своей работы инструмент использует комбинацию проверенных технологий: Django для бэкенда, LangChain для работы с LLM и pgvector для хранения эмбеддингов. Проект универсален, уже сейчас можно подключить как локальные модели, так и облачные. 🤖 GitHub @data_analysis_ml

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: Python: t.me/pythonl Linux: t.me/linuxacademiya Собеседования DS: t.me/machinelearning_interview Нерйросети t.me/ai_machinelearning_big_data C++ t.me/cpluspluc Docker: t.me/DevopsDocker Хакинг: t.me/linuxkalii Devops: t.me/DevOPSitsec Data Science: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/javatg Базы данных: t.me/sqlhub Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Разработка игр: https://t.me/gamedev Haskell: t.me/haskell_tg Физика: t.me/fizmat 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

✔️ Google анонсировали Genie 2 — крупномасштабную «foundation»-модель мира, способную на лету порождать интерактивные 3D-окружения. Ключевые моменты: 📌 Что такое Genie 2 Это автрорегрессивная латентно-диффузионная модель, обученная на огромном видеодатасете. Получив всего одно изображение-подсказку (например, кадр, сгенерированный Imagen 3), Genie 2 разворачивает целый виртуальный мир, в котором можно свободно перемещаться клавиатурой и мышью — как человеку, так и ИИ-агенту. Длительность консистентного эпизода достигает минуты. DeepMind Зачем она нужна Главный барьер в исследованиях «телесных» (embodied) агентов — ограниченный спектр тренировочных сред. Genie 2 снимает это ограничение: модель способна бесконечно генерировать новые ландшафты, объекты, физику и взаимодействия, создавая «безграничный учебник» для RL-агентов. В работе демонстрируется связка с SIMA — многоцелевым агентом DeepMind: тот получает языковые инструкции («открой синюю дверь») и действует внутри миров, созданных Genie 2. Такое сочетание позволяет быстро генерировать unseen-задачи для оценки или дообучения агентов. DeepMind Архитектура вкратце ✔️ Видео-кадр → автоэнкодер → латент. Большой трансформер предсказывает следующий латент, учитывая прошлые кадры и действие. Диффузионный декодер восстанавливает видимый кадр; classifier-free guidance повышает управление действием. После дистилляции возможен real-time рендер с умеренным падением качества. https://deepmind.google/discover/blog/genie-2-a-large-scale-foundation-world-model/ @data_analysis_ml

🔍 AgentOps — платформа для мониторинга AI-агентов. Проект предлагает готовые интеграции с популярными фреймворками вроде LangChain и AutoGen — достаточно добавить всего пару строк кода для подключения мониторинга. Интересный момент: система умеет отслеживать не только ошибки, но и затраты на LLM-запросы, что особенно актуально для продакшн-сред. 🤖 GitHub