Python RU

✨ Google представили GenAI Processors — open-source библиотеку для создания AI-приложений в реальном времени GenAI Processors — это новый инструмент от команды Google DeepMind, разработанный для быстрой сборки потоковых и мультимодальных AI‑систем. Библиотека обеспечивает удобную работу с цепочками обработки данных, модульную архитектуру и поддержку стриминга. Основные возможности: — Потоковый ввод/вывод (stream-based I/O) — Простая сборка пайплайнов через chaining — Модульность и переиспользуемость (composability) — Поддержка Gemini и Gemini Live API — Асинхронная архитектура с минимальной задержкой 🔧 GenAI Processors позволяет разработчикам легко собирать голосовых агентов, мультимодальные интерфейсы и реактивные приложения на базе LLM. 🔗 GitHub: https://github.com/google-gemini/genai-processors 📖 Блог: https://developers.googleblog.com/en/genai-processors

🌟 HumanOmniV2: модель, которая понимает контекст видео. Alibaba Group разработали HumanOmniV2, модель на базе Qwen2.5-Omni-7B-thinker, которая получила навык осмысления визуального контекста за счет изменения самого процесса мышления модели. Ее научили следовать строгому формату: сначала описать контекст, потом рассуждать и только затем давать ответ. Теперь, прежде чем отвечать на вопрос, модель генерирует подробное описание сцены в теге <context>. На этом этапе она фиксирует, кто что делает, какой фон, какие звуки слышны. Только после этого в теге <think> она строит логическую цепочку рассуждений, связывая вопрос с собранным контекстом. И лишь в конце выдает результат в теге <answer> . Чтобы этот подход работал, его усилили системой вознаграждений на основе RL. За точность и правильный формат модель получает стандартные награды, но были введены и две новых: 🟢«Награда за контекст» дается, если его описание полное и релевантное, причем качество этого описания оценивает другая, более мощная LLM; 🟢«Логическая награда» проверяет, что в своих рассуждениях модель действительно использовала данные из видео и аудио, а не проигнорировала их. Для оценки HumanOmniV2 создали бенчмарк IntentBench (633 видео, 2689 вопросов) на основе Social-IQ 2.0, EMER и MDPE. Его фишка в том, что вопросы требуют одновременного анализа: видеоряда (жесты, микровыражения), диалогов (тон, смысл реплик) и социального контекста (ирония, обман, скрытые намерения). Тестовая модель обошла открытые аналоги на 3 бенчмарках: 🟠Daily-Omni: 58.47% (53.13% у MiniCPM-o 2.6); 🟠WorldSense: 47.1% (45.4% у Qwen2.5-Omni); 🟠IntentBench: 69.33% (64.20% у Qwen2.5-Omni). 📌Лицензирование: Apache 2.0 License. 🟡Модель 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #MMLM #HumanOmniV2 #Alibaba

⚡️ Microsoft обновила собственный бесплатный курс по генеративному ИИ В курсе видео, практика (код) и дополнительные материалы. Пргорамма курса состоит из изучения структуры и работы LLM, тонкостям промптинга, созданию собственного приложения для генерации изображений, функционалу RAG для LLM и принципам файнтюна. 📌 А здесь мы вылудили полный список бесплатных курсов. Для прохождения курса нужны: - учетная запись на Azure - доступ к api OpenAI Разумеется, все методики и манипуляции предлагается выполнять обучающимся в экосистеме Microsoft, на их мощностях и с использованием их сервисов. Бэкенд учебного приложения для генерации картинок - DALLE и Midjourney. Большие надежды строить относительно курса не стоит - экосисистема Microsoft требует отдельных компетенций, но в качестве базового структурированного курса для новичков - вполне подойдет. 🖥 Курс полностью выложен на Github: https://github.com/microsoft/generative-ai-for-beginners

📊 Лучшие базы данных — и где они уместны 1. PostgreSQL — универсальная реляционная БД → бизнес-приложения, аналитика, геоданные (PostGIS), JSON + SQL в одном 2. SQLite — встраиваемая БД без сервера → мобильные приложения, локальное хранение, CLI-инструменты, тесты 3. MySQL / MariaDB — быстрые SQL-БД для веба → сайты, CMS, WordPress, стартапы с LAMP-стеком 4. MongoDB — документо-ориентированная NoSQL → JSON‑подобные данные, прототипы, быстро меняющиеся схемы 5. Redis — in-memory key-value store → кеширование, очереди, счётчики, real-time метрики 6. ClickHouse — колоночная аналитическая БД → аналитика, лог-системы, BI‑дашборды, миллиарды строк — за миллисекунды 7. Neo4j — графовая БД → социальные графы, связи между сущностями, рекомендации 8. TimescaleDB — time-series над PostgreSQL → телеметрия, мониторинг, временные ряды, IoT 9. Cassandra — масштабируемая распределённая NoSQL → high-availability, терабайты данных, логика без JOIN-ов 10. DuckDB — аналитика в памяти, как SQLite для данных → локальный OLAP, ML‑воркфлоу, быстрые data pipelines #databases #backend #dev #sql #nosql

⚡️ Почему лучшие разработчики всегда на шаг впереди? Потому что они знают, где брать настоящие инсайд! Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе. ИИ: t.me/ai_machinelearning_big_data Python: t.me/pythonl Linux: t.me/linuxacademiya Мл собес t.me/machinelearning_interview C++ t.me/cpluspluc Docker: t.me/DevopsDocker Хакинг: t.me/linuxkalii МЛ: t.me/machinelearning_ru Devops: t.me/DevOPSitsec Data Science: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/java_library Базы данных: t.me/sqlhub Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Разработка игр: https://t.me/gamedev Физика: t.me/fizmat Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 📕Ит-книги: https://t.me/addlist/BkskQciUW_FhNjEy 💼ИТ-вакансии t.me/addlist/_zyy_jQ_QUsyM2Vi Подпишись, чтобы всегда знать, куда двигаться дальше!

💼 Готовый проект на Python: асинхронный сервис отслеживания цены акций Отслеживает цены акций в реальном времени, рассылает push-уведомления при достижении триггеров и предоставляет REST + WebSocket API для фронтенда. Почему проект ценен для портфолио - Показывает владение современным стеком: FastAPI + WebSockets + asyncio, PostgreSQL, Redis, Docker, CI/CD. - Демонстрирует продвинутые практики: типы (pydantic, mypy), тесты (pytest, pytest-asyncio), линтеры, GitHub Actions. - Подходит для live-демо: легко задеплоить на Render/Fly.io/Hetzner и показать работу в браузере. ➡️ Читать статью

Linux: как быстро найти, какие файлы занимают больше всего места в системе Когда df -h показывает, что диск забит, но ты не понимаешь, что именно съело память, вот команда, которая спасает. du -ahx / | sort -rh | head -n 20 -a — считает и файлы, и каталоги -h — human-readable (МБ, ГБ) -x — не переходит в другие файловые системы (важно для /proc, /mnt, tmpfs) sort -rh — сортировка от большего к меньшему head -n 20 — покажет только топ Она отлично работает, когда нужно: – найти огромный лог или зависший кэш – понять, где лежит более 100 Гигабайт – навести порядок перед бэкапом системы Для интерактивного анализа — можно подключить ncdu. Находим, какие файлы занимают больше всего места в системе

✅ Команда дня: Отказ от Docker в пользу Python wheel-файлов для запуска проектов В некоторых задачах требуется запускать Python-проекты без Docker-образов, чтобы напрямую обращаться к машине и драйверам GPU без дополнительных абстракций. В таком случае удобным решением становятся runnable-файлы — Python wheel, которые можно собрать с помощью Poetry и использовать в CI/CD. Основные этапы настройки: 1️⃣ В файле pyproject.toml настроить включение необходимых пакетов при сборке wheel:

[tool.poetry]
packages = [
    { include = "main_dir" },
]

2️⃣ Создать в GCP Artifact Registry приватный репозиторий для хранения wheel-файлов. 3️⃣ В poetry.toml указать репозиторий для публикации:

[repositories.my-registry]
url = "https://europe-west1-python.pkg.dev/my-project/my-registry/"

4️⃣ Для публикации wheel-файла выполнить:

rm -fr dist/  # Удаление старых сборок для предотвращения конфликтов
sed -I.back 's/^version = "[^"]*"/version = "1.0.post'"$(date +%Y%m%d%H%M)"'"/' pyproject.toml  # Динамическое обновление версии
poetry publish --build --repository my-registry

5️⃣ Настроить VM для доступа к Artifact Registry с помощью команды:

gcloud artifacts print-settings python --project=my-gcp-project --repository=my-registry --location=europe-west1

6️⃣ Установить wheel на VM и запустить приложение:

pip install my-project
python -m my_job  # Запуск проекта

Преимущества такого подхода: ♋️ Отсутствие зависимости от Docker ♋️ Возможность прямого взаимодействия с железом и драйверами GPU ♋️ Легкость обновления через CI/CD ♋️ Минимальная прослойка между приложением и системой ✅ Использование wheel-файлов — отличная альтернатива Docker для Python-проектов в задачах, где нужна высокая производительность и прямой доступ к системе. Библиотека питониста #буст

🔟 Open‑source Deep Research Assistants 🤖 Глубокие исследовательские агенты — не просто чат‑боты, а полноценные ИИ‑ассистенты, способные искать информацию, взаимодействовать с инструментами, планировать и писать отчёты. Ниже — 10 мощных open‑source проектов, которые уже можно протестировать: 1. DeerFlow — модульная система от Bytedance: DeerFlow — open‑source фреймворк от Bytedance для создания модульных LLM-агентов. Поддерживает: - планирование действий, - анализ кода, - генерацию отчётов (включая Text-to-Speech), - адаптивную интеграцию инструментов. Создан для исследований, автоматизации и построения сложных агентных пайплайнов. https://github.com/bytedance/deer-flow 2. Alita — самообучающийся агент с поддержкой Model Context Protocols (MCP), всё в одном модуле. Alita — агент, который сам придумывает, как ему расширить себя, не полагаясь на заранее написанные сценарии, и уже демонстрирует топовые результаты на сложных тестах. https://github.com/CharlesQ9/Alita 3. WebThinker — автономный веб‑поиск с логикой "думай‑ищи‑пиши", RL‑обучением и глубокой навигацией https://github.com/RUC-NLPIR/WebThinker 4. SimpleDeepSearcher — это лёгкий, но эффективный open‑source фреймворк от RUCAIBox, предназначенный для автономного веб-поиска через импровизированные многотуровые сессии: - Использует Supervised Fine‑Tuning (SFT) вместо сложного RL, что значительно упрощает обучение и снижает вычислительные затраты - Генерирует реалистичные траектории поиска и рассуждений, симулируя поведение пользователя в живом поисковом окружении . - Критически отбирает данные по нескольким критериям качества: разнообразие запросов, сложность, структура ответов 5. AgenticSeek — приватный on‑device ассистент с выбором эксперта под задачу и голосовым управлением https://github.com/Fosowl/agenticSeek 6. Suna — универсальный ассистент: браузер, CLI, работа с файлами, API, деплой https://github.com/kortix-ai/suna 7. DeepResearcher — это комплексный open-source фреймворк от GAIR‑NLP, предназначенный для обучения LLM‑агентов, способных проводить глубокие исследования в автономном режиме, взаимодействуя с вебом. Использует несколько агентов‑браузеров, которые совместно исследуют веб и обрабатывают информацию https://github.com/GAIR-NLP/DeepResearcher 8. Search‑R1 — агент на PPO/GRPO с поддержкой LLaMA3, Qwen2.5 и кастомных поисковиков. Агент учится эффективному циклу «думай — ищи — думай — отвечай» через RL, достигая важных улучшений в точности ответов и эффективности поиска. https://github.com/PeterGriffinJin/Search-R1 9. ReCall — это фреймворк на основе RL, который учит LLM "должным образом" вызывать и комбинировать инструменты, используя сгенерированные задачи, без необходимости вручную собирать примеры вызовов — и всё это в открытом доступе. https://github.com/Agent-RL/ReCall 10. OWL — мультиагентная система на CAMEL‑AI для динамического взаимодействия между агентами https://github.com/camel-ai/owl Агенты умеют планировать, взаимодействовать с браузером, запускать скрипты, интегрироваться с API и работать автономно. Всё проекты — с открытым кодом. Можно изучить, собрать и доработать под свои задачи. @ai_machinelearning_big_data #ml #rl #aiagents #ai #agents

Python — это фундамент, на котором можно построить карьеру в аналитике данных. Современные компании все чаще ищут специалистов, способных не просто писать код, но и извлекать из данных полезные для бизнеса инсайты. И если вы уже владеете Python, у вас есть серьезная фора перед другими кандидатами. 3 июля в 19:00 (мск) Анастасия Зеленова, team lead аналитики в Raiffeisen CIB, расскажет, кто такие аналитики и какие навыки и инструменты необходимы для работы, а также покажет повседневные задачи аналитика на реальных примерах. Присоединяйтесь к бесплатному онлайн-вебинару: https://clc.to/erid_2W5zFHg41K6  Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFHg41K6

🌟 Собрал для вас БЕСПЛАТНЫЕ аналоги популярных нейросетей, которые значительно облегчат вашу работу • Ideogram (MidJourney) — генератор изображений с огромным количеством настроек. • Pikalabs (Runway) — инструмент для создания и редактирования видео с помощью ИИ • Gamma (Power Point) — платформа для создания презентаций с ИИ-поддержкой. • N&N (Zapier) — автоматизация задач с использованием ИИ. • Krita (Photoshop) — бесплатный редактор изображений с функциями ИИ. • Gemini (ChatGPT) — мультимодальная нейросеть от Google для генерации текста, изображений и кода. freecourses

Wondera AI ии, который генерирует полноценные треки за минуту и заметно обходит конкурентов по качеству. Вы можете создавать, редактировать и выпускать музыку бесплатно, а нейронка подскажет, как лучше составить промт для трека. Пользуемся тут.

🧬 Genesys: Language Modeling by Language Models Проект от Allen Institute — Genesys (Genetic Discovery System) — это распределённая эволюционная система, в которой сами языковые модели (LLM) создают и улучшают другие языковые модели. 🛠 Что делает Genesys: • Автоматизирует весь цикл: от генерации идеи до реализации, проверки, обучения и оценки новых моделей • Использует LLM-агентов в роли исследователей и архитекторов • Работает как распределённая система, способная параллельно развивать десятки направлений • Имеет визуальный интерфейс, где можно наблюдать за эволюцией моделей и сравнивать результаты 🌐 Демо-доступ: Доступен онлайн на сайте genesys.allen.ai (первая сборка может загружаться медленно) 📊 Основные разделы интерфейса: • Evolution Statistics — статистика и ход эволюции • Design Viewer — галерея сгенерированных архитектур (можно скачивать) • Design Leaderboard — лидерборд лучших дизайнов по метрикам 🎥 Есть короткое видео-демо, где показаны функции и логика системы 📄 Исходный код и исследовательская статья опубликованы на GitHub и в открытом доступе 🧠 Genesys — это шаг к будущему, где языковые модели смогут исследовать и разрабатывать сами себя 💻 Попробовать: https://genesys.allen.ai 📝 Код https://github.com/allenai/genesys ✍️ Статья: https://arxiv.org/abs/2506.20249

🧠 Сложная и интересная задача для Python-инженеров: "Запусти чужой Python-код... но так, чтобы он не сломал твой сервер" Представь, ты разрабатываешь платформу, где пользователи могут запускать произвольные Python-скрипты: например, в формате онлайн-компилятора, песочницы для тестов, или генератора графиков. 📌 Условия задачи: Ты должен написать систему, которая: • Принимает произвольный Python-код от пользователя • Выполняет его безопасно и изолированно • Ограничивает время выполнения до 2 секунд • Ограничивает память до 128 MB • Блокирует доступ к файловой системе, сети, subprocess, fork • Возвращает stdout, stderr и статус выполнения 🛡️ Безопасность — ключ: • Скрипт может попытаться сделать os.remove('/'), import socket, while True: и т.п. • Ваша система не должна пострадать. Даже если кто-то пошлёт fork-бомбу или запросит весь RAM. 📦 Технические ограничения: • Решение должно быть на Python • Можно использовать Docker, podman, или Firecracker — но обоснуй выбор • Стандартная библиотека разрешена, но доступ к os, sys.modules, inspect, eval, __import__ — должен быть отключён или переопределён • Никаких внешних HTTP-запросов, файловых сокетов или pip install 🔧 Что ожидается: 1. Функция запуска:

result = run_code_safely(code="print(2 + 2)")
# result = { "stdout": "4\n", "stderr": "", "exit_code": 0, "status": "ok" }

Изоляция среды: • Вариант 1: через запуск контейнера с ограничениями (docker run --rm --net=none --memory=128m) • Вариант 2: через Firejail / chroot / seccomp / AppArmor профили • Вариант 3: через интерпретатор Python внутри subprocess с ограничениями через resource, signal, ast и multiprocessing.Process Блокировка опасных импортов и функций: • Запретить import os, import subprocess, import, eval, exec, open, globals() • Пример: AST-парсер удаляет запрещённые ноды до запуска Обработка ошибок и ограничений: • TimeoutExceededError — если код работает > 2 сек • MemoryLimitError — если процесс превысил лимит • SecurityViolation — при попытке запрещённого импорта или доступа Опционально — FastAPI API:

POST /run
{
  "code": "for i in range(10): print(i)"
}

→ Ответ:

{
  "stdout": "0\n1\n2\n...\n",
  "stderr": "",
  "status": "ok",
  "time": 0.032
}

🎯 Цель: Собрать систему, которая запускает потенциально опасный код от незнакомцев — и не падает, не зависает, не открывает доступ к хосту. 🤯 Challenge: • Как отследить попытку from os import system? • Что делать с __import__('os').system('ls')? • Как гарантировать остановку при while True: pass? • Как контролировать память на уровне Python? ✅ Если решишь — ты разберёшься с: • AST-парсингом и безопасностью исполнения Python • Управлением ресурсами (CPU, RAM, время) на уровне ОС • Изоляцией через контейнеры и sandbox-окружения • Построением безопасных API и интерпретаторов

✔️ OpenAI выложили в открытый доступ Customer Service Agent Demo Теперь у всех есть пример, как сделать продакшн-агентов с маршрутизацией, безопасностью и интерфейсом — от запроса до ответа. Что это такое: • Многоагентная система для поддержки клиентов (например: бронирование мест, отмена рейса, статус рейса, FAQ) • Демка написана на Python + Next.js • Использует OpenAI Agents SDK • Встроены guardrails: защита от неуместных запросов и попыток обхода правил • UI: внутри готовый интерфейс чат-бота Как работает: 1. Пользователь пишет запрос 2. Система выбирает подходящего агента (например, `SeatBooking`) 3. Агент отвечает или передаёт диалог другому 4. Есть fallback на человека, если нужно Как запустить:

# Backend
cd python-backend
python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
uvicorn api:app --reload --port 8000

# Frontend
cd ui
npm install
npm run dev

Далее открываем: http://localhost:3000 Особенности • MIT-лицензия — можно адаптировать под свои задачи • Удобно расширять: добавлять новых агентов, инструменты, правила • Простой код, всё задокументировано • Рабочий кейс от OpenAI 🔗 GitHub: github.com/openai/openai-cs-agents-demo Если вы хотите собрать систему из агентов — это отличная точка старта. @ai_machinelearning_big_data #chatgpt #openai #aiagents #ai

🧠 BREAKING: MIT опубликовал первое исследование мозга пользователей ChatGPT Результаты звучат тревожно: > 🧪 У пользователей наблюдаются измеримые изменения в мозге > 🤖 Формируется зависимость от ИИ > 📉 Способность к самостоятельному мышлению снижается > 📝 83.3% участников не смогли вспомнить эссе, которое «написали» с помощью ChatGPT > 🧠 Количество активных нейронных связей упало с 79 до 42 MIT буквально фиксирует "мягкую когнитивную атрофию" после регулярного использования LLM. 💬 Мы — не просто наблюдатели ИИ-революции. Мы её подопытные. 🤔 Вопрос не в том, заменит ли ИИ человека. А в том, кем мы станем, если полностью передадим ему мыслительные функции. 📌 Почитать

🖥 Наконец-то нормальный канал по Python! PytStart – для каждого питониста! 🔸 Полезные статьи 🔸 Лайфхаки и советы 🔸 Разбор кода и практические задания Присоединяйся и начни свой путь в Python уже сегодня: @pytstart

📚 ArXiv Research Agent — отличный помощник для научных исследований. Агент самостоятельно: • Найдёт релевантные статьи с arXiv, bioRxiv, medRxiv и Semantic Scholar • Проведёт полноценный литературный обзор • Покажет, что упущено, и предложит, что добавить • Даст инсайты и цитаты из миллионов научных работ • Генерирует готовые конспекты И др. Вскоре обещают добавить поддержку MCP. 🔜 Попробовать: https://www.alphaxiv.org/assistant @ai_machinelearning_big_data #agent #ArXiv #ai #ml