Python RU

🖥 Разработка реального и продвинутого ИИ‑проекта на Python В этой статье мы рассмотрим разработку реального проекта машинного обучения на языке Python с использованием нейронных сетей. Будем строить модель для классификации изображений, подробно объясняя каждый шаг и весь исходный код. 📌 Читать подробнее @pro_python_code

🧠 Qwen3-MT — Alibaba продолжает жечь и выпускает еще одну модель, в этот раз для машинного перевода. 🌍 Поддерживает 92+ языка, на которых говорит 95% населения мира 📚 Обучен на триллионах токенов из интернета, открытых документов и книгах, субтитров из видео. 🔬 Что внутри: - Модель Qwen3-MoE-72B с архитектурой Mixture-of-Experts - Заточена на переводческие фишки, поддерживает сложную терминологию и даже очень редкие слова. - RLHF: обучение с подкреплением повышает точность и естественность модели Возможности: ✅ Обеспечивает качественный перевод в реальном времени ✅ Контроль стиля и терминов ✅ Масштабируемость для API и продакшена ✅ Цена — от $0.5 за миллион токенов 🟡 Попробовать демку: https://huggingface.co/spaces/Qwen/Qwen3-MT-Demo 🟡 ModelScope: https://modelscope.cn/studios/Qwen/Qwen3-MT-demo 🟡 Документация API: https://alibabacloud.com/help/en/model-studio/translation-abilities 🟡 Блог с подробностями: https://qwenlm.github.io/blog/qwen-mt/ @ai_machinelearning_big_data #Qwen #Alibaba #ml #llm #ai

🗣 FLOAT — новая open‑source модель для генерации говорящих портретов по аудио Быстрее и реалистичнее SadTalker: — Фотореалистичное видео с точной синхронизацией губ — Плавные движения головы и эмоции — Управление выражением лица и наклоном головы 💡 Основа — latent flow matching вместо диффузии: ⚡️ генерация быстрее, нет итераций, стабильные кадры 🌐page: https://deepbrainai-research.github.io/float/ 🧬code: https://github.com/deepbrainai-research/float 📄paper: https://arxiv.org/abs/2412.01064 🍊jupyter: https://github.com/camenduru/Float-jupyter

🎁 Дарим набор топовых книг для разработчиков — чтобы учиться, расти и прокачивать скиллы. Условия участия максимально простые: Быть подписанным на Диджитализируй 🔸 подписаться на MachineLearning 🔸 подписаться на t.me/pythonl Победители случайным образом получат одну из этих великолепных книг: — Паттерны разработки на Python — Оптимизация запросов в PostgreSQL — 40 алгоритмов, которые должен знать каждый программист на Python — Машинное обучение. Подготовка к сложному интервью — Скрипты и алгоритмы успеха | Гандапас Радислав Иванович — Путь инженера-программиста: развитие навыков для успешной карьеры — Математика для Data Science — Как быть успешным в Data Science. — Грокаем алгоритмы искусcтвенного интеллекта Итоги подведем 15 августа в 19:00 при помощи бота, который рандомно выберет победителя. Всем удачи ❤️

🎁 Дарим набор топовых книг для разработчиков — чтобы учиться, расти и прокачивать скиллы. Условия участия максимально простые: 🔸 подписаться на MachineLearning 🔸 подписаться на Диджитализируй Победители случайным образом получат одну из этих великолепных книг: — Паттерны разработки на Python — Оптимизация запросов в PostgreSQL — 40 алгоритмов, которые должен знать каждый программист на Python — Машинное обучение. Подготовка к сложному интервью — Скрипты и алгоритмы успеха | Гандапас Радислав Иванович — Путь инженера-программиста: развитие навыков для успешной карьеры — Математика для Data Science — Как быть успешным в Data Science. — Грокаем алгоритмы искусcтвенного интеллекта Итоги подведем 15 августа в 19:00 при помощи бота, который рандомно выберет победителя. Всем удачи ❤️

🎨 Встречайте Neta Lumina — самую продвинутую open-source модель для генерации аниме-артов! Это уже 4-я модель в линейке, и она впечатляет: 🔹 Точная настройка под 200+ аниме-стилей: от Guofeng и Furry до пейзажей и редких тем 🔹 Хорошая согласованность промптов, даже при длинных описаниях на естественном языке 🔹 Мультиязычная поддержка 🔥 Идеальный выбор для художников, аниматоров и фанатов генеративного арта. 🔹 Model on Hugging Face (Commercial use allowed):https://huggingface.co/neta-art/Neta-Lumina 🔹 Playground (Free to test):https://huggingface.co/spaces/neta-art/NetaLumina_T2I_Playground ⚙️ Supports ComfyUI, LoRA tutorial → https://docs.google.com/document/d/1fSp8wgraQeeaM58DVbnFoRULyyhPvt3MgY0Qja0Otc0/edit?tab=t.0 @data_analysis_ml

📝 DocuSeal — open‑source альтернатива DocuSign, которую можно развернуть у себя ⚡️ Что умеет: — WYSIWYG‑редактор PDF: подписи, даты, текстовые поля, вложения — Мультиподписанты, мобильная адаптация — Авторассылка писем, webhooks, API — Можно хостить у себя через Docker, без сторонних сервисов 🚀 Работает сразу после запуска:

docker run --name docuseal -p 3000:3000 -v .:/data docuseal/docuseal

👨‍💻 В комплекте: — UI‑компоненты под React, Vue, Angular — SDK под JS, Python, PHP, Ruby — Интеграции через iframe или embedding 🌐 GitHub (9.5k⭐): https://github.com/docusealco/docuseal

📦 Pydantic Extra Types — коллекция дополнительных типов данных для Pydantic, которые не вошли в основную библиотеку. Проект расширяет возможности валидации данных, предлагая специфические форматы и проверки. Типы подключаются как опциональные зависимости, позволяя выбирать только нужные компоненты. Например, можно добавить поддержку pendulum для работы с временными зонами. 🤖 GitHub @python_job_interview

😱 Как вернуть удалённый скрипт Рассмотрим ситуацию, когда случайно/специально удалился исполняющийся bash-скрипт. Чтобы не попадать в такие ситуации, всегда храните исходники в git — это избыточно, но бекапы никто не отменял. Скрипт удалён с диска, но продолжает работать в фоне, значит его можно как-нибудь восстановить. Создадим подопытный скрипт. touch /tmp/script.sh:

#!/bin/bash
sleep 1000
exit

Делаем его исполняемым chmod +x /tmp/script.sh и запускаем в фоне /tmp/script.sh &. Символ & может служить разделителем между командами command & command, две команды выполнятся параллельно. Скрипт запустили, он крутится в фоне. Удалим сам файл: rm -f /tmp/script.sh Ключ -f позволит удалить без лишних вопросов. Восстанавливаем:

lsof -c 'script.sh'

На экран выведется простыня. Нам нужна строка, где в конце указан путь к удаленному скрипту:

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
script.sh 261899 root 255r REG 8,1 51 130773 /tmp/script.sh

Берем PID = 261899, берем FD = 255 и делаем так:

cat /proc/261899/fd/255

А вот и исходник скрипта:

File: /proc/261899/fd/255
#!/bin/bash
sleep 1000
exit

Вот полезная инфа, которая была использована в гайде: man 5 proc # /proc/[pid]/fd/ man lsof

🐧 Продвинутый совет для Linux: как узнать, какой процесс держит файл, даже если он уже удалён Иногда файл удаляется (`rm`), но система продолжает занимать под него место. Почему? Потому что процесс всё ещё держит этот файл открытым, и диск не освобождается, пока он не завершится. 🔥 Найти такие случаи можно так:

lsof | grep deleted

📌 lsof покажет все файлы, которые открыты процессами. Если строка содержит (deleted) — это значит, что файл был удалён, но всё ещё используется. Пример вывода:

python3  12345 user  txt  REG  8,1  20480 123456 /tmp/log.txt (deleted)

→ Процесс с PID 12345 держит удалённый файл /tmp/log.txt. ✅ Что можно сделать: - Освободить диск — завершить процесс (`kill 12345`) - Или: очистить через /proc без остановки:

: > /proc/12345/fd/3

(только если вы точно знаете, какой дескриптор используется) ⚠️ Часто встречается при работе с логами, Docker-контейнерами и временными файлами. 📌 Используйте lsof | grep deleted как диагностику, если "всё удалили, но место не освободилось".

🐍 Совет дня для продвинутых Python-разработчиков Хочешь писать чище и безопаснее, когда работаешь с вложенными dict? Забудь про dict.get(...).get(...) и используй collections.ChainMap или types.SimpleNamespace — но ещё лучше: pydantic или dotmap. А вот компактный трюк на каждый день — безопасное извлечение с functools.reduce:

from functools import reduce

def deep_get(dictionary, keys, default=None):
    return reduce(lambda d, key: d.get(key, default) if isinstance(d, dict) else default, keys, dictionary)

data = {"user": {"profile": {"email": "test@example.com"}}}

email = deep_get(data, ["user", "profile", "email"])

📌 Почему это полезно: - Нет KeyError - Код читаемый - Масштабируемо для любых уровней вложенности 🔥 Применяй в проектах, где много данных с API или JSON — избавит от лишних try/except и защитит от неожиданных крашей. Python — это не только про лаконичность, но и про стабильность

🔥 БЕСПЛАТНЫЙ КУРС ПО СОЗДАНИЮ НЕЙРО-СОТРУДНИКОВ НА GPT И ДРУГИХ LLM 🔥 Ищете практический и углубленный курс, чтобы освоить создание нейро-сотрудников? Мы создали курс из 5 объемных занятий. Это именно то, что нужно, чтобы прокачать свои навыки абсолютно бесплатно! 📌 Темы занятий: 1. Введение в мир нейро-сотрудников 2. Как работают LLM и их аналоги 3. Создание базы знаний для нейро-сотрудника (RAG) 4. Тестирование и отладка нейро-сотрудников 5. Интеграция нейро-сотрудников в Production Вот 5 тем курса - он максимально простой и доступный, общеобразовательный, без какого-либо сложного программирования 📚Прохождение этого курса, скорее всего, займет у вас от 1 до 3 часов 🤖 Присоединяйтесь к нашему бесплатному курсу и разберитесь в этой увлекательной теме с нами!

✨ Google представили GenAI Processors — open-source библиотеку для создания AI-приложений в реальном времени GenAI Processors — это новый инструмент от команды Google DeepMind, разработанный для быстрой сборки потоковых и мультимодальных AI‑систем. Библиотека обеспечивает удобную работу с цепочками обработки данных, модульную архитектуру и поддержку стриминга. Основные возможности: — Потоковый ввод/вывод (stream-based I/O) — Простая сборка пайплайнов через chaining — Модульность и переиспользуемость (composability) — Поддержка Gemini и Gemini Live API — Асинхронная архитектура с минимальной задержкой 🔧 GenAI Processors позволяет разработчикам легко собирать голосовых агентов, мультимодальные интерфейсы и реактивные приложения на базе LLM. 🔗 GitHub: https://github.com/google-gemini/genai-processors 📖 Блог: https://developers.googleblog.com/en/genai-processors

🌟 HumanOmniV2: модель, которая понимает контекст видео. Alibaba Group разработали HumanOmniV2, модель на базе Qwen2.5-Omni-7B-thinker, которая получила навык осмысления визуального контекста за счет изменения самого процесса мышления модели. Ее научили следовать строгому формату: сначала описать контекст, потом рассуждать и только затем давать ответ. Теперь, прежде чем отвечать на вопрос, модель генерирует подробное описание сцены в теге <context>. На этом этапе она фиксирует, кто что делает, какой фон, какие звуки слышны. Только после этого в теге <think> она строит логическую цепочку рассуждений, связывая вопрос с собранным контекстом. И лишь в конце выдает результат в теге <answer> . Чтобы этот подход работал, его усилили системой вознаграждений на основе RL. За точность и правильный формат модель получает стандартные награды, но были введены и две новых: 🟢«Награда за контекст» дается, если его описание полное и релевантное, причем качество этого описания оценивает другая, более мощная LLM; 🟢«Логическая награда» проверяет, что в своих рассуждениях модель действительно использовала данные из видео и аудио, а не проигнорировала их. Для оценки HumanOmniV2 создали бенчмарк IntentBench (633 видео, 2689 вопросов) на основе Social-IQ 2.0, EMER и MDPE. Его фишка в том, что вопросы требуют одновременного анализа: видеоряда (жесты, микровыражения), диалогов (тон, смысл реплик) и социального контекста (ирония, обман, скрытые намерения). Тестовая модель обошла открытые аналоги на 3 бенчмарках: 🟠Daily-Omni: 58.47% (53.13% у MiniCPM-o 2.6); 🟠WorldSense: 47.1% (45.4% у Qwen2.5-Omni); 🟠IntentBench: 69.33% (64.20% у Qwen2.5-Omni). 📌Лицензирование: Apache 2.0 License. 🟡Модель 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #MMLM #HumanOmniV2 #Alibaba

⚡️ Microsoft обновила собственный бесплатный курс по генеративному ИИ В курсе видео, практика (код) и дополнительные материалы. Пргорамма курса состоит из изучения структуры и работы LLM, тонкостям промптинга, созданию собственного приложения для генерации изображений, функционалу RAG для LLM и принципам файнтюна. 📌 А здесь мы вылудили полный список бесплатных курсов. Для прохождения курса нужны: - учетная запись на Azure - доступ к api OpenAI Разумеется, все методики и манипуляции предлагается выполнять обучающимся в экосистеме Microsoft, на их мощностях и с использованием их сервисов. Бэкенд учебного приложения для генерации картинок - DALLE и Midjourney. Большие надежды строить относительно курса не стоит - экосисистема Microsoft требует отдельных компетенций, но в качестве базового структурированного курса для новичков - вполне подойдет. 🖥 Курс полностью выложен на Github: https://github.com/microsoft/generative-ai-for-beginners

📊 Лучшие базы данных — и где они уместны 1. PostgreSQL — универсальная реляционная БД → бизнес-приложения, аналитика, геоданные (PostGIS), JSON + SQL в одном 2. SQLite — встраиваемая БД без сервера → мобильные приложения, локальное хранение, CLI-инструменты, тесты 3. MySQL / MariaDB — быстрые SQL-БД для веба → сайты, CMS, WordPress, стартапы с LAMP-стеком 4. MongoDB — документо-ориентированная NoSQL → JSON‑подобные данные, прототипы, быстро меняющиеся схемы 5. Redis — in-memory key-value store → кеширование, очереди, счётчики, real-time метрики 6. ClickHouse — колоночная аналитическая БД → аналитика, лог-системы, BI‑дашборды, миллиарды строк — за миллисекунды 7. Neo4j — графовая БД → социальные графы, связи между сущностями, рекомендации 8. TimescaleDB — time-series над PostgreSQL → телеметрия, мониторинг, временные ряды, IoT 9. Cassandra — масштабируемая распределённая NoSQL → high-availability, терабайты данных, логика без JOIN-ов 10. DuckDB — аналитика в памяти, как SQLite для данных → локальный OLAP, ML‑воркфлоу, быстрые data pipelines #databases #backend #dev #sql #nosql

⚡️ Почему лучшие разработчики всегда на шаг впереди? Потому что они знают, где брать настоящие инсайд! Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе. ИИ: t.me/ai_machinelearning_big_data Python: t.me/pythonl Linux: t.me/linuxacademiya Мл собес t.me/machinelearning_interview C++ t.me/cpluspluc Docker: t.me/DevopsDocker Хакинг: t.me/linuxkalii МЛ: t.me/machinelearning_ru Devops: t.me/DevOPSitsec Data Science: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/java_library Базы данных: t.me/sqlhub Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Разработка игр: https://t.me/gamedev Физика: t.me/fizmat Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 📕Ит-книги: https://t.me/addlist/BkskQciUW_FhNjEy 💼ИТ-вакансии t.me/addlist/_zyy_jQ_QUsyM2Vi Подпишись, чтобы всегда знать, куда двигаться дальше!

💼 Готовый проект на Python: асинхронный сервис отслеживания цены акций Отслеживает цены акций в реальном времени, рассылает push-уведомления при достижении триггеров и предоставляет REST + WebSocket API для фронтенда. Почему проект ценен для портфолио - Показывает владение современным стеком: FastAPI + WebSockets + asyncio, PostgreSQL, Redis, Docker, CI/CD. - Демонстрирует продвинутые практики: типы (pydantic, mypy), тесты (pytest, pytest-asyncio), линтеры, GitHub Actions. - Подходит для live-демо: легко задеплоить на Render/Fly.io/Hetzner и показать работу в браузере. ➡️ Читать статью

Linux: как быстро найти, какие файлы занимают больше всего места в системе Когда df -h показывает, что диск забит, но ты не понимаешь, что именно съело память, вот команда, которая спасает. du -ahx / | sort -rh | head -n 20 -a — считает и файлы, и каталоги -h — human-readable (МБ, ГБ) -x — не переходит в другие файловые системы (важно для /proc, /mnt, tmpfs) sort -rh — сортировка от большего к меньшему head -n 20 — покажет только топ Она отлично работает, когда нужно: – найти огромный лог или зависший кэш – понять, где лежит более 100 Гигабайт – навести порядок перед бэкапом системы Для интерактивного анализа — можно подключить ncdu. Находим, какие файлы занимают больше всего места в системе

✅ Команда дня: Отказ от Docker в пользу Python wheel-файлов для запуска проектов В некоторых задачах требуется запускать Python-проекты без Docker-образов, чтобы напрямую обращаться к машине и драйверам GPU без дополнительных абстракций. В таком случае удобным решением становятся runnable-файлы — Python wheel, которые можно собрать с помощью Poetry и использовать в CI/CD. Основные этапы настройки: 1️⃣ В файле pyproject.toml настроить включение необходимых пакетов при сборке wheel:

[tool.poetry]
packages = [
    { include = "main_dir" },
]

2️⃣ Создать в GCP Artifact Registry приватный репозиторий для хранения wheel-файлов. 3️⃣ В poetry.toml указать репозиторий для публикации:

[repositories.my-registry]
url = "https://europe-west1-python.pkg.dev/my-project/my-registry/"

4️⃣ Для публикации wheel-файла выполнить:

rm -fr dist/  # Удаление старых сборок для предотвращения конфликтов
sed -I.back 's/^version = "[^"]*"/version = "1.0.post'"$(date +%Y%m%d%H%M)"'"/' pyproject.toml  # Динамическое обновление версии
poetry publish --build --repository my-registry

5️⃣ Настроить VM для доступа к Artifact Registry с помощью команды:

gcloud artifacts print-settings python --project=my-gcp-project --repository=my-registry --location=europe-west1

6️⃣ Установить wheel на VM и запустить приложение:

pip install my-project
python -m my_job  # Запуск проекта

Преимущества такого подхода: ♋️ Отсутствие зависимости от Docker ♋️ Возможность прямого взаимодействия с железом и драйверами GPU ♋️ Легкость обновления через CI/CD ♋️ Минимальная прослойка между приложением и системой ✅ Использование wheel-файлов — отличная альтернатива Docker для Python-проектов в задачах, где нужна высокая производительность и прямой доступ к системе. Библиотека питониста #буст