Python Community

🖥 10 GitHub-репозиториев для Парсинга Сохрани, если работаешь с парсингом, RAG, LLM-пайплайнами или автоматизацией браузера. Важно: использовать такие инструменты стоит только там, где у вас есть право собирать данные, с учётом ToS, robots.txt и лимитов сайта. 1. Firecrawl Превращает сайт в чистый Markdown или JSON, удобный для LLM и RAG. https://github.com/firecrawl/firecrawl 2. Crawl4AI Краулер, который делает страницы LLM-ready без лишней настройки. https://github.com/unclecode/crawl4ai 3. Browser Use AI-агент, который управляет браузером: клики, формы, навигация, сбор данных через UI. https://github.com/browser-use/browser-use 4. Crawlee Production-фреймворк для краулинга: очереди, ретраи, браузерная автоматизация, хранение результатов. https://github.com/apify/crawlee 5. Scrapy Классика Python-скрейпинга. Подходит для больших краулеров и стабильных data pipelines. https://github.com/scrapy/scrapy 6. MarkItDown Инструмент Microsoft для конвертации PDF, Office, HTML и других форматов в Markdown. https://github.com/microsoft/markitdown 7. Scrapling Фреймворк для более устойчивого парсинга страниц, которые часто меняют структуру. https://github.com/D4Vinci/Scrapling 8. scrcpy Управление Android-устройством с компьютера. Полезно для тестирования и автоматизации mobile-only сценариев. https://github.com/Genymobile/scrcpy 9. AutoScraper Показываете пример нужных данных, а он сам пытается найти похожие элементы на странице. https://github.com/alirezamika/autoscraper 10. curl-impersonate Версия curl, которая имитирует сетевой профиль популярных браузеров. Полезно для тестов и совместимости. https://github.com/lwthiker/curl-impersonate Современный scraping давно перерос requests + BeautifulSoup. Теперь это целая инфраструктура: браузерные агенты, Markdown для LLM, очереди, мобильная автоматизация и пайплайны для подготовки данных под AI. @Python_Community_ru

📌 Mistral AI представила OCR 4. Модель превращает документ в структуру: • выделяет блоки через bounding boxes • понимает типы элементов: заголовок, таблица, формула, подпись • показывает confidence score по страницам и словам • работает на 170 языках Главная польза не в «распознать текст», а в том, чтобы дальше нормально использовать документы в RAG, enterprise search, редактировании, проверке человеком и агентных пайплайнах. Mistral заявляет, что OCR 4 обошла конкурентов в слепом сравнении на 600+ реальных документах и набрала 85.20 на OlmOCRBench. Модель можно запускать self-hosted в одном контейнере, чтобы документы не покидали вашу инфраструктуру. Цена через API: $4 за 1000 страниц, через Batch API: $2 за 1000 страниц. https://mistral.ai/news/ocr-4/ @Python_Community_ru

Как создать аннотированный график с помощью #Python и matplotlib 🐍📊 @Python_Community_ru

Скажи мне 5 главных слов: на GitVerse появилось зеркало PyPI! 😎 Все нужные Python‑пакеты живут на российской платформе для разработчиков GitVerse — вы не потеряете доступ к ним, даже если основной PyPI решит «повиснуть». А ещё такое зеркало — плюс к скорости: меньше сетевых прыжков — быстрее загрузка. Ставьте его как основной источник или держите как резерв. Тут (https://gitverse.ru/docs/artifactory/registry-mirrors/pypi-mirror/?utm_source=telegram&utm_medium=fix&utm_campaign=gigacode_python_tg_seeding_post_2026_june&utm_term=pythonl&erid=2W5zFJPe21P) рассказали, как подключить зеркало! @Python_Community_ru

‍Pew Research опубликовали свежий отчёт «Americans and AI 2026». Только 16% американцев теперь ожидают, что ИИ принесёт пользу обществу в следующие 20 лет, а 40% считают, что ИИ навредит обществу за тот же период. 24% американцев используют чат-боты ежедневно: 12% - несколько раз в день, 4%, почти постоянно. 51% взрослых жителей США всё ещё вообще не пользуются ИИ-чат-ботами. 42% используют чат-боты для поиска информации, и это делает поиск главным сценарием применения. 38% работающих взрослых используют чат-боты для рабочих задач. 10% используют их для эмоциональной поддержки или советов, а 4% - для общения и чувства компании. ChatGPT доминирует по уровню использования: 44% взрослых американцев сообщили, что пользовались им. Дальше идут Gemini - 24%, Copilot — 17%, Meta AI — 14%, Grok — 8%, Claude — 6% и Character.ai — 3%. Взрослые младше 50 лет примерно в два раза чаще пользуются ChatGPT, чем люди старшего возраста: 57% против 28%. 30% говорят, что чат-боты помогают им с продуктивностью, и только 5% считают, что они ей вредят. 28% говорят, что чат-боты помогают им оставаться в курсе событий, и только 5% считают, что они мешают этому. 60% взрослых жителей США читают ИИ-сводки в поиске. Это значит, что ИИ уже влияет на потребление информации даже у тех, кто может активно не пользоваться чат-ботами. https://www.pewresearch.org/internet/2026/06/17/americans-and-ai-2026-chatbots-smart-devices-and-views-on-impact/ @Python_Community_ru

🏆 Итоги Первого Кубка нейроконтента в МосХаб.Сколково Вчера наше пространство превратилось в настоящую нейролабораторию. 150 дизайнеров, разработчиков, сценаристов и AI-специалистов собрались, чтобы за несколько часов создать вертикальные ролики с помощью нейросетей. Участники работали по четырём социально значимым кейсам: «Москва 2040: технологии для людей», «Технологическое будущее: страна инженеров», «Код жизни: медицина будущего» и «Москва — город заботы». Главный кубок второй год подряд завоевала команда «Кролики». Генеральный директор платформы «Россия — страна возможностей» (https://t.me/stranavozmojnostey)Андрей Бетин отметил: «Из 1300 заявок в финал вышли сильнейшие. Это подтверждает высокий уровень подготовки участников и их творческий потенциал». Кубок нейроконтента подтвердил: нейросети усиливают замысел человека, но не заменяют его. Настоящий прорыв — в тандеме живого творчества и цифровых технологий. МосХаб.Сколково — та самая точка, где такие проекты становятся реальностью. Фото с мероприятия — в альбоме (https://vk.com/album-236300510_311272663) Подписывайтесь: Telegram (https://t.me/hub_sk) | МАКС (https://max.ru/hub_sk) | ВКонтакте (https://vk.com/hub_sk) @Python_Community_ru

⚡️ Linux Roadmap: подробный практический курс от нуля до уверенного администратора Это пошаговый маршрут изучения Linux с упором на практику. Каждый раздел содержит объяснение «почему это устроено именно так», разбор команд и обязательные задания, которые нужно выполнить руками в терминале. Чтение без повторения навыка не даёт — держите терминал открытым рядом с этим текстом. Как работать с этим курсом: идите сверху вниз, не перепрыгивайте разделы; каждую команду набирайте руками, а не копируйте; в конце каждого блока выполняйте задание; специально ломайте систему в виртуалке и чините — это лучший способ учиться. https://github.com/justxor/linuxfullroadmap/ @Python_Community_ru

OpenMythos - open-source попытка теоретически реконструировать Claude Mythos, где все архитектурные ставки расписаны прямо в README. По сути, OpenMythos это публичная гипотеза, которая ещё и запускается. Что авторы считают основой Mythos? Не глубокий стек уникальных слоёв, а Recurrent-Depth Transformer. MoE с активацией около 5% параметров, поэтому общий размер модели скорее показывает объём хранения, а не реальную стоимость вычислений. Loop-index positional embedding, чтобы каждая итерация работала как отдельная вычислительная фаза. ACT halting, чтобы модель сама решала, когда ей достаточно “думать”, причём отдельно для каждого токена. И ещё continuous latent thoughts, которые могут кодировать сразу несколько следующих шагов. По смыслу это похоже на breadth-first search внутри одного forward pass. Источники идей тоже понятны: Parcae для стабильности, Universal Transformers для halting, DeepSeek для MoE routing. GitHub: http://github.com/kyegomez/OpenMythos @Python_Community_ru

🐍 Python Парсинг: Большой продвинутый бесплатный курс Полное практическое руководство по веб-скрейпингу на Python — от основ HTTP до production-grade пауков, обхода антибот-защит, асинхронности и проектирования надёжных пайплайнов. Каждый раздел содержит рабочие примеры, типовые ошибки и продвинутые практики. https://github.com/justxor/Pythonparsing-/tree/main @Python_Community_ru

GLM-5.2 (https://t.me/ai_machinelearning_big_data/10339)теперь можно запускать локально. 2-битная версия сохраняет около 82% точности после сжатия модели с 1,51 ТБ до 238 ГБ, то есть размер уменьшили на 84%. Запуск возможен на Mac с 256 ГБ памяти или на системах с достаточным объёмом RAM/VRAM. GLM-5.2 называют самой сильной открытой моделью на данный момент. Гайд: https://unsloth.ai/docs/models/glm-5.2 GGUF: https://huggingface.co/unsloth/GLM-5.2-GGUF @Python_Community_ru

Python иногда может выглядеть как тёмная магия. Вот однострочный quicksort через lambda: q = lambda x: x and q([i for i in x[1:] if i x[0]]) Что тут происходит: * берём первый элемент как pivot * всё, что меньше или равно ему, рекурсивно сортируем слева * сам pivot ставим в центр * всё, что больше, рекурсивно сортируем справа * если список пустой, возвращается пустой список Работает красиво, но в продакшен так писать не надо. Это скорее пример того, насколько гибким может быть Python, чем нормальный стиль кода. Минусы очевидные: плохая читаемость, рекурсия, лишние списки на каждом шаге и риск упереться в лимит рекурсии. Но как демонстрация идеи quicksort в одну строку — выглядит эффектно. @Python_Community_ru

Zero training needed, Image-to-LoRA(i2L) V2 уже вышел 🚀 Обновлённая версия i2L стала заметно мощнее: теперь она может превратить одно или несколько референсных изображений в style LoRA за один прямой проход, без отдельного обучения для кастомизации визуального стиля. 🌟 Что нового в V2: * Совместимость: работает с разными базовыми моделями, включая Z-Image, Klein-4B и Hidream-O1. * Скорость: прямое предсказание весов style LoRA без обучения. * Точность стиля: высокая верность переноса стиля без утечки семантики. * Контроль: явные веса открывают asymmetric CFG, смешивание стилей из нескольких референсов и управляемую генерацию. * Архитектура: image encoder, обучаемые LoRA queries и compressed decoding heads, которые генерируют адаптированные матрицы. 🤖 Коллекция моделей: https://modelscope.ai/collections/DiffSynth-Studio/Image-to-LoRA-V2 🎠 Studio: https://modelscope.ai/studios/DiffSynth-Studio/Z-Image-i2L-V2 📄 Paper: https://modelscope.ai/papers/2606.13809 @Python_Community_ru

SQLModel использует аннотации типов Python, чтобы объединить Pydantic и SQLAlchemy и уменьшить дублирование кода при работе с SQL-базами. * одна аннотация типа заменяет отдельные модели Pydantic и SQLAlchemy * хорошо совместим с FastAPI, Pydantic и SQLAlchemy * внутри работает на базе Pydantic и SQLAlchemy * разумные настройки по умолчанию уменьшают количество шаблонного кода https://github.com/fastapi/sqlmodel @Python_Community_ru

🔍 Обнаружение уязвимостей с помощью Audit Audit — это агент для поиска уязвимостей, использующий 8-ступенчатую методологию, основанную на взаимодействии узких агентов и принципе "умышленного несогласия". Он интегрируется с Claude Pro и предлагает структурированные отчеты о безопасности. 🚀 Основные моменты: - Многопоточность: узкие агенты работают параллельно для поиска уязвимостей. - Умышленное несогласие: второй агент проверяет выводы первого. - Отслеживание доступности: подтверждает, что уязвимости могут быть достигнуты злоумышленником. - Обратная связь: находит новые задачи на основе обнаруженных уязвимостей. 📌 GitHub: https://github.com/evilsocket/audit #python @Python_Community_ru

TerminalTextEffects - это Python-библиотека без внешних зависимостей для добавления анимированного текста прямо в терминал. Что умеет: - работает прямо в текущем терминале и не ломает привычный workflow - поддерживает Xterm 256 и RGB HEX-цвета - умеет сложное движение символов через кривые Безье и плавное ускорение - эффекты можно настраивать через типизированный config dataclass - CLI-аргументы генерируются автоматически из конфигурации https://github.com/ChrisBuilds/terminaltexteffects @Python_Community_ru

Nex-N2 - новое любопытное семейство агентных моделей. Что внутри: - Adaptive Thinking - модель сама подбирает глубину рассуждения на каждом шаге - экономия около 20% токенов без потери качества - Coherent Thinking - единый формат мышления для поиска, кодинга и tool use - меньше хрупких переключений между разными режимами работы По заявлению команды, Nex-N2 показывает уровень Tier-1 open-source моделей на SWE-bench, Terminal-Bench, GDPval и других бенчмарках, приближаясь к GPT-5.5 и Opus 4.7. Звучит мощно, но такие цифры стоит проверять независимыми прогонами. - Kimi-K2.6: 86% - 13 из 14 - MiniMax: 100% - 8 из 8 - GLM-5.1: 100% - 13 из 13 - DeepSeek-V4-Pro: 92% - 11 из 12 - Opus 4.7: 45% - 5 из 11 - GPT-5.5: 30% - 3 из 10 🔗 https://nex-agi.com 📦 https://huggingface.co/nex-agi/Nex-N2-Pro https://modelscope.cn/models/nex-agi/Nex-N2-Pro https://github.com/nex-agi/Nex-N2 @Python_Community_ru

🚀 GPU-библиотека для классического машинного обучения FlashLib предлагает высокопроизводительные реализации операторов машинного обучения, таких как kmeans, PCA и DBSCAN, с использованием Triton и CuteDSL. Библиотека позволяет эффективно обрабатывать данные на GPU, обеспечивая простоту использования и высокую скорость выполнения. 🚀Основные моменты: - Поддержка 15 высокоуровневых примитивов для машинного обучения. - Информативный API для оценки производительности операций. - Оптимизированные реализации для кластеризации, регрессии и декомпозиции. - Легкая интеграция с PyTorch и sklearn. 📌 GitHub: https://github.com/FlashML-org/flashlib #python @Python_Community_ru

✔️ Centaur - это платформа для совместного использования AI-агентов, интегрированных в Slack. Она позволяет командам взаимодействовать с агентами, которые выполняют задачи в изолированных средах Kubernetes, обеспечивая безопасность и гибкость. 🚀 Основные моменты: - Slack-агенты для выполнения задач и получения ответов. - Изолированные среды для безопасного выполнения команд. - Поддержка пользовательских инструментов и плагинов. - Долговременные рабочие процессы с возможностью восстановления. - Хранение состояния для повторного подключения без потери данных. 📌 GitHub: https://github.com/paradigmxyz/centaur #python @Python_Community_ru