Python Community

👩‍💻 MegaParse (https://github.com/QuivrHQ/MegaParse) — высокопроизводительный парсер, который способен преобразовывать всевозможные типы документов (Word документы, PDF-файлы или даже презентации PowerPoint)! 🌟 Его основная цель — преобразовывать информацию из документов в текст для LLM, при этом минимизируя различные потери данных. 🔐 Лицензия: Apache-2.0 🖥 Github (https://github.com/QuivrHQ/MegaParse) @Python_Community_ru

📘 Потерянная глава Automate the Boring Stuff Автор культовой книги выложил бесплатно новую главу книги (https://inventwithpython.com/blog/lost-av-chapter.html), которая не попала в издание — про автоматизацию работы с аудио и видео. 🎧 Что внутри: — Конвертация и обрезка видео с помощью moviepy — Преобразование аудио в текст через SpeechRecognition — Извлечение субтитров — Автоматизация задач с файлами .mp3, .wav, .mp4 и .avi 🛠 Глава написана в привычном стиле — просто, на примерах, с пояснениями к коду. Идеально подойдёт для тех, кто хочет быстро научиться обрабатывать медиафайлы на Python без сложных фреймворков. 📎 Читать (https://inventwithpython.com/blog/lost-av-chapter.html) @Pythonl @Python_Community_ru

💡 STUMPY — библиотека для анализа временных рядов. Этот проект предлагает мощный инструмент для работы с временными последовательностями через вычисление matrix profile — специальной метрики, которая автоматически находит схожие паттерны в данных. Инструмент поддерживает распределённые вычисления через Dask и GPU-ускорение через Numba. Технология особенно полезна для обнаружения аномалий, повторяющихся фрагментов и семантической сегментации. Библиотека одинаково хорошо работает как на небольших наборах данных, так и на временных рядах длиной в миллионы точек. 🤖 GitHub (https://github.com/stumpy-dev/stumpy) @Python_Community_ru

🐍 Хитрый совет по Python: как ускорить in в 1000 раз Когда ты проверяешь, есть ли элемент в списке, Python делает это медленно — он пробегает по списку полностью. А если ты проверяешь элемент в множестве (set), это работает в сотни раз быстрее. 📌 Пример: data = [1, 2, 3, ..., 1000000] # большой список queries = [42, 9999, 123456] # Медленно: for q in queries: if q in data: print(q) 🔁 Каждый q in data проходит весь список → медленно. ✅ Правильный способ: Преобразуй список в set один раз — и все станет быстро: data_set = set(data) for q in queries: if q in data_set: print(q) 💡 Проверка in в set работает мгновенно (как в словаре). Такой трюк особенно полезен, если: -у тебя много данных -ты делаешь много проверок на вхождение 📌 Запомни: if x in список: — медленно Лучше: if x in set(список): — быстро! @Python_Community_ru

🐍 Микросервисные архитектуры — как ретраи влияют на отказоустойчивость микросервисов Ретраи, или повторные запросы, — важный механизм обеспечения отказоустойчивости распределенных систем. Необходимо быть в курсе последних изменений и понимать, как ретраи эволюционировали в электронике, программировании и Java-экосистеме. Об этом подробно расскажет техлид Т-Банка Дмитрий Фролов на конференции JVM Day 30 августа в Москве. На лендинге заявлены спикеры из разных компаний, которые разберут темы по Java, Scala и Backend. Мероприятие пройдет в штаб-квартире Т-Банка, а половину собранных средств организаторы хотят перечислить региональным техническим вузам, чтобы помочь с развитием ИТ-сферы и подготовкой квалифицированных специалистов в разных городах страны. После докладов гостей ждут настолки с лото, афтепати и нетворкинг. Чтобы принять участие в JVM Day необходимо заранее пройти регистрацию (https://meetup.tbank.ru/conference/jvm-day/). @Python_Community_ru

📊 OpenBB (https://github.com/OpenBB-finance/OpenBB#) — это платформа для инвестиционных исследований, предоставляющая доступ к акциям, опционам, криптовалютам, форексу и макроэкономическим данным. Платформа ориентирована на пользователей всех уровней и включает в себя как командную строку, так и графический интерфейс. 🌟 OpenBB предлагает бесплатный и открытый доступ к аналитическим инструментам и может быть расширен через различные плагины. Проект также поддерживает автоматизацию процессов и интеграцию с внешними сервисами 🔥 Инструмент является бесплатным аналогом Bloomberg terminal (подписка на который стоит $20 тыс. в год!) 👩‍💻 Язык: Python 🔐 Лицензия: GNU ▪ Github (https://github.com/OpenBB-finance/OpenBB#) @Python_Community_ru

🛠 Вышел новый генератор CAD‑моделей по чертежам — и он реально работает! GenCAD умеет превращать чертежи в 3D‑модели и сразу генерирует параметрический CAD‑код. Для сложных и детализированных объектов он пока не подойдет, но с простыми деталями вроде винтиков и креплений справляется отлично. 📎 Идеально для быстрого прототипирования стандартных элементов. 📄 Paper: https://openreview.net/pdf?id=e817c1wEZ6 🔗 Website: https://gencad.github.io 💻 Code: https://github.com/ferdous-alam/GenCAD @Python_Community_ru

📊 Python for Nonprofits — книга и код для анализа данных в НКО Это полноценное учебное пособие по Python, заточенное под нужды некоммерческих организаций. Автор — Kenneth Burchfiel — собрал в одном репозитории и книгу, и рабочие блокноты для реального анализа данных. ▪ Импорт и очистка данных (CSV, API, Google Sheets) ▪ Описательная статистика, линейные регрессии ▪ Визуализация: графики, интерактивные карты (Plotly, Folium) ▪ Dash-приложения и публикация дашбордов ▪ Всё оформлено как Jupyter-книга: можно читать, запускать, менять Кому подойдёт: – начинающим дата-аналитикам, которые хотят делать полезные проекты – НКО, работающим с открытыми данными и отчётами – преподавателям, ищущим учебный курс по Python с практикой 💡 Можно читать онлайн или скачать как книгу. Лицензия MIT — можно использовать где угодно. 📘 Подробнее и исходники: https://github.com/kburchfiel/pfn @Python_Community_ru

🖥 Полезный, но редко используемый приём: динамическое управление множеством контекст-менеджеров через `contextlib.ExitStack` Если вам нужно открыть *N* файлов, захватить *M* блокировок или временно изменить кучу настроек, а их количество известно только во время выполнения, традиционный with … as …: не подойдёт. Вместо «пирамиды» вложенных with воспользуйтесь ExitStack: from contextlib import ExitStack filenames = ["a.log", "b.log", "c.log"] with ExitStack() as stack: files = [stack.enter_context(open(name)) for name in filenames] # теперь у вас список открытых файлов, с которыми можно работать for f in files: print(f.readline()) # здесь ExitStack автоматически закроет все файлы, даже если их было 1000 Почему это круто - Управляет произвольным числом контекстов: добавляете их в цикл, условно, через функции-фабрики. - Гарантирует корректный rollback при исключениях: всё, что добавлено в ExitStack, будет закрыто в обратном порядке. - Упрощает сложную инициализацию: можно динамически «подключать» то, что нужно именно сейчас (файлы, блокировки, сетевые соединения). 🔧 Где пригодится - Пакетная обработка файлов и архивов. - Тестовые стенды с кучей временных ресурсов. - Плагины, которые могут регистрировать собственные контекст-менеджеры. Теперь никакого «каскада из with» — один аккуратный ExitStack. @Python_Community_ru

🐍 Продвинутый Python‑совет дня 💡 Используй слоты (`__slots__`) для оптимизации классов, когда тебе нужно много однотипных объектов. По умолчанию Python хранит атрибуты объектов в словаре (`__dict__`), что удобно, но неэффективно по памяти. Если ты точно знаешь, какие поля будут у объекта — зафиксируй их: class Point: slots = ("x", "y") # только эти атрибуты допустимы def __init__(self, x, y): self.x = x self.y = y``` 📈 Выгода: - Уменьшает использование памяти до 30–50% для миллионов объектов - Ускоряет доступ к полям (нет __dict__) - Запрещает создание произвольных новых атрибутов (меньше багов) 🧠 Подходит: - Для численных расчётов (вместо namedtuple) - При генерации большого количества однотипных объектов - В data-heavy структурах (например, парсеры, AST, графы и т.п.) Python — динамичный язык, но когда знаешь структуру данных заранее, slots дают тебе контроль и производительность. 👉 Видео (https://youtube.com/shorts/jB9QAes8OLk?feature=share) @Python_Community_ru

🐍 20 ещё более продвинутых однострочников на Python — часть 3 Если ты уже пишешь на Python профессионально, вот ещё приёмы, которые реально экономят строки и читаются на лету: 1. 🗃️ Группировка по ключу без pandas groups = defaultdict(list); [groups[k].append(v) for k, v in data] 2. 🪄 Быстрое глубокое копирование объекта copy = pickle.loads(pickle.dumps(obj, -1)) 3. 📤 Отправка JSON через POST r = requests.post(url, json=payload) 4. 📌 Проверка, что файл — это символическая ссылка is_symlink = Path(p).is_symlink() 5. 🧩 Быстрое объединение нескольких словарей merged = {**d1, **d2, **d3} 6. 🧪 Проверить, что список отсортирован is_sorted = all(a @Python_Community_ru

‍🚀 Быстрый HTTP‑сервер на базе asyncio.Protocol В этом гайде показано как создать минималистичный HTTP‑сервер на Python, используя низкоуровневый API asyncio.Protocol, что делает его быстрее и гибче, чем решения на основе asyncio.Streams или фреймворков типа FastAPI. Основные пункты: 1. Сокет-обработчик (`ConnectionHandler`) - Наследуется от asyncio.Protocol — реакции на события connection_made, data_received, connection_lost. - Хранит буфер, транспорт и маппинг маршрутов. 2. Парсинг HTTP-запросов - В data_received накапливаются байты. - Запрос считается полным при обнаружении \r\n\r\n. - Затем из заголовков извлекаются method, path, другие поля. 3. Маршрутизация через декоратор - Класс HTTPServer собирает функции-обработчики для путей. - Обработчик вызывает либо корутины, либо возвращает статический HTML. 4. Отправка ответа - Используется asyncio.create_task внутри колбэка, чтобы запустить send_response — где формируется ответ с HTTP-кодом, заголовками и телом. - После write() соединение закрывается. 5. Простой запуск сервера - Через loop.create_server() создаётся экземпляр ConnectionHandler. - serve_forever() запускает обработку соединений. 6. Высокая производительность Сервер обрабатывает ~100 000 запросов за ~4.2 с при нагрузке 100 одновременных соединений, в то время как FastAPI справляется за ~32 с :contentReference[oaicite:1]{index=1}. Зачем это полезно: - Полный контроль над TCP-соединениями и буферами. - Существенно выше скорость при простых HTTP-API. - Отличная демонстрация возможностей, которые остаются скрытыми за высокоуровневыми фреймворками. Поддержка сообщества: На Reddit статья получила высокую оценку как "отличный материал по Asyncio Protocols" https://jacobpadilla.com/articles/asyncio-protocols @Python_Community_ru

Inside ML: индустриальные секреты машинного обучения Онлайн-магистратура «Искусственный интеллект» от Вышки запускает мини-курс, где разберём, как ML работает в индустрии: от Computer Vision и AutoML до LLM и мультиагентных систем. Что вас ждёт: — 5 вебинаров от практиков из Avito, Сбера, Ozon — Кейсы: как выигрывают Kaggle AutoML Grand Prix, запускают CV-системы и внедряют LLM в бизнес — Q&A с экспертами: можно спросить о задачах и карьерном треке в ML Для кого: — IT-специалистам, которые хотят перейти в ML или усилить свою экспертизу — Тем, кто хочет понять, что востребовано сейчас на рынке — Тем, кто планирует сделать шаг в сторону applied ML или сменить специализацию внутри IT Когда: до 15 июля, 19:00 (по МСК) 🔗 Зарегистрироваться (https://www.hse.ru/ma/mlds/announcements/1058591008.html?utm_source=telegram&utm_medium=ads&utm_campaign=ai_insideml) @Python_Community_ru

⚙️ Подменяй любые импорты в Python “на лету” — без изменения кода Если ты хочешь протестировать модуль, подменить зависимость, замокать внешний сервис или обмануть импорт — не обязательно редактировать исходники. Python позволяет перехватывать импорты прямо во время выполнения, через sys.modules. Вот минимальный приём, который делает это прозрачно: import sys import types # Создаём фейковый модуль fake = types.SimpleNamespace() fake.get_data = lambda: "подмена работает" # Подменяем импорт sys.modules['external_service'] = fake # Теперь даже import будет работать import external_service print(external_service.get_data()) # → "подмена работает" @Python_Community_ru

🌟 Odigos — распределенный трейсинг без модификации кода. Этот open-source проект меняет правила игры в observability-инструментах. Инструмент умеет автоматически генерировать распределенные трейсы для приложений на Java, Python, .NET, Node.js и Go без необходимости правки исходного кода. Под капотом используется eBPF для низкоуровневой инструментации, что особенно ценно для скомпилированных языков вроде Go. Трейсы сразу экспортируются в формате OpenTelemetry, что позволяет интегрироваться с любыми совместимыми системами мониторинга. 🤖 GitHub (https://github.com/odigos-io/odigos) @Python_Community_ru

🙌🙌🙌🙌 25+ документов для тех, кто в диджитал В преддверии новой активности мы собрали в одну папку 29 Telegram-каналов известных профессионалов и попросили их авторов подготовить для вас документы, которые помогут: 🔴Правильно писать запросы нейросетям; 🔴Промпты для прокачки карьеры в IT; 🔴20 игровых механик, которые повысят LTV вашего продукта; 🔴Чек-лист SEO-требований к релизу нового сайта; 🔴UX-аудит сайта своими руками; 🔴и еще много много всего! ❗️ Сохранив единожды папку «Документы для тех, кто в диджитал», вы сможете спокойно пройтись по всем каналам и скачать множество авторских документов, которые точно пригодятся в работе. Также они проводят розыгрыш с топовыми призами: 🥇Главный приз — MacBook Air (M2) 🥈2 место: Яндекс Станция Лайт 2 🥉3 место: Наушники HUAWEI Freebuds 5i Как участвовать: 1. Подпишись на папку: https://t.me/addlist/Qu1lhSIaUZVjZTFi 2. Подтверди участие в боте До встречи 27 июля – дата подведения итогов!

🧠 Как превратить любой Python-объект в читаемый словарь — даже если это класс с кучей вложенных полей Когда работаешь с API, логами или дебажишь сложные объекты — хочется увидеть весь объект как словарь, без .__dict__, без сериализации, без ручного разбора. Вот приём, который делает это рекурсивно, красиво и гибко — с помощью dataclasses и asdict, даже если объект не был dataclass изначально. python from dataclasses import dataclass, asdict, is_dataclass from types import SimpleNamespace def deep_to_dict(obj): if isinstance(obj, dict): return {k: deep_to_dict(v) for k, v in obj.items()} elif isinstance(obj, list): return [deep_to_dict(i) for i in obj] elif is_dataclass(obj): return asdict(obj) elif isinstance(obj, SimpleNamespace): return deep_to_dict(vars(obj)) elif hasattr(obj, '__dict__'): return deep_to_dict(vars(obj)) else: return obj 🧠 Рекурсивный разбор любых Python-объектов 📌 Подходит для логирования, сериализации, отладки 📌 Работает с dataclass, обычными классами, объектами из types, JSON-like структурами 📌 Можно расширить: добавить фильтрацию полей, вывод в YAML или сохранение в файл Теперь любой “монстр из API” — превращается в читаемый словарь за одну строчку. @Python_Community_ru

🧠 Ускорь import в Python-проектах с помощью lazy loading — без изменения логики Если у тебя проект с тяжёлыми модулями (`pandas`, torch, tensorflow`), но они не всегда нужны — не загружай их зря. Python позволяет **отложить импорт до первого использования**, через встроённый `importlib. Вот как это выглядит на практике: import importlib # Обёртка для ленивого импорта def lazy_import(name): return importlib.util.LazyLoader(importlib.import_module(name)) # Использование np = lazy_import('numpy') # numpy ещё не загружен # Теперь загрузится: print(np.array([1, 2, 3])) @Python_Community_ru

⚡ Ускорь Python без переписывания — скомпилируй код в .so через Cython Нужно ускорить медленные куски Python-кода (циклы, численные вычисления, парсинг)? Не обязательно лезть в C или переписывать всё под NumPy. Можно взять свой .py`-файл, добавить одну строчку и превратить его в бинарный .so`‑модуль через Cython — без изменения логики. # 1. Устанавливаем Cython и компилятор pip install cython sudo apt install build-essential # 2. Переименовываем файл mv myscript.py myscript.pyx # 3. Создаём setup.py echo ' from setuptools import setup from Cython.Build import cythonize setup(ext_modules=cythonize("myscript.pyx")) ' > setup.py # 4. Компилируем python3 setup.py build_ext --inplace # 5. Используем как обычный модуль python3 -c 'import myscript; myscript.main()' @pytonl @Python_Community_ru