Python/ django

⚡️ Приём на Python под высокой нагрузкой: ограничивай конкуренцию сам, а не доверяй это ОС. Вместо тысячи одновременных задач делай очередь + фиксированное число воркеров. Так ты: - не убиваешь БД/внешний сервис шторма́м запросов - контролируешь задержки - получаешь естественный backpressure Пример для I/O-нагрузки (HTTP запросы) с asyncio:

import asyncio
import aiohttp
from time import perf_counter

URLS = [
    "https://example.com"
    for _ in range(10_000)  # много запросов под нагрузкой
]

MAX_CONCURRENCY = 100  # ограничиваем параллелизм
QUEUE_SIZE = 1_000      # ограничиваем длину очереди (backpressure)


async def worker(name: int, queue: asyncio.Queue, session: aiohttp.ClientSession):
    while True:
        url = await queue.get()
        if url is None:  # сигнал завершения
            queue.task_done()
            break

        try:
            async with session.get(url, timeout=5) as resp:
                await resp.text()  # или resp.read()
                # здесь твоя логика обработки
        except Exception as e:
            # логируй, но не падай
            print(f"[worker {name}] error: {e}")

        queue.task_done()


async def main():
    queue = asyncio.Queue(maxsize=QUEUE_SIZE)

    async with aiohttp.ClientSession() as session:
        # поднимаем ограниченное число воркеров
        workers = [
            asyncio.create_task(worker(i, queue, session))
            for i in range(MAX_CONCURRENCY)
        ]

        # кидаем задачи в очередь
        for url in URLS:
            await queue.put(url)

        # шлём сигнал завершения воркерам
        for _ in workers:
            await queue.put(None)

        # ждём, пока всё отработает
        await queue.join()

        # аккуратно завершаем воркеров
        for w in workers:
            await w


if __name__ == "__main__":
    t0 = perf_counter()
    asyncio.run(main())
    print(f"Done in {perf_counter() - t0:.2f}s")

Суть приёма: Вместо «одна корутина на каждый запрос» ты держишь фиксированный пул воркеров. Очередь с maxsize работает как предохранитель: если бэкенд/БД не успевают, продюсер начинает тормозиться. Такой подход гораздо стабильнее под всплесками трафика, чем голый gather на десятки тысяч задач. @pythonl

🖥 На Stepik вышел курс, который учит работать с Docker на реальных проектах. Владение Docker - навык, который отличает новичка от профи, Сегодня почти всё разворачивается в контейнерах. Если ты не умеешь работать с Docker, ты медленнее, зависим от чужих настроек и постоянно ловишь баги «у меня локально работает». • как упаковывать проекты в контейнеры • как поднимать целые системы за минуты • как избегать типичных ошибок в продакшене • как делать стабильные и повторяемые окружения •в нем разобраны все возможные ошибки Только практика и реальные кейсы от авторов Docker Академии- с нуля до уверенного уровня. 🎁 Скидка 40 процентов действует 48 часов 👉 Записывайся и сделай Docker своим настоящим рабочим инструментом.

🔥 Год ChatGPT Plus бесплатно: экономим 20 000 рублей Нашли рабочую лазейку в правилах OpenAI. Вы получаете полноценный аккаунт без лимитов и с доступом ко всем топовым моделям. Инструкция (займет 2 минуты): 1️⃣ Переходим на сервис временной почты: https://em.bjedu.tech/en/ 2️⃣ Важно: в списке доменов выбираем erzi me. 3️⃣ Регистрируем новый аккаунт ChatGPT на этот адрес. 4️⃣ Получаем код подтверждения в почту - готово! ⚡️ Проверили, пока еще работает

📄🚀 Qwen-Doc: Открытые проекты по пониманию документов Qwen-Doc — это репозиторий, посвященный ИИ для работы с документами, разработанный командой Tongyi-Zhiwen. Здесь собраны исследования и практики, направленные на улучшение обработки сложных документов с помощью современных технологий, включая обучение с подкреплением и долгосрочное понимание контекста. 🚀Основные моменты: - Модели для долгосрочного понимания документов. - Использование обучения с подкреплением для улучшения ИИ. - Открытые данные и методологии для сообщества. - Проекты QwenLong-L1 и QwenLong-L1.5 с передовыми алгоритмами. - FRAMEWORK SPELL для автономного генерации обучающих данных. 📌 GitHub: https://github.com/Tongyi-Zhiwen/Qwen-Doc #python

🧮 CoolCalculator: Мини-язык программирования для вычислений CoolCalculator — это консольный калькулятор, который поддерживает пользовательские переменные и функции, рекурсию и локальные области видимости. Он предназначен для изучения парсинга и оценки выражений, а не только для численных вычислений. 🚀Основные моменты: - Поддержка пользовательских переменных и функций - Рекурсивные вызовы и перегрузка функций - Многострочный ввод и последовательное выполнение - Автоматическое создание несуществующих переменных - Удобный синтаксис для работы с выражениями 📌 GitHub: https://github.com/YaroslavPryatkin/CoolCalculator

⚡️ Wavelet Matrix - структура данных, которая делает сложные запросы быстрыми Wavelet Matrix позволяет хранить последовательности так, чтобы работать с ними молниеносно и компактно. 🔥 Что умеет библиотека: - rank - сколько раз элемент встречается до позиции - select - где находится k-е вхождение элемента - quantile - k-й по величине элемент на отрезке - top-k - самые частые элементы на диапазоне И всё это — за логарифмическое время и с экономией памяти. Чем полезен - работает быстрее, чем наивные структуры - меньше памяти, чем обычные массивы - подходит для поиска, индексирования, сжатия, аналитики Wavelet Matrix - это пример того, как «умные» структуры данных дают реальные ускорения, а не просто красивая теория. Если интересуешься алгоритмами - этот репозиторий точно стоит сохранить. Репозиторий: https://github.com/math-hiyoko/wavelet-matrix @pythonl

🐍 Стоит ли аннотировать каждую переменную в Python? Разберёмся спокойно и без фанатизма. Что вообще такое аннотации типов В Python можно указывать типы у переменных, аргументов и функций. Это помогает IDE, линтерам и статическим анализаторам находить ошибки в коде. Простой пример:

x: int = 10
name: str = "Alice"

Аргументы ЗА аннотации везде • код становится явнее • IDE лучше подсказывает • меньше скрытых ошибок • полезно в больших проектах и командах Аргументы ПРОТИВ • код становится грязнее • в простом коде типы и так очевидны • аннотации отвлекают от логики программы • иногда разработчики подгоняют код под типы, вместо хорошего дизайна программы Например, так делать смысла мало:

a: int = 0      # избыточно
count = 0       # и так понятно

Но если структура сложная, аннотация действительно помогает:

result: dict[str, list[int]] = {}

Где же истина Опытные разработчики сходятся на том, что: ✔ аннотировать функции, API и сложные структуры - полезно ✖ аннотировать каждую локальную переменную - перебор Аннотации - это инструмент для ясности, а не чек-лист, который нужно заполнять до последней строчки. Используй их там, где они помогают понять коди не заставляй Python выглядеть как Java ради галочки 🙂 ⚡️ Подробнее: https://uproger.com/🐍-nuzhno-li-annotirovat-kazhduyu-peremennuyu-v-pythonpodrobnyj-razbor-bez-fanatizma/ @pythonl

⚡️ Qcrawl - простой и быстрый веб-краулер Qcrawl - это open-source проект краулера, написанный на Go, предназначенный для эффективного сбора страниц из интернета и обработки ссылок. Это: • легковесный веб-краулер • ориентирован на масштабируемость и простоту Основные возможности • параллельная загрузка страниц • polite crawling (учёт robots.txt, ограничения на частоту запросов) • управление глубиной обхода • обработка и нормализация ссылок • гибкая архитектура для кастомных обработчиков контента • подходит для задач сбора данных из веба • хорошая база для собственных crawler-ботов • легко адаптируется под свои сценарии (парсинг, индексация, анализ) Репозиторий содержит примеры запуска, конфигурации глубины и очередей, а также модули для безопасной загрузки страниц. Если вам нужен краулер без лишнего «тяжелого» функционала, Qcrawl может стать отличной отправной точкой. GitHub: github.com/crawlcore/qcrawl

🧩 dataclass vs Pydantic - большая разница в валидации данных Когда ваши Python-модели растут, dataclass быстро превращается в ад из if-else внутри post_init: ❌ ручные проверки ❌ раздувающийся код ❌ сложнее читать и поддерживать Pydantic решает это элегантно: ✅ встроенные ограничения прямо в определении полей ✅ автоматическая валидация ✅ понятные сообщения об ошибках То, что dataclass требует вручную - Pydantic делает автоматически. Если вы работаете с API, формами, БД или конфигурациями - Pydantic почти всегда лучше выбор. @pythonl

👩‍💻 Репозиторий с вопросами для собеседований по Python без воды и сюрпризов Собеседование по Python - это не только рассказ про проекты. Чаще всего проверяют базу и понимание деталей: почему is — не ==, как работают генераторы, что происходит с памятью и где подводные камни ООП. Для этого есть отличный репозиторий python_interview_questions. Что внутри 📌 - часто задаваемые вопросы для junior, middle и выше - теория с понятными объяснениями - примеры кода, а не сухие определения - темы от синтаксиса до внутренних механизмов Python Зачем он реально полезен ⚡️ - помогает разобраться в «подкапотной» логике языка - учит формулировать ответы, а не просто знать факт - идеально подходит для быстрого повторения перед интервью - снижает риск растеряться на каверзных вопросах Хороший способ системно подготовиться к Python-собесу и понять, где у тебя слабые места. https://github.com/yakimka/python_interview_questions

🎤 Инновационная система распознавания речи Fun-ASR Fun-ASR — мощная модель распознавания речи, обученная на миллионах часов аудиоданных. Она поддерживает 31 язык и обеспечивает высокую точность в сложных условиях, таких как шумные помещения. Модель адаптирована для профессиональных терминов в таких областях, как образование и финансы. 🚀 Основные моменты: - Высокая точность распознавания до 93% в шумных условиях. - Поддержка 31 языка с акцентом на восточноазиатские языки. - Оптимизация для распознавания диалектов и региональных акцентов. - Способность распознавать текст песен на фоне музыки. 📌 GitHub: https://github.com/FunAudioLLM/Fun-ASR @pythonl #python

📝 Редактирование PDF с помощью ИИ 🚀 Nano PDF - это инструмент командной строки для редактирования PDF-документов с использованием естественного языка. Он позволяет вносить изменения в слайды, добавлять новые и сохранять текстовый слой с помощью OCR. Работает на базе модели Gemini 3 Pro Image. 🚀 Основные моменты: - Редактирование слайдов по текстовым командам - Генерация новых слайдов в стиле существующих - Поддержка многопоточной обработки для повышения скорости - Сохранение текстового слоя с помощью OCR 📌 GitHub: https://github.com/gavrielc/Nano-PDF #python

🚀 TurboDiffusion - генерация видео в 100–205× быстрее на одной RTX 5090. Всего 1.8 секунды на качественное 5-секундное видео. Как это удалось: - SageAttention - Sparse-Linear Attention (SLA) - rCM Комбинация даёт редкий эффект: и скорость, и качество без компромиссов. Это уже не демо-магия, а реальный шаг к быстрому локальному video generation. GitHub: https://github.com/thu-ml/TurboDiffusion @pythonl

🚀 AI Agents for Android Apps Библиотека для автоматизации работы с нативными Android-приложениями. Идеально подходит для мобильных рабочих процессов в логистике, экономике на заказ и других отраслях, где ноутбук неуместен. Позволяет значительно ускорить выполнение задач и сократить затраты. 🚀 Основные моменты: - Автоматизация процессов на Android-устройствах - Снижение затрат на 95% по сравнению с традиционными методами - Поддержка различных мобильных приложений - Быстрая реакция — менее 1 секунды на действие - Идеально для логистики и мобильного обслуживания 📌 GitHub: https://github.com/actionstatelabs/android-action-kernel

🚀 PyTogether - Google Docs для Python-кода PyTogether - это браузерная IDE для Python с совместной работой в реальном времени. Несколько человек могут писать и запускать код одновременно, видеть курсоры друг друга и общаться прямо внутри редактора. Что умеет: • Совместное редактирование Python-кода (live-collaboration) • Запуск Python прямо в браузере через Pyodide • Чат и голосовая связь внутри IDE • Живые курсоры, выделения и заметки • Простая авторизация и проекты для команд • Никакой установки — всё работает в браузере Кому подойдёт: • Обучение и менторство • Парное программирование • Онлайн-курсы и воркшопы • Быстрые разборы кода и собесы Технологии под капотом: Python (Django, DRF), WebSockets + Y.js для синхронизации, React + CodeMirror, Redis и PostgreSQL. Всё open-source под MIT-лицензией. Хороший пример того, как современные web-технологии превращают IDE в социальный инструмент для обучения и командной работы. https://github.com/SJRiz/pytogether

Автоматизируйте 80% ручной работы с помощью Python ✋ А именно: 🧩 избавьтесь от рутины и ошибок 🧩 ускорьте рабочие процессы 🧩 освободите время для более интересных дел 🧩 повысьте эффективность работы с инфраструктурой и свою ценность как инженера Все это — с помощью курса «Python для инженеров». Это обучение, заточенное на инженеров — в нём нет ничего лишнего, только то, что необходимо именно вам. Выбирайте любой из трех форматов: ✅ Соло, если вы уверены в своих силах и не нуждаетесь в фидбеке ✅ Эксперт, если вам нужен код-ревью от экспертов и сертификат об обучении ✅ Эксперт+, если вам нужен закрытый Telegram-чат с экспертами и итоговый проект для портфолио Познакомиться с программой и выбрать подходящий формат — по ссылке ⬅️

🚀 PyTogether - Google Docs для Python-кода PyTogether - это браузерная IDE для Python с совместной работой в реальном времени. Несколько человек могут писать и запускать код одновременно, видеть курсоры друг друга и общаться прямо внутри редактора. Что умеет: • Совместное редактирование Python-кода (live-collaboration) • Запуск Python прямо в браузере через Pyodide • Чат и голосовая связь внутри IDE • Живые курсоры, выделения и заметки • Простая авторизация и проекты для команд • Никакой установки — всё работает в браузере Кому подойдёт: • Обучение и менторство • Парное программирование • Онлайн-курсы и воркшопы • Быстрые разборы кода и собесы Технологии под капотом: Python (Django, DRF), WebSockets + Y.js для синхронизации, React + CodeMirror, Redis и PostgreSQL. Всё open-source под MIT-лицензией. Хороший пример того, как современные web-технологии превращают IDE в социальный инструмент для обучения и командной работы. https://github.com/SJRiz/pytogether @pythonl

Новая работа MIT: LLM, который видит и меняет состояние Python В MIT предложили подход, при котором языковая модель работает не только с текстом, а напрямую с живым состоянием Python-кода - переменными, объектами в памяти и текущей точкой выполнения. Подход называется NIGHTJAR. Главный результат В экспериментах NIGHTJAR сократил объем кода в среднем на 39.6% без потери корректности. В чем была проблема Обычная LLM: - читает текст - генерирует текст - не видит реальные данные программы Поэтому типичный пайплайн выглядит так: - данные сериализуются в текст - отправляются модели - ответ парсится - программа вручную обновляется Много glue-кода, много мест для ошибок. Что меняет совместное состояние Shared state полностью меняет модель взаимодействия: - LLM может читать и писать переменные - изменять объекты прямо в памяти - останавливать и пропускать циклы - работать с текущим состоянием выполнения Модель не «рассуждает о коде», она с ним взаимодействует. Как это реализовано LLM не получает прямой доступ к памяти. Она отправляет небольшие команды: - прочитать переменную - записать значение - обновить объект - выйти из цикла Python-обработчик выполняет эти команды. Такой контракт авторы называют natural function interface. Результаты На бенчмарке SPSBench с 25 программами: - корректность осталась на уровне ручной интеграции или выше - код стал заметно короче - но время выполнения иногда росло до 4.3 раза Причина проста - каждое обращение к состоянию может требовать отдельного вызова модели. Почему это важно - меньше шаблонного glue-кода - проще писать сложную логику с участием LLM - шаг к более тесной интеграции AI и runtime - фундамент для новых агентных и интерактивных систем Это не про ускорение. Это про изменение архитектуры взаимодействия между программой и моделью. 📌 Статья: arxiv.org/abs/2512.14805 #AI #LLM #Python

🖥 python-injection - практический сборник уязвимостей в Python python-injection - это репозиторий с наглядными примерами инъекций и небезопасных паттернов в Python-коде, которые регулярно встречаются в реальных проектах. Проект показывает, как «обычный» Python-код превращается в уязвимость, если не понимать, как именно работают интерпретатор, библиотеки и внешние вызовы. Что внутри: - Command Injection через os.system, subprocess, shell=True - SQL Injection при неправильной работе с запросами - Code Injection через eval, exec, pickle - Path Traversal и небезопасная работа с файлами - Template Injection - Примеры небезопасной десериализации - Реальные анти-паттерны из production-кода Главная ценность репозитория — код, а не теория: - есть уязвимый пример - есть объяснение, почему он опасен - понятно, как именно происходит атака Подходит для: - Python-разработчиков - backend-инженеров - security-энтузиастов - code review и обучения безопасному программированию Если ты пишешь Python и думаешь, что «у нас же не веб» - этот репозиторий стоит открыть. pip install python-injection https://github.com/100nm/python-injection

Roadmap по Python Привет! По немногочисленным просьбам, решив, что давно не радовал вас чем-то полезным, а только прогревал на стартапы и YouTube, посоветовавшись со знакомым питонистом, я подготовил Roadmap по Python — аналогичный моему Roadmap'у по Go. Я разместил его под Go-шным roadmap'ом. Всем, кому актуально, прошу посмотреть и написать свои правки, идеи, предложения! Go & Python Roadmap 2025 😎 Реклама. Дмитриев А.С. ИНН 501214283070. erid: 2W5zFHbfpL8