Python Portal

Лучшие инженеры не изучают распределённые системы по поверхностным пересказам. Они сразу обращаются к фундаментальным научным статьям. Чтение таких работ помогает понять, почему системы спроектированы именно так, а не просто научиться ими пользоваться. Вот пять классических статей всех времён, которые должен прочитать каждый разработчик. 1. The Google File System (2003) Почему стоит прочитать: статья изменила подход всей индустрии, предложив считать отказ компонентов нормой, а не исключением. В ней описано, как построить масштабную отказоустойчивую распределённую систему хранения данных на базе недорогого массового оборудования, оптимизировав её под интенсивную последовательную дозапись вместо произвольной записи. Ссылка: https://static.googleusercontent.com/media/research.google.com/en//archive/gfs-sosp2003.pdf 2. Dynamo: Amazon’s Highly Available Key-Value Store (2007) Почему стоит прочитать: исчерпывающий разбор того, как пожертвовать согласованностью ради высокой доступности — AP в теореме CAP. В статье изложены ключевые паттерны, лежащие в основе масштабируемых NoSQL-хранилищ: консистентное хеширование, векторные часы, gossip-протоколы и настраиваемый кворум для операций чтения и записи. Ссылка: https://allthingsdistributed.com/files/amazon-dynamo-sosp2007.pdf 3. In Search of an Understandable Consensus Algorithm (Raft) (2014) Почему стоит прочитать: Paxos печально известен тем, насколько сложно его понять и корректно реализовать, тогда как Raft делает концепцию реплицируемых конечных автоматов более доступной. Алгоритм разбивает задачу консенсуса на отдельные подзадачи, которые легко анализировать: выбор лидера, репликацию журнала и обеспечение безопасности. Ссылка: https://raft.github.io/raft.pdf 4. Spanner: Google’s Globally-Distributed Database (2012) Почему стоит прочитать: статья показывает, как добиться строгой сериализуемости и внешней согласованности между дата-центрами по всему миру. Секрет — API Google TrueTime, ограничивающий неопределённость времени с помощью синхронизированных GPS-приёмников и атомных часов. Ссылка: https://static.googleusercontent.com/media/research.google.com/en//archive/spanner-osdi2012.pdf 5. Time, Clocks, and the Ordering of Events in a Distributed System Почему стоит прочитать: на физическое время нельзя полагаться при работе с независимыми узлами. Лэмпорт вводит логические часы и фундаментальное отношение «произошло до» (happened-before), лежащее в основе упорядочивания событий в современных распределённых сетях. Ссылка: https://amturing.acm.org/p558-lamport.pdf 👉 @PythonPortal

Сохрани этот ресурс, если работаешь с SQL. Это playground без установки, где можно: - создавать таблицы, выполнять запросы и делиться результатами; - работать с MySQL, PostgreSQL и SQL Server. Бесплатно и без установки: → http://runsql.com/r 👉 @PythonPortal

Wan2GP — бесплатная опенсорсная альтернатива облачным сервисам для генерации AI-видео вроде Higgsfield. Всё запускается локально и, по заявлению разработчиков, работает даже с 6 ГБ VRAM, старыми RTX 10-й серии и ноутбуками с 8 ГБ памяти. Внутри: — генерация видео из текста и изображений — Wan 2.2, LTX-2, Hunyuan Video и Flux — браузерный интерфейс с очередью генераций — поддержка LoRA — редактор масок — улучшение промптов Пятисекундный ролик на среднем игровом ПК можно сгенерировать за несколько минут. Без подписки, облака, лимитов и водяных знаков. Всё бесплатно. https://github.com/deepbeepmeep/Wan2GP Ну, если считать видеокарту и электричество бесплатными. 🥲 👉 @PythonPortal

В Python обычный zip() может незаметно «съесть» часть данных, если списки разной длины. 🐍 Например:

x = [1, 2, 3, 4, 5]
y = ['a', 'b', 'c']

list(zip(x, y))
# [(1, 'a'), (2, 'b'), (3, 'c')]

zip() останавливается, как только заканчивается самый короткий список — поэтому 4 и 5 просто не попадут в результат. Если нужно сохранить все элементы, есть itertools.zip_longest():

import itertools

list(itertools.zip_longest(x, y))
# [(1, 'a'), (2, 'b'), (3, 'c'), (4, None), (5, None)]

Недостающие значения он по умолчанию заполняет None. Небольшая штука, но полезно помнить, когда объединяете данные из источников разной длины. 👉 @PythonPortal

Facebook настолько не устраивал Git, что в итоге компания создала ему сразу три замены. Начиналось всё как у многих: один огромный monorepo, в котором лежал код всех команд. По мере роста кодовой базы Git начал сдавать. Обычный git fetch мог занимать до 30 минут. Инженеры тратили больше времени на ожидание Git, чем на написание кода. Facebook обратился к мейнтейнерам Git с вопросом, как масштабировать такую систему. Ответ был простой: разбить репозиторий на несколько поменьше. Для Facebook это не подходило. Весь смысл был именно в monorepo. Тогда инженеры обратили внимание на менее популярный Mercurial. Его было проще расширять, а сообщество охотнее принимало изменения. Facebook перенёс туда всю кодовую базу и помог превратить Mercurial в один из лучших вариантов для огромных monorepo. Но со временем и Mercurial упёрся в ограничения. Тогда Facebook написал собственную систему контроля версий с нуля — Sapling. А когда кодовая база выросла настолько, что один инженер уже физически не мог скачать её целиком на ноутбук, появился EdenFS — виртуальная файловая система, которая подгружает файл только в тот момент, когда разработчик реально его открывает. Три замены. Одна компания. И всё потому, что кодовая база росла быстрее, чем успевали масштабироваться существующие системы контроля версий. Большинство компаний подстраивают рабочие процессы под доступные инструменты. Facebook просто создаёт новые инструменты, когда старые перестают справляться. 👉 @PythonPortal

Упростить логирование в Python можно с помощью Loguru 🪵 Стандартный модуль logging умеет почти всё, но даже базовая настройка часто требует handlers, format strings и дополнительного конфигурационного кода. Loguru делает логирование по ощущениям почти таким же простым, как print(), при этом поддерживает: timestamps; уровни логов; запись в файлы; rotation; retention; подробный вывод исключений. В статье сравниваются оба подхода и показывается, как Loguru позволяет сделать типичные задачи логирования короче и читабельнее. Полная статья: https://bit.ly/4aEOjJo #Python #Debugging 👉 @PythonPortal

Вот мой точный сетап, с которым я экономлю примерно 50% недельных лимитов Claude Code. Устанавливаю плагин OpenAI Codex внутри Claude Code. Разделяю работу по тому, в чём каждая модель сильнее:

Fable 5 high — планирование Codex 5.6 xhigh — реализация и выполнение задач через подписку Codex, без API Fable 5 max — ревью

Планирование и ревью — это как раз те этапы, где Fable оправдывает свою стоимость: там важнее качество решений и оценка результата. А выполнение обычно съедает больше всего токенов, поэтому его можно отдать Codex и использовать уже существующую подписку. Вот и весь сетап. Работает. 👉 @PythonPortal

8-летний Лакш собрал на микроконтроллере за $8 полностью автономного ИИ-рассказчика. Он работает без Wi-Fi, облака и API. В основе — ESP32-S3, микрофон INMP441, I2S-динамик и усилитель MAX98357A. Устройство умеет генерировать истории, создавать анимации, озвучивать текст и понимать голосовые команды вроде play, pause, resume и next story. Проект построен на форке open-source TinyStories LLM для ESP32. В исходной версии была генерация текста, а Лакш добавил голосовое управление, интерактивность, анимации и контролы. GitHub: https://github.com/slvDev/esp32-ai Пока слабое место — английский TTS на ESP32 звучит не очень хорошо. Именно его теперь планируют улучшать. 👉 @PythonPortal

Google AI Studio даёт бесплатный API-доступ к production-ready моделям Gemini без привязки банковской карты и без запуска временного trial-периода. Что доступно: → Бесплатный доступ — можно создавать API-ключи для Gemini 2.5 Flash, Pro и 3.6 Flash без добавления платёжных данных → Щедрые лимиты для разработчиков — дневные ограничения (например, около 15 RPM / 1M TPM / 1500 RPD) позволяют полноценно тестировать приложения и запускать небольшие production-сценарии → Быстрый старт с Python — достаточно установить google-generativeai и выполнить первые API-вызовы менее чем за две минуты → Поддержка универсальных SDK — интеграция с multi-model proxy-роутерами вроде LiteLLM позволяет использовать бесплатные endpoint’ы в разных приложениях 👉 @PythonPortal

Ещё не все языки программирования выучил, ещё один — и тогда пойдёшь искать работу? А там: пройдите стажировку за печеньки 3 месяца, и только потом статус джуна с оплатой до 100 000 ₽. Сомнительный план. Сережа так и делал. Самоучка, 4 месяца откликов, ноль ответов. Каждое утро — открыть сайт, отправить 10 резюме, закрыть ноутбук и ждать письмо "вы нам не подходите". Проблема была не в знаниях, а в устаревшем стеке и понимании как дойди до живого HR. После проработки по системе: оффер AQA-инженера на 265 000 ₽ через 149 дней, без коммерческого опыта. Зачем терять полгода на статусе джуна и терять в деньгах, когда можно потратить то же время на мидла — конкуренция меньше, оплата больше. Но чтобы вписаться сразу на мидла, нужна опробованная система. Подробно о ней — по ссылке. Гайд как пройти испытательный срок внутри. Еще реферальные ссылки сразу на живых hr компании доступ сразу. без регистрации → https://t.me/find_it_mentor_bot?start=utm_tg_ad_l1 ссылка сгорит через 24 часа

Подборка ресурсов по MLOps для тех, кто хочет разобраться, как ML-системы доводят до production. https://github.com/visenger/awesome-mlops 👉 @PythonPortal

Через VS Code теперь можно расшарить localhost без сторонних инструментов. 🤯 Во встроенной вкладке Ports можно открыть локальный сервер для доступа из интернета. Как это сделать: 1. Открыть вкладку Ports в панели терминала 2. Нажать Forward a Port 3. Указать локальный порт — например, 5173, 3000 или 3001 4. VS Code сгенерирует ссылку 5. Для публичного доступа нужно нажать по ней правой кнопкой и выбрать Make Public 6. После этого ссылку можно отправить другому человеку Удобно для демо, тестирования на других устройствах и быстрого показа проекта клиентам или команде. 👉 @PythonPortal

🚨 Весь стек AI-ассистента переписали на Zig. Проект называется NullClaw. Размер бинарника — 678 КБ, потребление памяти — около 1 МБ, запуск занимает меньше 2 мс. Без runtime, VM, фреймворков и garbage collector — только Zig. Почему это важно:

OpenClaw требует Mac Mini за $599 и больше 1 ГБ RAM NanoBot — больше 100 МБ RAM и Python PicoClaw — 10 МБ RAM и Go

NullClaw запускается на плате за $5 с 1 МБ RAM, предлагая ту же функциональность при использовании примерно 0,1% ресурсов. В эти 678 КБ входят:

22+ AI-провайдера, включая OpenAI, Anthropic, Ollama, DeepSeek и Groq 13 каналов связи: Telegram, Discord, Slack, WhatsApp, iMessage, IRC и другие 18+ встроенных инструментов гибридный поиск по памяти: vector + keyword многоуровневая sandbox-изоляция через Landlock, Firejail и Docker поддержка Arduino, Raspberry Pi и STM32 MCP, subagents, streaming, voice и остальной стек

Каждая подсистема реализована как заменяемый интерфейс: провайдеры, каналы, инструменты и memory backend можно менять через конфиг без правок кода. API-ключи по умолчанию шифруются с помощью ChaCha20-Poly1305. В проекте 2 738 тестов, около 45 000 строк Zig и нет зависимостей кроме libc. Полностью бесплатно. Open Source. 👉 @PythonPortal

Лаборатория Университета Цинхуа выложила на GitHub проект, который заменяет стойку с H100 стоимостью $400 000 одной видеокартой с 24 ГБ памяти. Он называется ktransformers, а идея почти до смешного проста: эксперты, которые реально используются, остаются на GPU, а остальные находятся на CPU до тех пор, пока не понадобятся. / DeepSeek-V3 и R1 с контекстом 139K на 24 ГБ VRAM / ускорение до 28 раз по сравнению со стандартной конфигурацией / дообучение DeepSeek-V3 на четырёх RTX 4090 вместо дата-центра / проект создан лабораторией MADSys Университета Цинхуа, а не стартапом с лендингом Лицензия Apache 2.0, а на GitHub уже больше 17 000 звёзд. → http://github.com/kvcache-ai/ktransformers 👉 @PythonPortal

Kimi снова это сделали! В Kimi K3 они разработали новый подход к работе с residual connections (остаточными связями) в Transformer-архитектурах — механизмом, который практически не менялся со времён ResNet в 2015 году. В стандартном Transformer каждый слой добавляет свой выход обратно к входу с фиксированным весом 1. То есть каждый слой получает одинаковую важность независимо от того, что именно нужно конкретному токену. При глубине в 40, 60, 80+ слоёв скрытое состояние превращается в сумму всех предыдущих представлений с одинаковыми весами. Более глубоким слоям приходится создавать всё более крупные выходные значения, чтобы хоть как-то влиять на итоговое представление. При масштабировании моделей это делает обучение менее стабильным. Attention Residuals решают эту проблему, заменяя фиксированное сложение на softmax attention по глубине сети. Теперь каждый слой сам учится определять, сколько информации брать из каждого предыдущего слоя — в зависимости от входа. Благодаря этому разные токены могут извлекать разные представления из разных слоёв, ориентируясь на то, что действительно полезно. Идея повторяет то, что оригинальный Transformer сделал с последовательностями. RNN сжимали всю предыдущую информацию о токенах в одно состояние, которое передавалось по времени. Transformer заменил это механизмом attention. Attention Residuals применяют ту же идею, но уже к глубине модели. Когда Kimi впервые проверили этот подход на своей модели Kimi Linear 48B в марте, Block AttnRes показал такую же производительность, как базовая модель, обученная с в 1,25 раза большим количеством вычислений, при этом добавив менее 2% задержки на инференсе. Kimi K3 стала первой моделью, где этот подход применяется в масштабе фронтирной модели: 2,8 трлн параметров, вместе с Kimi Delta Attention, который обеспечивает до 6,3× более быстрое декодирование при работе с контекстом размером в миллион токенов. 👉 @PythonPortal

Codex Router добавляет Kimi K3 и DeepSeek прямо в селектор моделей Codex, не затрагивая вход через ChatGPT и встроенные GPT-модели. После установки рядом с нативными моделями появляются дополнительные варианты: • Kimi K3 через OAuth или API • DeepSeek V4 Flash и Pro через API Инструмент не перезаписывает конфигурацию Codex, автоматически создаёт резервную копию и поддерживает безопасный откат. Также предусмотрена миграция со старых версий роутера. Проект полностью бесплатный и опенсорсный. 👉 @PythonPortal

Modly — это бесплатное опенсорсное десктопное приложение, которое превращает обычные изображения в 3D-модели прямо на вашем компьютере. Вся генерация выполняется локально на GPU, без облака и подписки. Приложение работает на Windows, Linux и macOS с Apple Silicon. В Modly есть визуальный workflow: загрузили изображение, сгенерировали mesh и добавили его в сцену. Импортированные модели можно сразу сглаживать и упрощать, а внешние расширения позволяют подключать разные модели и стили генерации. https://github.com/lightningpixel/modly 👉 @PythonPortal

Этот vault добавляет AI-агентам долгосрочную память. Добавляет persistent memory, семантический поиск и автоматическое отслеживание рабочих задач для Claude Code, Codex и Gemini. Автоматически сохраняет решения, результаты работы и материалы ревью внутри Obsidian vault. Репозиторий: https://github.com/breferrari/obsidian-mind 👉 @PythonPortal

Этот проект представляет собой полный курс по Python — от нулевого уровня до backend-разработки, который создавался в прямом эфире на Twitch. Покрывает основы Python, продвинутые темы и разработку backend-приложений. Включает создание REST API с аутентификацией и интеграцией с базой данных. Весь код организован по директориям: Basic, Intermediate и Backend. Видео-уроки содержат таймкоды для каждой темы. 👉 @PythonPortal

Чтобы превратить вызовы LLM в понятные и компонуемые workflows, не нужен огромный фреймворк. PocketFlow — минималистичный Python-фреймворк для разработчиков, которые создают агентов, RAG-пайплайны и другие LLM-приложения. Он позволяет проектировать логику приложения в виде графа, соединяя небольшие узлы, которые используют общее состояние и направляют выполнение через именованные действия. Ключевые возможности: • Графовые flows — можно объединять узлы в цепочки, создавать ветвления по действиям, циклы и вложенные flows. • Узлы из трёх этапов — подготовка, выполнение и постобработка разделены и работают с общим состоянием. • Настройка повторных попыток — можно задать количество ретраев, задержки между ними и fallback-поведение при ошибках выполнения. • Batch- и async-режимы — обработка списков элементов, повторный запуск flows с параметрами и параллельное выполнение асинхронных batch-задач. • Практический cookbook — примеры агентов, RAG, workflows, стриминга и приложений с human-in-the-loop. Проект с открытым исходным кодом и распространяется по лицензии MIT. 👉 @PythonPortal