Python/ django

🖥 Сжатие файлов в архивы gz с помощью gzip, и shutil Элементарно, нам понадобятся функции gzip.open и shutil.copyfileobj:

import gzip 
import shutil

def compress_file(input_file, output_file):
  with open(input_file, 'rb') as f_in:
    with gzip.open(output_file, 'wb') as f_out:
      shutil.copyfileobj(f_in, f_out)

compress_file('clcoding.txt', 'clcoding.txt.gz')

@pythonl

Курс Слёрма «Python для инженеров»: когда 5 строк кода заменяют полчаса работы  Научим вас автоматизировать задачи, которые годами решались вручную. Курс с обратной связью, 5 недель, старт 12 августа.  После курса сможете сделать так, чтобы автоматически:  ▶Менялись конфигурации серверов и предоставлялся к ним доступ ▶Собирались, сводились и экспортировались нужные данные мониторинга  ▶Создавались базы данных из разных источников  ▶Генерировались ченджлоги прямо из коммитов ▶И многое другое Формат курса:  ▶Видеолекции, онлайн-встречи со спикером и практические задания ▶Код-ревью, ответы на вопросы и обратная связь ▶Личный кабинет с короткими конспектами видеолекций ▶Постоянный чат со студентами, экспертами и куратором Длительность — 5 недель.  Старт — 12 августа.  Посмотреть программу занятий и занять место на курсе — по ссылке ✅

🌟 Lets-Plot: мощная библиотека для визуализации данных на Python — pip install lets-plot Lets-Plot — библиотека от JetBrains, созданная на основе принципов Grammar of Graphics, как и знаменитая ggplot2 для R. Особенности и преимущества: - Мультиплатформенность: Lets-Plot работает как в блокнотах Python (Jupyter, Datalore, Kaggle и др.), так и в IDE PyCharm и IntelliJ IDEA. - Интерактивные возможности: Поддержка интерактивных карт с возможностью увеличения и перемещения, а также кастомизация подсказок и аннотаций. - Геопространственная визуализация: Простая интеграция с GeoDataFrame и мощный модуль геокодирования. - Экспорт графиков: Сохранение графиков в формате SVG, HTML, PNG и PDF с помощью функций ggsave(), to_svg(), to_html(), to_png() и to_pdf(). - Поддержка режима без JavaScript и оффлайн-режима: Lets-Plot генерирует графики как простые SVG-изображения, что обеспечивает работу без Интернет-соединения. 🖥 GitHub 🟡 Доки @pythonl

🖥 Bytewax — фреймворк Python, который упрощает обработку событий и потоков — pip install bytewax Bytewax объединяет возможности Flink, Spark и Kafka Streams по обработке потоков и событий. Bytewax позволяет подключать источники данных, выполнять преобразования с учетом состояния и записывать данные в различные системы с помощью встроенных коннекторов или существующих библиотек Python. 🖥 GitHub 🟡 Доки @pythonl

🔥What’s the Hack? ЭКСПО! Этим летом с 1 по 10 августа прими участие в хакатоне от Экспобанк, реши задачу по созданию системы управления клиентскими базами для компаний-партнеров Экспобанка и получи возможность забрать вознаграждение из призового фонда в 400.000 рублей! Регистрируйся на хакатон до 29 июля включительно: https://экспохак.рф 🌐Хакатон пройдет в формате Онлайн - 9 дней интенсивной работы над проектом, а 10-го августа участники защищают свои решения перед представителями из компаний-партнеров Экспобанка! 🚀Главная цель – создать единый механизм управления клиентскими базами, позволяющий оптимизировать взаимодействие с клиентами и предлагать различные услуги из разных компаний, входящих в число компаний-партнеров Экспобанка. . 👨‍💻К участию приглашаются разработчики, Product менеджеры, IT-специалисты и бизнес-архитекторы. На протяжении всего хакатона Вас ждут регулярные сессии с экспертами, которые помогут скорректировать Ваши идеи в нужно русло! 📌Ключевые события хакатона: 29 июля – Завершение подачи заявок 1 августа – Церемония открытия 2 и 5 августа – Индивидуальные сессии с экспертами 7 августа – Общая встреча с экспертами 10 августа – Финальный питч и Церемония закрытия 🏆Успей зарегистрироваться на хакатон и побороться за призовой фонд в 400.000 рублей! What’s the Hack? ЭКСПО! Подробная информация и регистрация: https://экспохак.рф

🔍 Exo: Расширяем горизонты разработчиков Exo – это мощный инструмент, помогающий разработчикам изучать и анализировать экзопланеты. Этот репозиторий включает инструменты для обработки данных, визуализации и моделирования экзопланетарных систем. Основные функции Exo включают: - Анализ астрономических данных - Визуализация орбит и траекторий - Моделирование атмосферных условий Exo предназначен для использования в научных исследованиях и образовательных проектах, облегчая доступ к сложным астрономическим данным и инструментам. 📚 GitHub #python #github #astronomy @pythonl

🌟 ExVideo — техника тюнинга, позволяющая улучшить возможности моделей генерации видео ExVideo позволяет модели генерировать в 5 раз больше кадров, при этом требуется всего 1.5 тыс. часов обучения на GPU на датасете из 40 тыс. видео. В частности при помощи ExVideo была улучшена модель Stable Video Diffusion, для генерации длинных видеороликов до 128 кадров. Код, статья и модель — по ссылкам ниже. 🟡 Страничка ExVideo 🖥 GitHub 🟡 Hugging Face 🟡 Arxiv @pythonl

🖥 Конвертируем видео в Gif на Python @pythonl

🔔 Столкнулись с необходимостью управления множеством связанных задач? Приглашаем вас на открытый вебинар «Оркестрация задач с Apache AirFlow» 25 июля в 20:00 мск! Разберемся во всех тонкостях техники оркестрации задач и управлении сложными сценариями. 💯 На вебинаре вы: - узнаете, как создавать и запускать периодические задачи по расписанию; - получите навыки управления связанными задачами; - изучите работу не только с интерфейсом AirFlow, но и с языком описания DAGов; - рассмотрите различные операторы и интеграции AirFlow. Этот урок будет полезен, если вы: - хотите освоить методы MLOps и техники оркестрации задач; - дата-сайентист, желающий углубиться в профессию; - самостоятельно изучаете Data Science и готовы перейти от обучения моделей к их эксплуатации. Встречаемся в преддверии старта курса «Python Developer. Professional». Все участники вебинара получат спеццену на обучение. 🔴 Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/qIdc/?erid=LjN8KCmHC

🖥 Logfire — observability-платформа, созданная командой Pydantic — pip install logfire Logfire — это платформа для мониторинга и observability. Особенности Logfire: — предоставляет простой дашборд, который легко использовать — позволяет отображать объекты Python, профилировать код, визуализировать запросы к БД — Logfire отдаёт собранные данные по обычным SQL-запросам, не нужно учить новый диалект А также Logfire отлично интегрируется с OpenTelemetry и с Pydantic 🖥 GitHub 🟡 Доки @pythonl

ML: с чего начинается Data Science? Приглашаем на открытый урок, где вы узнаете про область ML, которая лежит в основе Data Science и AI сегодня.  🔹Расскажем, чем оно отличается от классического программирования и какие в ML существуют типы задач.  ✅ Практика: Решите первую задачу ML на языке Python  В результате урока вы обучите свою первую модель машинного обучения для решения задачи классификации рукописных цифр Урок приурочен курсу «Специализация Machine Learning» от Otus. 👉 Регистрация и подробности:  https://otus.pw/rbyU/?erid=LjN8KG9Pa

🖥 Kapitan — инструмент на Python для управления шаблонами Kubernetes, Terraform и не только Kapitan — это не самый хайповый инструмент, но в некоторых ситуациях он очень полезен, и для кого-то будет удобнее, чем Helm С технической точки зрения Kapitan очень прост и включает в себя такие компоненты: — иерархическая коллекция значений в yaml-формате, которые подставляются в шаблоны — шаблонизаторы: Jinja2, Jsonnet, Kadet; они берут значения и создают файлы (yaml, json или bash-скрипты). — компонент для управления секретами Быстрый старт с Docker:

docker run -t --rm -v $(pwd):/src:delegated kapicorp/kapitan -h

🖥 GitHub 🟡 Доки 🟡 Пример использования Kapitan @pythonl

Неуязвимого кода не существует. Абсолютно защищённых данных – тоже. Зато есть способы восстановить информацию после серьёзного сбоя или атаки. Именно о способах восстановления повреждённых данных мы и поговорим на открытом вебинаре «Создаём бэкапы для Ethereum-блокчейна на Rust» Вы познакомитесь с принципами хранения и развития данных в блокчейн-системах, увидите, как с помощью Rust эффективно переиспользовать код для разных задач на разных целевых платформах. Вебинар проведёт Кирилл Федченко, опытный программист на Rust, Python, C++ Будет интересно и Rust-разработчикам и тем, кто использует другие языки. 23 июля, 19:00 МСК Бесплатно Записаться на событие - https://otus.pw/O9CO/?erid=LjN8JywnU Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 Unfold — тема для кастомизации стандартной админ-панели Django

pip install django-unfold
poetry add django-unfold

Unfold — это тема для админки Django, которая позволяет добавить удобные для администратора функции. 🖥 GitHub 🟡 Посмотреть админку вживую @pythonl

🐍 Библиотека для управления очередями сообщений PGMQ - новая библиотека для облегченной обработки очереди сообщений для PostgreSQL в Python. Она отличается простотой и гибкостью системы очередей одновременно с надежностью и масштабируемостью баз данных. Основные особенности: - Гибкость. Поддержка различных конфигураций и расширений для индивидуальной настройки - Надежность. Гарантированная единоразовая доставка сообщений в течении тайм-аута видимости - Компактность. Только функции Postgres упакованные в расширение, никаких фоновых процессов или внешних зависимостей - API-паритет с AWS SQS и RSMQ Установка: Самый легкий способ - запустить Tembo Docker, где PGMQ предустановлен в Postgres docker run -d --name postgres -e POSTGRES_PASSWORD=postgres -p 5432:5432 quay.io/tembo/pg16-pgmq:latest ▪ GitHub #python #PostgreSQL #pgmq #MessageQueues @pythonl

🖥 badjpg Этот полезный скрипт на Python позволяет спрятать полезную информацию внутри JPG-изображения, применяя методы стеганографии. ▪ Github git clone https://github.com/basicW/badjpg.git @pythonl

Pyxel - это игровой движок для Python в стиле ретро. Благодаря своей простоте, вдохновленной старыми игровыми консолями (например, палитра состоит всего из 16 цветов, и только 4 звука могут быть проиграны одновременно), вы можете легко создавать игры в стиле пиксель-арт. 📌 Github @pythonl

Офер в Яндекс для опытных бэкендеров за два дня 24–25 августа приглашаем бэкендеров с опытом работы от пяти лет получить офер в Яндекс через multitrack за 2 дня. Достаточно решить задачи онлайн до 20 августа и пройти несколько технических секции 24 августа, чтобы уже 25-го получить офер и выбрать три команды, к которым вам было бы интересно присоединиться. Как правило, за несколько собеседований сложно понять, подходит ли вам команда и наоборот. Multitrack позволит вам поработать в трёх разных командах Яндекса и выбрать подходящую. Вы сможете погрузиться в рабочие процессы, познакомиться с будущими коллегами и понять, с какими задачами и технологиями хотите работать. Узнать подробности и зарегистрироваться. Реклама. ООО "Яндекс". ИНН 7736207543

🖥 Crawlee-Python: Библиотека для Веб-Скрапинга. Crawlee-Python — это мощная библиотека, разработанная для выполнения задач веб-скрапинга. Она предоставляет пользователям набор инструментов и функциональности для эффективного извлечения данных из веб-страниц. Преимущества Crawlee-Python: - Легкость использования: Crawlee-Python разработан с акцентом на простоту и удобство использования, что позволяет даже начинающим разработчикам быстро освоить основные принципы веб-скрапинга и кроулинга. - Поддержка современных технологий: Библиотека поддерживает работу с современными веб-технологиями, что позволяет ей эффективно справляться с динамическими веб-страницами, используя инструменты для работы с JavaScript, такие как Puppeteer и Playwright. - Асинхронное выполнение задач: Crawlee-Python поддерживает асинхронное выполнение задач, что значительно ускоряет процесс скрапинга и позволяет одновременно обрабатывать множество запросов. - Расширяемость: Библиотека легко расширяется благодаря модульной архитектуре, что позволяет пользователям добавлять и настраивать функциональность под свои специфические нужды. - Управление сессиями и прокси: Crawlee-Python предоставляет встроенные инструменты для управления сессиями и прокси-серверами, что помогает обходить блокировки и ограничения, накладываемые веб-сайтами. - Автоматическое управление очередями: Библиотека автоматизирует процесс управления очередями задач, что упрощает организацию большого количества запросов и их выполнение. - Гибкость конфигурации: Пользователи могут гибко настраивать параметры скрапинга, такие как частота запросов, задержки между запросами, обработка ошибок и многое другое. Примеры использования: - Извлечение данных для анализа: С помощью Crawlee-Python можно автоматически собирать данные с различных веб-сайтов для последующего анализа и визуализации. - Мониторинг изменений на веб-страницах: Библиотека позволяет отслеживать изменения на веб-страницах и уведомлять пользователей о важных обновлениях. - Сбор данных для обучения моделей машинного обучения: Crawlee-Python может быть использован для сбора большого объема данных, необходимых для обучения и тестирования моделей машинного обучения. Crawlee-Python представляет собой мощный инструмент для веб-скрапинга и кроулинга, предоставляющий множество возможностей для автоматизации процесса извлечения данных из интернета. Crawlee-Python предлагает два основных типа краулеров: BeautifulSoupCrawler и PlaywrightCrawler. BeautifulSoupCrawler отлично подходит для проектов, которые требуют эффективного извлечения данных из HTML-контента без необходимости выполнения JavaScript на стороне клиента. С другой стороны, PlaywrightCrawler использует безголовый браузер для обработки веб-страниц, которые зависят от клиентского JavaScript или требуют взаимодействия с JavaScript-контентом. pipx run crawlee create my-crawler 🖥 Github @pythonl

🌟 ggshield — CLI-утилита, которую можно интегрировать в CI-конвейер для обнаружения 400+ типов захардкоженных секретов и не только — brew install gitguardian/tap/ggshield Также ggshield позволяет выявить нарушения безопасности и 70+ типов неправильно написанных конфигов в подходе IaaC. Для сканирования репозитория достаточно просто выполнить:

ggshield secret scan repo /path/to/your/repo

🖥 GitHub 🟡 Доки @pythonl