Python RU

«Библиотека программиста» запустила два новых канала для Python-разработчиков и тех, кто хочет ими стать👨‍🏫 В них мы: 🔸тренируемся на практических задачах 🔸отвечаем на популярные вопросы с собеседований 🔸проверяем свои знания Подписывайтесь: 👉Библиотека собеса по Python — тут мы готовимся к интервью 👉Библиотека задач по Python — тут решаем задачи, проходим тесты и изучаем код

⚡️ Развертывание приложений Python в Azure Будучи инженером облачных технологий, который увлекается разработкой приложений, я недавно задумался над тем, как превращать локальные прототипы/приложения в ценные инструменты, доступные другим членам организации и особенно полезные в корпоративных средах. Покажу, как легко можно запустить такие инструменты в облаке! Зачем это нужно? Часто бывает так, что талантливый программист или инженер натыкается на полезную библиотеку, фреймворк или инструмент, создает очень эффектную демо-версию, показывает ее своей команде — и на этом все заканчивается. Почему? Это может быть связано с целым рядом факторов, включая: ▪️неопределенность в отношении затрат; ▪️отсутствие идей по запуску инструмента в работу; ▪️неуверенность в учете всех ключевых моментов. Цель этой статьи — доказать, что выбрать фреймворк, создать с ним приложение и доставить его конечным пользователям можно довольно легко. В данном случае нашим выбором будет Streamlit — популярный фреймворк, помогающий создавать веб-приложения для визуализации данных. Смысл статьи заключается в том, чтобы предложить отличный способ создания приложений, который недостаточно используется. На самом деле большинство SaaS/PaaS-инструментов, таких как Power BI и Dynamics, подойдут вам в ряде случаев — будь то создание дашбордов, разработка приложения типа CRUD или чего-то еще. Однако если вы хотите использовать действительно крутые приложения (и при этом легко их создавать) и делать их доступными для других людей, читайте дальше! Что такое Streamlit и почему его стоит использовать? Лучшее описание этого инструмента дано на сайте Streamlit: это фантастическая библиотека для разработки веб-приложений, предназначенных для взаимодействия с данными. Лично мне Streamlit нравится по двум причинам. • Streamlit проще в использовании, чем многие другие инструменты. Это очень простая библиотека по созданию приложений для работы с данными. В нее можно очень легко включать компоненты, созданные в других библиотеках, таких как Seaborn и Altair. • Streamlit имеет презентабельный вид. Большинство пользователей библиотеки считают, что в ней есть je ne sais quoi (фр. — нечто, невыразимое словами, но моментально покоряющее, убеждающее в качестве). Streamlit легко использовать благодаря высокому качеству доступной документации. Следует подчеркнуть, что ни один инструмент, библиотека или фреймворк не является панацеей для решения всех проблем. Какую библиотеку выбрать и когда — это отдельный разговор, и мы не будем заострять на нем внимание. То, что будет продемонстрировано здесь, применимо и к другим фреймворкам на других языках. Как запустить приложение? 📌 Читать

Если Spark переводится как «искра», то наш хакатон по программированию с Apache Spark – это искра, буря, безумие! Он будет посвящён работе с данными и разработке ИИ – наиболее актуальным направлениям в IT. Это хорошая возможность не только прокачать свои навыки, но и заработать от 50 000 до 150 000 рублей. И даже найти работу по душе – да, такое бывает. Регистрация продлится до 29 сентября включительно, старт выполнения заданий – 2 октября в онлайн-формате, так что у вас как минимум на одну отговорку меньше. Вся нужна информация и, само собой, форма для регистрации по ссылке: https://vk.cc/cqJsjS.

🖥 Асинхронный парсер Хабра на Python • Видео • Код парсера @pro_python_code

📱 Как защитить телеграм бота от атак и перегрузок. Данный урок раскроет способы обеспечения безопасности телеграм-бота на Python. • Видео @pro_python_code

🏃Как ускорить базу данных при помощи шардирования • Шардирование было одним из первых механизмов, позволяющих распределять базы данных для повышения их производительности. Последние инновации превратили шардирование в один из лучших механизмов в своем роде. 🤔 Для чего требуется шардирование? • Традиционные базы данных порой не справляются с обработкой растущих объемов данных и нарастающего трафика запросов. Сегодня очень популярны концепции NoSQL и NewSQL – соответственно, на рынке баз данных появляется все больше продуктов, вдохновленных этими новыми концепциями. Но их одних недостаточно, чтобы решить все более серьезные проблемы с данными. Шардирование – это прием, позволяющий разбивать данные на отдельные строки и столбцы, хранимые на отдельных инстансах серверов базы данных. Так удается распределить нагрузку, оказываемую трафиком. Каждая такая малая таблица называется «шард». Некоторые NoSQL-продукты шардируются, таковы, например, Apache HBase или MongoDB. Шардинговая архитектура встроена в NewSQL-системы. 👀Как шардировать базу данных? Один из наилучших способов создания шардов таков: данные нужно разделять на множество небольших таблиц. Они также называются «сегментами» (partitions). Вот две ключевые составляющие шардирования: ▪Шардинговый ключ: конкретное значение в столбце, указывающее, в каком шарде хранится данная строка. ▪Шардинговый алгоритм: алгоритм, согласно которому ваши данные распределяются в одном или нескольких шардах. Шаг 1: Проанализировать сценарий запроса и распределение данных, чтобы найти шардинговый ключ и шардинговый алгоритм Шаг 2: Миграция имеющихся данных Шаг 3: Перебросить трафик на новый кластер Более детально тут. 👈 @sqlhub

Привет! Мы в МТС активно поддерживаем ИТ-сообщество в России и запускаем всероссийскую олимпиаду по программированию с главным призом в 3 млн рублей. Для кого? Для школьников, студентов и действующих ИТ-специалистов. Что будет? Блок онлайн-заданий, митапы и мастер-классы, общение в закрытом Telegram-канале и финальный очный тур с программированием на скорость. Когда олимпиада завершится, мы создадим True Tech Community, где будем делиться полезными и эксклюзивными материалами для разработчиков. А что еще? Финалистов ждет afterparty, фестиваль технологий, интерактив, квесты, карьерные стенды, где лучшие специалисты смогут получить оффер от МТС. Регистрация уже открыта! Подробности по ссылке. Ждем тебя! Реклама. ПАО "МТС". ИНН 7740000076. erid: LjN8K7znt

📹 Устраиваемся на работу. Решаем тестовое задание на позицию Python Junior. ▪Видео ▪Задание ▪ Код из видео ▪Тест ▪ Список реальных тестовых заданий с собеседований. @python_djangojobs

🖥 Универсальный алгоритм расчета потерь рабочего времени на Python 1. Постановка задачи, частные решения и их проблемы 2. Описание алгоритма Разберём пошагово наш алгоритм. Шаг 1: Представим наш график как список словарей по временным отсечкам для каждого дня недели в следующем виде: [{time: время, flag: цвет флага, start_finish: ‘’}] ◾️ время согласно графику работы: часы, минуты; ◾️ цвет флага: зелёный – после него время нужно учитывать, красный – после него время учитывать не нужно; ◾️ ‘’ – этому элементу позже будет присвоено значение «старт» или «финиш», в зависимости от того точка А или точка В расположена левее данной временной отсечки. Для удобства восприятия покажем только values, но подразумеваем, что keys и фигурные скобки тоже присутствуют. В нашем случае получится следующий результат: Понедельник: [{time: 10:00, flag: зелёный, start_finish: ‘’}, {time: 19:00, flag: красный, start_finish: ‘’}, {time: 13:00, flag: красный, start_finish: ‘’}, {time: 14:00, flag: зелёный, start_finish: ‘’}] И так для каждого дня. Таким образом, на этом этапе нужно составить словарь, включающий режим работы по дням недели с учетом обеденного перерыва. Мы сознательно не приводим код для этой части работы, поскольку, по сути, это подготовка данных, а не сам алгоритм расчета потерь времени. Эта часть зависит от формата представления исходных данных. Шаг 2: Схожим образом представим точки A и B: [{time: дата + время, flag: ‘’, start_finish: старт/финиш}] ▪️дата + время: год, месяц, день, часы, минуты; ▪️‘’ – на место этого элемента в дальнейшем будет подставлен красный или зелёный флаг, (по цвету флага ближайшего соседа слева на временной шкале); ▪️старт/финиш: старт – это точка А, финиш – В. A: {time: 01.03.2023 11:00, flag: ‘’, start_finish: ‘старт’} B: {time: 02.03.2023 11:00, flag: ‘’, start_finish: ‘финиш’} Шаг 3: Определим все дни между точками A и B включительно и подтянем из графика работы по этим дням все флаги, а также сами точки А и В. Данные из нашего примера превратятся в список. Теперь ключевой момент, на котором, собственно, и строится весь алгоритм: отсортируем список по возрастанию даты и времени. Это важно, т.к. позволит нам идти в цикле от отсечки к отсечке, проверяя, нужно ли включать следующий за ней отрезок в расчет. [{time: 01.03.2023 10:00, flag: ‘зелёный’, start_finish: ‘’} {time: 01.03.2023 11:00, flag: ‘’, start_finish: ‘старт’} {time: 01.03.2023 13:00, flag: ‘красный’, start_finish: ‘’} {time: 01.03.2023 14:00, flag: ‘зелёный’, start_finish: ‘’} {time: 01.03.2023 19:00, flag: ‘красный’, start_finish: ‘’} {time: 02.03.2023 10:00, flag: ‘зелёный’, start_finish: ‘’} {time: 02.03.2023 13:00, flag: ‘красный’, start_finish: ‘’} {time: 02.03.2023 13:30, flag: ‘’, start_finish: ‘финиш’}] Код для шагов 2 и 3: Подробнее

👨‍💻 7 шагов по контейнеризации Python-приложений Контейнеризация Python-приложений с помощью Docker – это отличный способ сделать их масштабируемыми и безопасными. В этом посте мы рассмотрим 7 простых шагов по контейнеризации Python-приложения с помощью Docker Шаг 1: УстановкаПервым шагом является выбор базового образа для контейнера. Мы рекомендуем использовать минимальный базовый образ, например python:3.11-slim. Это позволит уменьшить размер контейнера и повысить его безопасность. FROM python:3.11-slim Шаг 2: Создание непривилегированного пользователя Официальный образ контейнера Python не содержит предустановленного непривилегированного пользователя. Поэтому нам необходимо его создать. Мы создадим пользователя с UID 1000 и GID 1000. RUN groupadd -g 1000 python && \ useradd -r -u 1000 -g python python Шаг 3: Копирование и установка зависимостей Если ваше приложение имеет какие-либо зависимости, то их необходимо скопировать в контейнер и установить. Это можно сделать с помощью инструкций COPY и RUN. COPY requirements.txt . RUN pip install -r requirements.txt Шаг 4: Настройка рабочего каталога Далее необходимо создать внутри контейнера каталог, в котором будет храниться исходный код нашего приложения. Мы создадим каталог /app и убедимся, что он принадлежит непривилегированному пользователю, которого мы создали на шаге 2. RUN mkdir /app && chown python:python /app WORKDIR /app Шаг 5: Скопируйте код приложения Теперь необходимо скопировать исходный код нашего приложения в рабочий каталог. COPY app.py . Шаг 6: Запуск от имени непривилегированного пользователя Нам необходимо убедиться, что процессы, запущенные в нашем контейнере, будут выполняться в непривилегированном режиме. Это можно сделать с помощью инструкции USER. USER 1000 Шаг 7: Задание команды входа Наконец, необходимо указать, какая команда должна быть выполнена при запуске контейнера. Мы хотим выполнить исходный код нашего приложения, поэтому используем инструкцию CMD. CMD ["python", "app.py"] После выполнения этих шагов можно собрать образ Docker с помощью следующей команды: docker build -t my-python-app . Для запуска контейнера можно воспользоваться следующей командой: docker run -p 8080:80 my-python-app Это приведет к запуску контейнера и открытию порта 8080 на хост-машине. Теперь вы можете получить доступ к своему приложению по адресу http://localhost:8080. Ниже приведен пример Dockerfile для простого Python-приложения: FROM python:3.11-slim RUN groupadd -g 1000 python && \ useradd -r -u 1000 -g python python COPY requirements.txt . RUN pip install -r requirements.txt RUN mkdir /app && chown python:python /app WORKDIR /app COPY app.py . USER 1000 CMD ["python", "app.py"] Для создания образа Docker необходимо выполнить следующую команду: docker build -t my-python-app . Для запуска контейнера необходимо выполнить следующую команду: docker run -p 8080:80 my-python-app Это приведет к запуску контейнера и открытию порта 8080 на хост-машине. После этого вы сможете получить доступ к своему приложению по адресу http://localhost:8080. @pro_python_code

🐍 Курс «Основы программирования на Python» Старт: 2 октября Продолжительность: 2 месяца Основы Python с полного нуля, начальные знания не нужны! Идеально подойдет новичкам в сфере IT, желающим освоить один из самых популярных языков программирования в мире! Курс охватывает все основные концепции Python, начиная от базовых операций и структур данных, таких как списки и словари, заканчивая более сложными темами - функции, модули и обработка исключений. 🎓 В ходе обучения вы научитесь: — Писать прикладные программы на Python — Разрабатывать приложения для работы с файлами — Работать с регулярными выражениями — Применять условные операторы — Создавать программы с использованием циклов и функций 🏆 Выдаём сертификат при успешной сдаче экзамена 📌 Узнать подробнее о курсе Реклама. ООО "АКАДЕМИЯ КОДЕБАЙ". ИНН 9706020333. erid: LjN8K98AK

📊Python Matplotlib. Визуализация данных на PRO уровне. 📌Видео @pro_python_code

🔥 Дайджест полезных материалов из мира : Python за неделю Почитать: — Microsoft предлагает БЕСПЛАТНЫЕ онлайн курсы с сертификацией — Monitoring System (SpyWare) с C2 сервером на базе чат-бота в telegram. Часть 1: Создание бота — Тестирование производительности на Python: Пошаговое руководство с Flask — DVC — прекрасный инструмент для DataScience — Циркуль и линейка. Часть 1 — Кто отвечает за развитие Python — Архитектура высоконагруженных телеграм-ботов на Python — Let me teach you the ancient method of Fu Thai! Гнев и ненависть брутфорсеров в 2023 году — Моделирование биологических явлений с помощью Python — Визуальное RPG с долговременной памятью, генерируемое из 3 нейросетей и LLamы — Деревья решений в pySpark: от семечка до параметрической оптимизации случайного леса — Стайлгайд PySpark: как сделать код элегантным — Short-circuiting — Tuple Immutability — How Does Nerve Regen Formula Work? — Code Review - The foundation for quality software — Trying to bridge the gap between WFC “Even Simpler Tiled Model” and Constraint Satisfaction Problem (CSP) propositional rules — Code review - a unique way of debugging — Automating Product Descriptions in Odoo with OpenAI's GPT-3 and Python — Creating Own Chat GPT — Elastic D&D - Week 4 - Text Note Input — Scenario-Based Testing with Vedro Посмотреть: 🌐 Невероятная нейросеть переводит любое видео на другие языки с сохранением оригинального голоса. (⏱ 00:55) 🌐 Python анализ данных с Pandas. PandaSQL (⏱ 12:13) 🌐 Python анализ данных с Pandas. Join, merge, concat в Pandas (⏱ 19:25) 🌐 Python+SQL часть2 создание таблиц. (⏱ 05:15) 🌐 Управление жестами всегда было в ваших часах, просто его нужно было активировать. (⏱ 00:11) 🌐 Уроки Golang с нуля /#28 - Встраивание типов (⏱ 06:16) 🌐 Python анализ данных с Pandas. (⏱ 17:04) 🌐 Уроки Golang с нуля /#27 - Bufio. Чтение и запись (⏱ 10:35) 🌐 Задание 12 | ЕГЭ по информатике | ДЕМО-2024 (⏱ 04:58) 🌐 Задание 13 | ЕГЭ по информатике | ДЕМО-2024 (⏱ 04:05) 🌐 Python для начинающих. Урок 11 | Списки (⏱ 22:42) 🌐 Сколько зарабатывают программисты в Google #shorts (⏱ 00:50) 🌐 Email рассылка с Яндекс почты с помощью Python (⏱ 05:05) Хорошего дня! @pro_python_code

🧡Создание приложения для потоковой передачи видео с физическими элементами управления Как создать на Python приложение для потокового видео, которым можно управлять с помощью физических кнопок? Мы будем использовать микроконтроллер (например, Arduino или Raspberry Pi) для взаимодействия с физическими кнопками и обмена данными с нашей программой на Python. Цель – запускать и останавливать потоковое видео нажатием физических кнопок. Необходимые условия: Прежде чем мы начнем, вам потребуется следующее: 1. Компьютер с установленным Python. 2. Веб-камера, подключенная к компьютеру. 3. Микроконтроллер (например, Arduino, Raspberry Pi) с подключенными к нему кнопками. 4. Базовые знания по программированию на языке Python. Настройка оборудования ✔️ Сначала настройте аппаратные компоненты: • Подключите физические кнопки к микроконтроллеру. • Убедитесь, что у вас есть необходимые резисторы и провода для подключения кнопок. • Напишите простую микропрограмму для микроконтроллера, которая будет распознавать нажатие и отпускание кнопок. Установление связи ✔️ Далее следует установить канал связи между программой на языке Python и микроконтроллером. Для этого можно использовать последовательный интерфейс USB или другие интерфейсы в зависимости от выбора аппаратного обеспечения. В данном примере мы будем использовать последовательный интерфейс USB. Написание кода на языке Python ✔️ Теперь напишем код на языке Python для управления видеопотоком с помощью физических кнопок. Мы будем использовать OpenCV для захвата видео с веб-камеры и вывода его на экран. Кнопки, подключенные к микроконтроллеру, будут передавать команды на запуск и остановку видеопотока. import cv2 # Initialize the webcams cap_self = cv2.VideoCapture(0) cap_other = cv2.VideoCapture(1) # Change the index to the appropriate camera for the other user # Check if the webcams are opened successfully if not cap_self.isOpened() or not cap_other.isOpened(): print("Error: Could not open one or both of the webcams.") exit() # Create a window to display both video feeds side by side cv2.namedWindow("Video Chat App", cv2.WINDOW_NORMAL) cv2.resizeWindow("Video Chat App", 640, 480) # Adjust the window size as needed while True: # Read frames from both webcams ret_self, frame_self = cap_self.read() ret_other, frame_other = cap_other.read() if not ret_self or not ret_other: print("Error: Could not read frames from one or both of the webcams.") break # Resize frames to have the same dimensions (optional) frame_self = cv2.resize(frame_self, (320, 240)) frame_other = cv2.resize(frame_other, (320, 240)) # Concatenate frames horizontally to display side by side display_frame = cv2.hconcat([frame_self, frame_other]) # Display the concatenated frame in the window cv2.imshow("Video Chat App", display_frame) # Break the loop when the 'q' key is pressed if cv2.waitKey(1) & 0xFF == ord('q'): break # Release the webcams and destroy the window cap_self.release() cap_other.release() cv2.destroyAllWindows() Тестирование установки Загрузите в микроконтроллер микропрограмму для обнаружения нажатия кнопок. Убедитесь, что она посылает команду “START” (s – ‘старт’ в моем коде) при нажатии одной кнопки и команду “STOP” (q – ‘стоп’ в моем коде) при нажатии другой кнопки. Запустите программу на Python на своем компьютере. При нажатии соответствующей кнопки на микроконтроллере вы должны увидеть в окне OpenCV запуск и остановку видеопотока. ⬅️ Мы создали приложение для потоковой передачи видео с физическими кнопками запуска и остановки с помощью Python и микроконтроллера. ⬅️ Этот проект демонстрирует, как интегрировать аппаратные элементы управления с программой на Python для расширения функциональности и улучшения взаимодействия с пользователем. ⬅️ Вы можете расширить этот проект, добавив дополнительные функции или интегрировав его с другими аппаратными компонентами. @pro_python_code

Python+SQL. Операции с записями ▪Видео ▪Часть2 ▪Часть 1 @pro_python_code

🐍 Как сделать снимок экрана с помощью Python Мы рассмотрим, как сделать снимок экрана с помощью python в рабочем столе с помощью пакета pyautogui, который используется для автоматизации графического интерфейса. 🟢Сначала установим пакет, выполнив команду pip install pyautogui 🟢Создание снимков экрана с помощью python Чтобы сделать снимок экрана с помощью python в рабочем столе, импортируйте модуль pyautogui, который имеет множество функций, но в данном случае мы будем использовать метод снимка экрана. import pyautogui screen = pyautogui.screenshot() screen.save("my_image.png") При этом будет сделан скриншот всего экрана и сохранен в текущем рабочем каталоге, для сохранения изображения в другом каталоге измените путь в функции save. 🟢 Сохранение снимков экрана в папке import pyautogui screen = pyautogui.screenshot() screen.save("test/image/my_image.png") • Github @pro_python_code

Python — это не только язык для разработки, но ещё и основной инструмент для анализа данных. Как войти в профессию наиболее быстро и качественно? 1. Изучить теорию и сразу отработать её на практике 2. Учиться у ведущих специалистов в сфере Data Science 3. Начать искать работу уже во время обучения Чтобы вы успешно справились со всеми пунктами, ведущие аналитики из VK, Яндекс Go, Циан и JetBrains разработали курс «Аналитик данных». Программа составлена так, чтобы вы избежали распространённых ошибок новичков и быстрее прошли путь от начала учёбы до первого оффера. С трудоустройством обязательно поможем: вместе составим сильное резюме и организуем собеседования в хорошие компании. Записывайтесь на следующий поток: https://karpov.courses/analytics Кстати, сейчас на курс скидка, а по промокоду PYTHON45RU для вас действует дополнительная скидка 5% до 27 сентября. Реклама. ООО "Карпов Курсы". Erid: LjN8KSpDV

🖥 Python+SQL часть2 создание таблиц. ▪Видео ▪Часть 1 @sqlhub

🖥 Python анализ данных с Pandas. Join, merge, concat в Pandas • Video • Код из видео ▪Часть 1 ▪Часть 2 @machinelearning_ru

⬅️ Использование WebSocket с Python Что такое WebSocket? Обычно для обмена данными в интернете используется протокол передачи гипертекста (HTTP, HyperText Transfer Protocol). Он работает по алгоритму запрос/ответ. Когда веб-браузеру нужны данные с веб-сервера, он выполняет запрос, на который веб-сервер возвращает данные через ответ: изображение 1. ☝️Чтобы поддерживать актуальную версию веб-страницы, браузеру необходимо достаточно часто выполнять запросы для получения данных с веб-сервера. Этот процесс называется опросом (polling). Если данные нужно обновлять постоянно, он становится чрезмерно затратным, поскольку и клиент, и сервер постоянно выполняют запросы и ответы. С другой стороны, постоянный опрос бесполезен, если данные на сервере меняются редко (или нерегулярно). Но если уменьшить частоту опроса, браузер может пропустить важные обновления данных. Гораздо больше возможностей предлагает технология WebSocket, которая предоставляет канал связи на основе сокетов между веб-браузером и веб-сервером. Такое полностью дуплексное соединение, позволяющее и клиенту, и серверу одновременно отправлять и получать данные, весьма полезно для веб-приложений, работающих в режиме реального времени. Алгоритм работы WebSoket показан на изображении 2. ▪Сначала веб-браузер инициирует запрос к веб-серверу, отправляя HTTP-заголовок “can we upgrade to websocket”. ▪Если веб-сервер поддерживает WebSocket, он возвращает ответ с заголовком “OK to upgrade to websocket”. ▪Затем устанавливается долговременное двунаправленное соединение с сокетом. ▪И клиент, и сервер смогут обмениваться данными, используя это сокет-соединение. С WEBSOCKET ТАКЖЕ МОЖНО ИСПОЛЬЗОВАТЬ ДЛЯ ПОДКЛЮЧЕНИЯ К СОКЕТАМ ПОРТЫ 80 (HTTP) И 443 (HTTPS). ЭТО ПОЗВОЛЯЕТ РАБОТАТЬ С WEBSOCKET ДАЖЕ ЧЕРЕЗ ПРОКСИ-СЕРВЕР И БРАНДМАУЭР. Создание сервера WebSocket 📌 Читать