Python Academy

Отправляем универсальные уведомления Наткнулся на интересный пакет notifiers, который позволяет отправлять уведомления на почту, через Телеграм бота, в Слэк и еще много куда. Всего доступно 16 провайдеров, подробнее про них в документации. В функцию get_notifier передаем название провайдера в виде строки и получаем объект, с которым можно работать. Отправить уведомление можно с помощью универсального метода notify. Если не уверены, какие аргументы нужно передать для отправки уведомления, то можете посмотреть их через атрибут required у созданного объекта. Например, для Телеграма нужно передать токен бота, айди чата и само сообщение. В случае с почтой необходимо указать логин, пароль, адресата и также сообщение. #уведомления #notifiers

frozenset frozenset представляет собой неизменяемое множество. Основное отличие между set и frozenset заключается в том, что set является изменяемым типом данных, тогда как frozenset не может быть изменен после создания. Вот несколько ключевых особенностей frozenset: Неизменяемость: Это означает, что вы не можете добавлять, удалять или изменять элементы в frozenset после его создания. Хешируемость: Поскольку frozenset неизменяем, он является хешируемым, что означает, что его можно использовать в качестве ключа в словарях и элемента множества. Обратите внимание, что, поскольку frozenset не поддерживает изменения, некоторые методы, которые изменяют множество (например, add, remove, discard), не применимы к frozenset. Однако, вы можете выполнять операции, возвращающие новые frozenset, такие как объединение и пересечение. #python

Введение в машинное обучение с библиотекой Scikit-Learn в Python Сегодня мы поговорим о машинном обучении и о библиотеке Scikit-Learn , которая является мощным инструментом для создания и обучения моделей машинного обучения в Python. Scikit-Learn предоставляет широкий спектр алгоритмов и инструментов для задач классификации, регрессии, кластеризации, и многих других. Это отличное введение в мир машинного обучения. Что такое Scikit-Learn? Scikit-Learn (sklearn) - это библиотека машинного обучения для Python, которая предоставляет простой и единый интерфейс для множества алгоритмов машинного обучения. Она поддерживает задачи как классификации, так и регрессии, а также кластеризации, извлечение признаков, и многое другое. Scikit-Learn также включает в себя множество инструментов для предобработки данных и оценки производительности моделей. Для чего можно использовать Scikit-Learn? 1. Классификация: Scikit-Learn предоставляет множество алгоритмов классификации, таких как метод опорных векторов (SVM), случайные леса, наивный байесовский классификатор, логистическая регрессия и другие. Эти алгоритмы позволяют решать задачи бинарной и многоклассовой классификации. 2. Регрессия: Scikit-Learn поддерживает регрессию, что позволяет создавать модели для прогнозирования числовых значений. Линейная регрессия, регрессия на основе деревьев, и множество других методов доступны для решения задач регрессии. 3. Кластеризация: Для задач кластеризации, Scikit-Learn предоставляет алгоритмы, такие как K-средних, иерархическая кластеризация, агломеративная кластеризация и многое другое. Эти методы позволяют группировать данные на основе их сходства. Scikit-Learn предоставляет множество инструментов для выбора, настройки и оценки моделей машинного обучения. Она идеально подходит для начинающих и опытных разработчиков, желающих погрузиться в мир машинного обучения.

RabbitMQ: Брокерская система сообщений для асинхронной обработки данных RabbitMQ - это мощная и надежная брокерская система сообщений, которая предназначена для обеспечения асинхронного обмена данными между различными компонентами вашего приложения. Эта брокерская система стала широко используемой в индустрии благодаря своей производительности, надежности и гибкости. Для взаимодействия с RabbitMQ на языке программирования Python часто используется библиотека pika. Pika предоставляет удобный интерфейс для работы с RabbitMQ, позволяя отправлять и принимать сообщения в очереди. Ключевые характеристики RabbitMQ: 1. Асинхронность: RabbitMQ предоставляет механизм асинхронной обработки сообщений. Это позволяет разным частям вашего приложения обмениваться данными, не блокируя друг друга. 2. Маршрутизация: RabbitMQ обеспечивает гибкую маршрутизацию сообщений с использованием обменников (exchanges) и очередей (queues). Это позволяет точно определить, какие сообщения должны быть отправлены в какие очереди. 3. Надежность: RabbitMQ обеспечивает сохранность данных даже в случае сбоев. Он поддерживает различные стратегии обработки ошибок и перенаправления сообщений. 4. Поддержка множества протоколов: RabbitMQ поддерживает несколько протоколов связи, включая AMQP (Advanced Message Queuing Protocol) и MQTT (Message Queuing Telemetry Transport). Это делает его универсальным и пригодным для различных типов приложений.

Возвращаем значение по указанному ключу с помощью метода setdefault() Метод setdefault() в Python возвращает значение по указанному ключу из словаря. Если ключ отсутствует в словаре, метод добавляет ключ в словарь со значением по умолчанию, а затем возвращает это значение. Метод setdefault() имеет два параметра: — Ключ, по которому необходимо получить значение. — Значение по умолчанию, которое будет добавлено в словарь, если ключ отсутствует. Если ключ присутствует в словаре, метод возвращает значение, связанное с этим ключом. Если ключ отсутствует в словаре, метод добавляет ключ в словарь со значением по умолчанию, а затем возвращает это значение.

Валидаторы данных Как правило, разработчики пишут регулярные выражения для обработки специфических строк. Но для таких данных как, почта или ссылка, изобретать велосипед не нужно. Модуль validators позволяет использовать уже готовые валидаторы для самых распространенных задач. В примере можете как раз увидеть валидацию почты и ссылок. Помимо этого, validators позволяет также работать с ipv4, ipv6, mac адресами и многим другим. В итоге, имеем лаконичный и простой модуль с хорошим функционалом. #python #validators

Функция reduce В Python модуль functools открывает доступ к функциональным возможностям языка. Одной из замечательных функций в этом модуле является reduce, которая эффективно уменьшает коллекцию данных, последовательно применяя к ним заданную функцию и сохраняя промежуточные результаты. Примером работы reduce может служить последовательное умножение чисел: сначала 1 умножается на 2, затем полученный результат умножается на 3, и так далее. #python #functools

Читаем текст с картинки используя Tesseract от Google Google разработал систему Tesseract для извлечения текста из изображений через оптическое распознавание символов. Pytesseract - это удобная оболочка для системы Tesseract, облегчающая её использование. Чтобы извлечь текст из изображения, используйте метод image_to_string. Для работы с русским текстом укажите аргумент lang как 'rus'. Рекомендуется использовать библиотеку pillow для открытия изображений, хотя можно также просто указать путь к файлу. Пример кода:

from PIL import Image
import pytesseract

# Открываем изображение с помощью Pillow
image = Image.open('image.jpg')

# Используем pytesseract для извлечения текста
text = pytesseract.image_to_string(image, lang='rus')

print(text)

#python #pytesseract

Декоратор override @override используется для переопределения методов в классах-наследниках. Он позволяет указать, что метод в подклассе переопределяет метод базового класса. Это может быть полезно для: — Повышения читабельности кода, так как сразу видно, какие методы переопределены. — Выявления ошибок: если имя метода в дочернем классе не совпадает с именем в родительском, будет выдана ошибка. — Проверки типов аргументов: декоратор гарантирует, что типы аргументов совпадают с базовым методом. #python #decorators

Полезные функции модуля itertools Модуль itertools - инструмент в Python для работы с итерируемыми объектами. Он предоставляет различные функции для создания и манипулирования итераторами, что делает его незаменимым инструментом для разработчиков. Давайте рассмотрим некоторые полезные функции из этого модуля: 1. itertools.count(): Эта функция создает бесконечный итератор, который генерирует последовательность чисел, начиная с заданного значения. Это удобно использовать, например, при создании уникальных идентификаторов. 2. itertools.cycle(): Эта функция создает итератор, который бесконечно повторяет элементы из исходной последовательности. Это может быть полезно, когда вам нужно обрабатывать данные циклически. 3. itertools.islice(): С помощью этой функции можно получить срез элементов из итератора, подобно срезу для списков. Это позволяет работать с большими итерируемыми объектами без необходимости загрузки их в память целиком. 4. itertools.chain(): Эта функция объединяет несколько итерируемых объектов в один, что упрощает итерацию по ним как по одному объекту. 5. itertools.groupby(): Эта функция позволяет группировать элементы итерируемого объекта на основе заданного ключа. Это особенно полезно при анализе и обработке данных. И это далеко не все функции, доступные в модуле itertools. Он предоставляет множество возможностей для более эффективной итерации и манипуляции данными.

Возврат нескольких значений из функции Знаете ли вы, что можно осуществлять возврат нескольких значений из функции? Вот как это сделать. Ознакомьтесь с приведенным выше примером кода. #python

Понимание различий между операторами сравнения == и is Множество разработчиков сталкиваются с трудностями в отличии двух операторов сравнения: == и is, что может привести к неожиданным ошибкам в коде. Оператор == сравнивает значения двух объектов, чтобы определить их равенство. В отличие от него, оператор is проверяет, ссылаются ли две переменные на один и тот же объект в памяти, тем самым проверяя их идентичность. В Python из соображений эффективности происходит кэширование небольших чисел и коротких строк, что может привести к путанице и неочевидным результатам при использовании этих операторов. #python

16 октября пройдет митап about:cloud — infrastructure Неформальная встреча для тех, кто каждый день работает с инфраструктурой и сетевыми сервисами. В программе: — Управление тысячами выделенных серверов; — Развитие и устройство NFS; — Headless в VPC; — Автоматизация приватных соединений; — Опыт работы с малыми S3-инсталляциями. Митап — это не только доклады, но и живое общение со спикерами и коллегами по индустрии. Формат: офлайн в Москве + онлайн для участников из любых городов Регистрируйтесь, чтобы первыми узнать об изменениях сервисов от разработчиков Yandex Cloud.

Красивый вывод таблиц Недавно нам понадобилось логировать часть базы данных. И тут мы вспомнили про прекрасный модуль prettytable, который позволяет красиво выводить таблицы. Итак, имена столбцов задается с помощью атрибута table.field_names. А добавлять строки с данными в таблицу можно методом table.add_row([]), передавая туда список элементов. Но даже если вы не фанат командной строки, то иногда нужно сохранить отчет о работе вашей программы в текстовый файл. В таком случае можно сохранить саму таблицу, вызвав метод table.get_string(). #трюки #prettytable

FFmpeg: Лучшее решение для обработки мультимедийных файлов FFmpeg - это бесплатная и открытая библиотека и набор инструментов для обработки мультимедийных файлов. Она предоставляет мощные возможности для работы с видео, аудио и другими мультимедийными данными. FFmpeg является одним из самых популярных и универсальных инструментов для обработки мультимедиа в мире. Для начала использования FFmpeg, вы можете установить библиотеку командой pip install ffmpeg-python. После этого, вы можете создавать собственные скрипты для обработки видео и аудио файлов, определяя нужные операции и параметры. ffmpeg-python обладает мощными возможностями для конвертации, обрезки, склеивания и многого другого. Исходный код и документация доступны тут

Применяем pathlib взамен os В Python 3 стандартная библиотека включает модуль pathlib, предоставляющий функцию Path, которая обеспечивает все необходимое для эффективной работы с путями к файлам. Одно из наиболее впечатляющих преимуществ использования pathlib - это упрощение работы с путями за счет использования Path вместо os.path.join, представляя более простой и изящный метод, как показано на изображении. В общем, этот модуль предлагает замену функциям для работы с файловыми путями из модуля os, таким как os.mkdir или os.path, на более удобные альтернативы. #path #os

Объединяем видео и аудио потоки Итак, дополнение к предыдущему посту. Из-за технологии потоковой передачи DASH (Dynamic Adaptive Streaming over HTTP), используемой youtube, мы не можем получить сразу видео в нужном качестве со звуковой дорожкой из-за ее отсутствия в потоке. В качестве решения мы можем по отдельности забрать аудио и видео и объединить с помощью утилиты ffmpeg. Для этого выбираем нужные потоки video и audio, после чего передаем url'ы в команду для инициирования создания процесса для скачивания и объединения потоков с помощью ffmpeg. #youtube

True Tech Champ 2025 Программируешь на Python, C++ или другом языке? Проверь себя на всероссийском чемпионате от МТС и поборись за часть призового фонда в 10 250 000 ₽. Два трека: Алгоритмический — классический олимпиадный формат, призовой фонд 2,75 млн ₽. Программирование роботов — напиши код, чтобы робот прошёл лабиринт и реальные испытания на шоу-финале в Москве. Призовой фонд 7,5 млн ₽. Трек будет интересен начинающим и опытным разработчикам: С++, Go, Python, JS, Java, C# и не только. Регистрация открыта до 20 октября. Подробности тут.

Универсальный парсер статей Пакет newspaper3k позволяет парсить статьи и извлекать из них заголовки, текст, дату публикации, имена авторов и много другой информации. Плюс пакета в том, что весь процесс парсинга автоматизирован и не надо вручную искать нужные теги и тянуть из них данные. Но точность парсера зависит в основном от того, как хорошо сверстана запрашиваемая страница. Поэтому в некоторых случаях результат может отличаться от ожиданий. #парсер #newspaper3k

Ускоряем код с помощью векторизации Одним из приемов для ускорения работы циклов является векторизация вычислений, т. е. использование функций, которые поддерживают операции над векторами. Вообще лучший способ ускорить любой цикл – это отказаться от него. В примере выше для работы с функцией my_func мы могли бы вызвать ее в цикле для каждого элемента списка, но гораздо проще использовать vectorize. По сути, vectorize преобразует функцию таким образом, что она начинает принимать весь вектор целиком, а не отдельный его элемент. Надо помнить, что такой подход не всегда приводит к значительному ускорению. #vectorize #numpy