Python Academy

Управления файлами и директориями в Python с библиотекой shutil Сегодня мы рассмотрим библиотеку shutil, которая предоставляет удобные инструменты для копирования, перемещения, удаления файлов и директорий, а также многие другие операции с файловой системой, используя Python. Что такое shutil? shutil - это модуль в стандартной библиотеке Python, предназначенный для облегчения операций с файлами и директориями. Он предоставляет высокоуровневый интерфейс для выполнения множества файловых операций без необходимости низкоуровневого взаимодействия с операционной системой. Это делает его незаменимым инструментом для автоматизации задач, связанных с управлением файлами. Примеры использования shutil доступны на фото. shutil также предоставляет возможность архивировать и разархивировать файлы и директории, переименовывать файлы, а также многое другое. Библиотека shutil очень полезна для автоматизации рутинных задач, связанных с управлением файлами и директориями. #python #shutil

Яндекс Лицей объявляет о старте нового набора: интенсивные IT-программы для школьников и студентов колледжей. Обучение стартует осенью в более чем 150 городах России. Приём заявок открыт до 10 сентября. — «Основы программирования на Python» (для новичков): изучите синтаксис Python, научитесь анализировать данные, строить графики и создавать простые программы для уверенного старта в IT. — «Промышленное программирование на Python» (для знающих Python): разработка веб-приложения на Flask, создание навыков для Алисы, чат-ботов и тесты программы с unittest/pytest. Курсы бесплатные, но предусмотрен отборочный этап. Сертификат по окончании даст дополнительные баллы при поступлении в вузы-партнеры. Подать заявку на отбор можно по ссылке.

Находим файлы по шаблону Основной фишкой модуля glob является удобная и лаконичная работа с поиском файлов по паттернам. Более того, можно даже пройтись по директориям рекурсивно. В одноименный метод glob передаётся шаблон для поиска файлов, а возвращается список с результатами. Все методы следуют механизму и правилам сопоставления паттернов в стиле Unix. Вообще модуль является встроенным, но в некоторых ситуациях импорт может выдать исключение. В таком случае надо просто его переустановить через пакетный менеджер pip. #glob

Missingno Большие грязные наборы данных и часто отсутствующие значения в них — это одна из частых проблем при работы с датасетами, и это важно отлавливать такие моменты. Для таких целей существует Missingo — библиотека, которая имеет в себе небольшой набор простых в использовании средств для визуализации отсутствующих данных и утилит, которые позволяют быстро получить сводку полноты или отсутствия вашего набора данных. Интерактивный пример — тут. #Missingo

Отлавливаем баги с assert При выполнении инструкции assert с логическим выражением, результат которого равен True, ничего не произойдет. Но если попробовать выполнить инструкцию assert с логическим выражением, которое равно False, то будет сгенерировано исключение AssertionError.   Исключения AssertionError предназначены скорее для отладки. При написании программ на этапе разработки мы можем видеть, что делаем что-то не так (например, передали в метод некорректное значение).  Также не нужно, к примеру, обрабатывать пользовательский ввод и пытаться обработать исключение AssertionError блоком try-except. Если в вашем коде будет очень много assert'ов, то это затронет и производительность программы. #исключения #assert

Big tech night — это «ночь музеев» в мире IT, где Яндекс, Сбер, X5, Т-Банк и Lamoda впервые приглашают за кулисы. Формат, придуманный в Яндексе, подойдёт как для тех, кто уже работает в IT, так и для тех, кто только мечтает туда попасть. Здесь можно: — увидеть, как создаются технологии, которые меняют привычный мир; — познакомиться с коллегами и обменяться опытом; — задать неудобные вопросы; — почувствовать себя частью комьюнити. Вас ждут доклады, иммерсивные экскурсии и атмосфера IT-андеграунда. А если вы не в Москве, подключайтесь к онлайн-студии с двумя потоками — от серьезных дискуссий для гиков до лампового ночного шоу с историями из жизни. Когда: 12 сентября Где: Москва или онлайн Регистрация — здесь.

Вычисление выражений Python Вы наверняка знакомы с eval, но знаете ли вы о literal_eval? Вряд ли. Для безопасного исполнения выражений, содержащих исключительно литералы, вы можете делать так, как показано на картинке выше. Между прочим, данная фича находится в языке уже очень давно. #tips #eval

Воспроизводим аудиофайлы Для этого воспользуемся кроссплатформенным пакетом playsound, который легко устанавливается через pip. Он содержит в себе лишь одну полезную функцию для воспроизведения аудиофайла: playsound('path/to/file.mp3') В качестве параметра функции можно указать путь к .mp3 или .wav файлу, или вообще его url. #audio

⚡️ Мы сделали нового книжного бота — он гораздо быстрее по скорости, в нем в 4 раза больше книг, исправлена ошибка с форматами, теперь есть все форматы, включая PDF В случае блокировки этого бота тот бот будет жить, срочно сохраняйте нового бота, чтобы читать все книги мира: @flibustatopbot

​​Получаем срез из бесконечного генератора Вероятно, у многих были случаи, когда требовалось получить конечный список элементов из бесконечного генератора. И в целом задача вполне простая, но сейчас рассмотрим лаконичный вариант — воспользуемся пакетом itertools, в котором есть функции на все случаи генераторов. В нашем случае понадобится islice, который как раз берет "срез" из генератора. В аргументах указываем объект генератора и длину среза. Для примера мы написали функцию-генератор, которая вычисляет числа Фибоначчи. Результат можете посмотреть на картинке. #itertools

Pandas: Работа с данными и анализ в Python pandas - это мощная библиотека, предназначенная для обработки и анализа данных в языке программирования Python. Она предоставляет удобные и эффективные средства для работы с табличными данными, такими как CSV-файлы, базы данных и многое другое. Одним из ключевых преимуществ pandas является его гибкость и удобство. Вы можете использовать эту библиотеку для чтения, записи, фильтрации, сортировки и агрегации данных, делая процесс обработки информации более интуитивным и эффективным. Для начала работы с pandas, вам нужно установить библиотеку командой pip install pandas. После установки , вы можете создавать скрипты для анализа данных, манипулировать таблицами, вычислять статистику и визуализировать результаты. pandas предоставляет множество функций и методов для работы с данными, что делает его универсальным инструментом для анализа информации. С помощью pandas, вы можете значительно упростить процесс анализа данных и получения ценной информации из них. Это помогает принимать более обоснованные решения, оптимизировать бизнес-процессы и улучшить понимание ваших данных. Код с поста доступен тут Файл example.csv доступен тут

Легкий веб-фреймворк Bottle – это быстрый, простой и легкий микро-веб-фреймворк WSGI для Python. Он распространяется как единый файловый модуль и не имеет никаких зависимостей, кроме стандартной библиотеки Python. Несмотря на свою минималистичность, Bottle предоставляет довольно широкие возможности, которых на 100% хватает для мелких и средних проектов. Вот список основных возможностей: routing, templates, POST-routing, обработка форм, cookies и сервер. После запуска подобного примера можете перейти в браузере по адресу localhost:5000/hello/world и посмотреть на результат, полученный из всего пяти строк кода. #python #bottle

Список импортов по умолчанию Для ограничения импорта переменных, функций и классов по умолчанию можно использовать список __all__, в который записываются названия объектов, которые будут подключены. Таким образом, при импорте вида from module import * из модуля c подобной записью подключатся только объекты с названиями из списка __all__. Тем не менее, в примере выше импортировать функцию foo из такого модуля всё ещё можно, например, с помощью записи from module import foo. #модули

​​Сортировка пузырьком Для сортировки списков в Python уже есть встроенные функция sorted() и метод .sorted(), но достаточно важно самому знать хотя бы несколько реализаций. Суть алгоритма в том, что совершается несколько проходов по массиву. При проходе последовательно сравниваются пары элементов в массиве и в случае несоответствия выбранному порядку меняются местами. Если пары элементов находятся в верном порядке, то ничего не происходит. В результате первого прохода максимальный элемент окажется в конце, то есть всплывет словно пузырек. Затем все повторяется до того момента пока весь массив не будет отсортирован. Последний проход будет по отсортированному массиву. #списки #сортировка

Тестирование на pytest pytest — ближе по духу к языку Python нежели unittest, которая накладывает определенные обязательства при разработке тестов. Например, создание классов-наследников от TestCase или выполнение определенной процедуры запуска тестов. Но при разработке на pytest ничего этого делать не нужно. Вы просто пишете функции, которые должны начинаться с "test_" и используете assert, встроенные в Python. Также он поддерживает запуск тестов на unittest и nose, то есть полная обратная совместимость с ними. #тестирование #pytest #assert

Deep-Translator: Мощный инструмент для многоязычного перевода в Python Deep-Translator - это выдающаяся библиотека на Python, разработанная для удобного и качественного перевода текстов на различные языки используя более 10 сервисов! Она предоставляет удобные инструменты для автоматического перевода текста, с опцией перевода между более чем 100 языками мира. Deep-Translator обладает высокой точностью перевода, а также поддерживает множество функций для настройки перевода под ваши потребности. Deep-Translator также предоставляет возможность работы с различными API сервисами перевода (Google Translate, Yandex Translator, и т.д.), что делает его гибким инструментом для разработчиков. Одним из плюсом использования Deep-Translator является его способность работать с текстами разных языков и поддерживать большое количество языковых пар для перевода. Deep-Translator - это отличный инструмент для многоязычного перевода ваших текстов, который поможет вам сделать ваши проекты доступными для широкой аудитории. Документация доступна тут

Картографическая визуализация с использованием Folium Folium обеспечивает интеграцию данных на карты, позволяя создавать как фоновые картограммы, так и размещать на картах векторные, растровые и HTML элементы в виде маркеров. Эта библиотека поддерживает пользовательские наборы тайлов от MapBox или Cloudmade. В арсенале Folium имеются различные типы маркеров, от простых маркеров местоположения со стандартными листовками, содержащими всплывающие окна и HTML подсказки, до возможности встраивания изображений, видео, а также GeoJSON и TopoJSON объектов. Посмотреть результат выполнения кода со скрина можно тут -- https://i.imgur.com/QhNDb5I.png #python #folium

Скачиваем вебсайты целиком Максимально простой, но при этом мощный пакет pywebcopy поможет вам клонировать отдельные веб-страницы или даже целые сайты. Функция save_webpage скачивает страницу по указанной ссылке, в аргументы также можно передать путь, куда сохранить результат. А вот save_website дает возможность скачать целый вебсайт рекурсивно. Например, если сайт представляет из себя блог, то скрипт скачет все статьи, которые есть на сайте. Но здесь надо быть аккуратнее, подобная рекурсивная загрузка отправит много запросов к серверу и может сильно нагрузить его, если на сайте много страниц. #pywebcopy

Получаем текст с картинки У Google есть система Tesseract, которая позволяет парсить текст с картинок с помощью оптического распознавания символов. И в качестве обертки над их системой, был создан пакет pytesseract, который максимально удобно и легко использовать. Для того, чтобы получить текст с картинки, нужно вызвать метод image_to_string. Если вас интересует текст на русском, то следует указать аургмент lang как 'rus'. Еще важно, что для открытия картинок рекомендуется использовать pillow, хоть и имеется возможность просто указать путь к файлу в виде строки. #pytesseract

Работа с PDF файлами используя PyPDF2 В этом посте, вы узнаете, как работать с PDF-файлами в Python. PyPDF2 предоставляет функциональность для работы с PDF-файлами в Python, позволяя автоматизировать процессы обработки и анализа документов в формате PDF. Пример кода:

import PyPDF2

with open('example.pdf', 'rb') as file:

    pdf_reader = PyPDF2.PdfReader(file)

    num_pages = len(pdf_reader.pages)
    print(f"Количество страниц в PDF: {num_pages}")

    first_page_text = pdf_reader.pages[0].extract_text()
    print("Текст с первой страницы:")
    print(first_page_text)

    pdf_writer = PyPDF2.PdfWriter()

    pdf_writer.add_page(pdf_reader.pages[0])

    with open('new_document.pdf', 'wb') as new_file:
        pdf_writer.write(new_file)

print("Обработка PDF завершена.")

В этом примере мы открываем PDF-файл, используя PyPDF2, извлекаем информацию о количестве страниц и тексте с первой страницы. Затем мы создаем новый PDF-файл, добавляем в него первую страницу и сохраняем его под именем "new_document.pdf". PyPDF2 - это мощный инструмент для работы с PDF-документами в Python. Он предоставляет возможности для чтения, создания и манипулирования PDF-файлами, что делает его отличным выбором для автоматизации задач, связанных с обработкой документов в этом формате. #python #pypdf2