Python академия

Управление версиями Python Инструмент pyenv позволяет легко переключаться между несколькими версиями Python. Он прост в использовании и следует лучшим традициям UNIX, где каждая утилита хорошо выполняет одну свою задачу. Вкратце, основной функционал pyenv выглядит так: — Позволяет изменять глобальную версию Python для каждого пользователя; — Обеспечивает поддержку версий Python для каждого проекта; — Позволяет переопределить версию Python с помощью переменной окружения; — Выполняет поиск команд из нескольких версий Python одновременно. Подписывайтесь на канал 👉@pythonofff

Генераторные фунции (generator functions) Если предикатов фильтрации или обработчиков элементов списка много, то удобнее использовать генераторы. Они могут не дать прироста скорости, но помогут сэкономить память. Генераторной фунцией в python называется функция, которая ведет себя как итератор. Для определения генераторной функции нужно использовать ключевое слово yield Подписывайтесь на канал 👉@pythonofff

Аннотации типов Python имеет динамическую типизацию и позволяет нам оперировать переменными разных типов, и иногда у нас бывают ошибки, связанные с некорректной передачей данных неверного типа. В современных версиях 3.6+ добавилась поддержка аннотации типов переменных, полей класса,аргументов и возвращаемых значений. Подписывайтесь на канал 👉@pythonofff

Профилирование Профилирование — это процесс, который помогает при работе с данными и их обработке. Пожалуй, одна из самых известных Python-библиотек для этого – Pandas. Данная библиотека является довольно понятной в использовании и благодаря ей можно быстро выполнять анализ данных. Кроме того, Pandas имеет встроенную функцию .plot() как часть класса DataFrame, что позволяет демонстрировать на графиках обрабатываемые данные. Подписывайтесь на канал 👉@pythonofff

Рисуем графики Графическая библиотека plotly позволяет создавать интерактивные качественные графики в Python. В сегодняшнем примере применим эту библиотеку чтобы построить простой линейный график. Сначала нам нужен список с данными, которые мы хотим изобразить на графике. Это может быть, например, список или numpy массив: data = [1, 1.3, 2.1, 4, 3.5, 7] Далее метод fig = px.line(y=data) принимает наши данные и строит график в виде точек с координатами из массива и обьединяет их линиями. Метод fig.show() откроет графическое окно с изображенным графиком. Кроме этого plotly позволяет строить такие графики как: — Точечные графики; — Круговые диаграммы; — Гистограммы; — Тепловые карты; — Пузырьковые диаграммы; — И многие другие. Больше подробно об этой библиотеке и способы ее применения можно посмотреть тут. Подписывайтесь на канал 👉@pythonofff

Удаление дублирующихся данных Чтобы очистить данные, некоторые шаги нужно сделать обязательно. Один из таких шагов — удаление дубликатов. И тут не важно, идет речь о текстовых или числовых данных. Если у вас слишком много дубликатов, это увеличивает время обработки данных. Подписывайтесь на канал 👉@pythonofff

Работа с ChainMap из collections СhainMap группирует несколько словарей или других сопоставлений вместе, чтобы создать единое представление. Иногда нам нужно сгруппировать словари в один или же работать с множеством словарей как с одним, в этом случае вам поможет ChainMap. Немного про особенности ChainMap: — Представляет тот же интерфейс, что и словарь, но с дополнительными возможностями; — Создает обновляемое представление; — Видит внешние изменения во входных отображениях. Подписывайтесь на канал 👉@pythonofff

Удаление URL-адресов Для получения данных многие пользуются опросами. Но люди невнимательно заполняют поля, и порой в этих данных встречаются URL-адреса. Регулярное выражение, приведенное ниже, удаляет URL. Вы можете использовать и любой другой regex-паттерн для поиска URL. Здесь найденные адреса заменяются пустой строкой. Подписывайтесь на канал 👉@pythonofff

Работаем с котировками акций в Python Библиотека yfinance предоставляет мощный и удобный инструмент для получения информации с ресурса Yahoo! finance в Python. В сегодняшнем примере применим эту библиотеку чтобы узнать цену акций Майкрософт. Тикер Макйрософт называется "MSFT", именно его необходимо вписать в методе поиска: msft = yf.Ticker("MSFT") Цена акции находится в поле ['regularMarketPrice']: price = msft.info['regularMarketPrice'] Кроме этого yfinance предоставляет огромное количество такой информации о тикере как: — Исторические данные рынка; — Информация по дивидентам; — Информация о фирме (адрес, количество работников, прибыль) и т. д. Подписывайтесь на канал 👉@pythonofff

Missingno Большие грязные наборы данных и часто отсутствующие значения в них — это одна из частых проблем при работы с датасетами, и это важно отлавливать такие моменты. Для таких целей существует Missingo — библиотека, которая имеет в себе небольшой набор простых в использовании средств для визуализации отсутствующих данных и утилит, которые позволяют быстро получить сводку полноты или отсутствия вашего набора данных. Подписывайтесь на канал 👉@pythonofff

Дальнейшая обработка данных Иногда, чтобы очистить данные, бывает нужно отбросить некоторые столбцы, создать новый столбец из существующих данных или удалить строки, не содержащие определенных данных. Здесь в третьей строке мы отбрасываем два столбца с именами Id и Name и возвращаем копию нового датафрейма. Четвертая строка проверяет, содержит ли столбец Type строку frozen или green, затем возвращает True и сохраняет эту строку. Подписывайтесь на канал 👉@pythonofff

Перемещение и удаление файлов в Python Чтобы переместить файл, мы можем воспользоваться модулем os или модулем shutil. Вы увидите перемещение файла при помощи метода rename() из модуля os. Синтаксис rename() тот же, только в качестве второго аргумента указывается путь к целевому файлу с именем самого файла. os.rename(исходноеместонахождение, целевоеместонахождение) Подписывайтесь на канал 👉@pythonofff

Отбрасываем строки с пустыми данными После выполнения предыдущих шагов по очистке в столбцах остаются пустые данные. От этих пустых строк нужно избавиться, иначе это создаст неопределенность при обучении модели. Подписывайтесь на канал 👉@pythonofff

Дальнейшая обработка данных Иногда, чтобы очистить данные, бывает нужно отбросить некоторые столбцы, создать новый столбец из существующих данных или удалить строки, не содержащие определенных данных. Здесь в третьей строке мы отбрасываем два столбца с именами Id и Name и возвращаем копию нового датафрейма. Четвертая строка проверяет, содержит ли столбец Type строку frozen или green, затем возвращает True и сохраняет эту строку. Подписывайтесь на канал 👉@pythonofff

Определение метода тестирования Это нужно для того, чтобы мы могли оценивать нашу модель и выводить точность на тестовом наборе. Большие отличия от метода тестирования заключаются в том, что мы используем model.eval(), чтобы перевести модель в режим тестирования, и torch.no_grad(), который отключит вычисление градиента, так как мы не используем обратное распространение во время тестирования. Наконец, мы вычисляем средние потери для набора тестов и общую точность. Подписывайтесь на канал 👉@pythonofff

Модуль os Данный модуль предоставляет доступ к уникальным функциям, зависящим от конкретной системы. Атрибут os.name покажет тип операционной системы: posix — для linux и macOS nt — для операционных систем семейства Windows java — для систем, работающих в виртуальной Java-машине (например, Android) Модуль позволяет создавать, удалять, переименовывать файлы и папки. Возможность менять директорию и писать вместо /foler/file1, /foler/file2 и тд, можно просто сменить директорию через функцию os.chdir(). os.access() - проверить наличие файла и возможность записи/чтение. os.listdir() - список файлов и вложенных каталогов. os.path.abspath() - вернет абсолютный путь по относительному. Полный список и документацию можно посмотреть через dir() и help() соответственно. Подписывайтесь на канал 👉@pythonofff

Как заменить атрибут в именованном кортеже Что делать, если значение одного атрибута необходимо изменить? Вам нужно обновить его в данных. Для этого просто воспользуемся методом ._replace() Подписывайтесь на канал 👉@pythonofff

Библиотека для работы с итераторами Встроенный пакет itertools содержит сборник полезных итераторов, поговорим о нескольких из них: combinations — возвращает кортеж в отсортированном порядке без повторяемых элементов. chain — возвращает элементы из объекта, пока он не будет исчерпан, затем переходит к следующему, используется для обработки множества последовательностей как единой. permutations — возвращает все возможные перестановки. filterfalse — возвращает все элементы для которых функция вернула false. startmap — применяет функцию к каждому элементу последовательности распаковывая его. В самой библиотеке их намного больше, поэтому советую вам ознакомится с документацией. Подписывайтесь на канал 👉@pythonofff

Прокачайтесь в Python за 3 часа⚡️ Приходите на мини-курс «Python, Чат-боты и DevOps» от Слёрма. Поможем подтянуть практические навыки, почувствовать себя уверенно в работе с CI/CD, научим быстро собирать чат-ботов и интегрировать их с локальными языковыми моделями. Создадим вместе умного помощника, и спустя 5 видеоуроков вы: 👉 Знаете синтаксис и базовые концепции программирования на Python 👉 Понимаете принципы CI/CD и их значение в процессах разработки 👉 Умеете создавать простых чат-ботов с использованием библиотек Python и языковых моделей 👉 Получите в CV готовый проект на Python Подробнее о мини-курсе — по ссылке. Ждем вас! Реклама ООО «Слёрм» ИНН 3652901451

Counter Объект counter предоставляется библиотекой collections. Давайте поподробнее разберем, что он собой представляет. К примеру, у вас есть список каких-то случайных чисел. Что, если вы хотите узнать, сколько раз встречается каждое число? Счетчик counter позволяет легко вычислить частоту. Он работает не только с числами, но и с любым итерируемыми объектами, такими как строки и списки. Подписывайтесь на канал 👉@pythonofff