Python Academy

Асинхронно скачиваем файлы Имея список ссылок на картинки, которые нужно скачать, мы можем это сделать используя простой цикл for, тем самым скачав их последовательно одна за одной. Но в таких ситуациях как эта (скачивание огромного количества небольших файлов) распараллеливание задачи существенно ускорит процесс. Для этого воспользуемся функцией ThreadPoolExecutor из стандартного пакета concurrent.futures. Она позволяет запустить нашу функцию, в нескольких екземплярах в параллельных потоках. В конструкторе необходимо указать максимальное количество потоков, которые будут одновременно запущены. Далее метод .map(download, urls) создает екземпляры нашей функции для скачивания файла, и раскидывает в них элементы списка urls. Но будьте внимательны: так как скачивание файла — это IO-операция, такой метод не ускоряет вычисления кода. Он лишь позволяет запустить скачивание следующего файла, не дождавшись пока скачается предыдущий. Ознакомиться с интерактивным примером можно тут. #threading

Учим принципы английского за 2 часа Если вы свободно владеете английским — у вас в руках суперчит. Это в 10 раз больше ответов на ваши непонятные вопросы, это англоязычный Ютуб, это понятные комментарии на Реддите и куча других ништяков. Чтобы быстро вкатиться и понять, куда двигаться, что учить, как пофиксить баг с произношением — идите к нашим друзьям из English Tochka. Ребята уже несколько лет делают лучшие вебинары в Рунете, где на пальцах объясняют самые важные темы. — Как преодолеть языковой барьер; — Как запоминать десятки и сотни слов каждый день; — Почему английский учить проще, чем кажется; — Что делать с произношением. За два часа у вас появится чёткое понимание, как правильно учить язык — а это сэкономит тысячи часов. Вебинар бесплатный, состоится 10 февраля в 20:00 по МСК, регистрируйтесь по ссылке.

Синхронизация потоков Блокировка — один из фундаментальных механизмов синхронизации в threading. Зачастую блокировки используются для доступа к разделяемым ресурсам. Для каждого такого разделяемого ресурса нам нужно создать объект типа Lock и, когда нам потребуется доступ к ресурсу, следует вызвать acquire, что бы взять контроль над блокировкой. В том случае когда нам потребуется освободить блокировку, то мы вызываем release. Стоит учесть то, что блокировку стоит освобождать даже в случае возникновения ошибок. Для этого можно использовать try-finally. Также все это можно заменить через оператор with. Оператор with автоматически захватывает блокировку перед входом в блок, и освобождает её после выхода. Интерактивный пример — тут. Ссылка документация — тут. #threading

3 доклада про фронтенд с конференции YaTalks — Научите меня писать интерфейсы для космолетов. Фаундеры и преподаватели школ вместе с практикующими новичками обсуждают, как теперь учиться писать веб и нужно ли образование во фронтенде. — Как и зачем проводить тесты с незрячими людьми. Важный разговор о доступности цифрового контента и сервисов. Почему важно проводить тесты с незрячими пользователями, где найти пользователей для тестирования, как с ними общаться, чтобы не оказаться в неловкой ситуации и другие важные вопросы. — Существующие инструменты не работают в невесомости? Напиши свои! Опытные контрибьюторы обсуждают, в какой момент пора создавать новый репозиторий, как поддерживать инструмент и зачем вкладывать в него силы и время. Остальные доклады фронтенд-трека конференции Яндекса для разработчиков можно посмотреть в плейлисте.

Определяем расстояние между двумя точками на Земле Для работы с координатами воспользуемся библиотекой geopy, о которой уже был пост ранее. Ознакомиться с интерактивным примером можно тут. Официальную документацию можно просмотреть тут. #geopy

Извлечение таблиц из PDF Camelot — это удобная библиотека, которая поможет вам извлечь любую таблицу из PDF файла. Также есть возможность использоваться Excalibur, это веб интерфейс Camelot. Почему вам стоит использовать Camelot: — Каждая таблица является DataFrame; — Возможность экспорта в множество разных форматов; — Можно отбрасывать таблицы на основе таких метрик как точность и пробелы, без необходимости вручную просматривать таблицу. #camelot

Объёмы данных растут, а компании ищут новый тип сотрудников - квалифицированных инженеров данных Сегодня роль инженера данных востребована везде, где работа с данными влияет на успех выполнения бизнес-задач. А уже в ближайшие годы мы увидим новые «гибридные» профессии, в работе которых используются технические и бизнес-компетенции. Обучиться новой профессии можно в Школе Инженерии Данных от билайн. За три месяца в Школе ты сможешь: • научиться работать с основными инструментами, используемыми в чаптере инженеров данных (sql, scala, spark, airflow, ide, linux/bash, Hadoop, ci/cd); • освоить типовые способы интеграции, обработки, хранения данных; • узнать во время стажировки, как устроены потоки данных внутри компании; • закрепить полученные знания, работая сначала над учебным, а потом над реальным продуктом; • открыть для себя новые возможности, став участником одной из продуктовых команд. Узнать больше о Школе и зарегистрироваться ты можешь уже сегодня, пройдя по ссылке. Регистрация и вступительные испытания до 6 февраля включительно. Старт Школы — 14 февраля. Подписывайся на телеграм-канал Школы и следи за новостями программы!

Логирование с Loguru В Python уже существует библиотека для логирования logging, но у неё есть одна проблема — время, которое мы тратим на настройку конфига, да и работа с ним затрудняется, если конфиг становится больше. Вместо этого можно использовать loguru, и на это есть несколько хороших причин: — loguru легче настраивается, чем logging; — Асинхронность; — Имеет много встроенных решений внутри, таких как отправка уведомлений на почту, стек вызовов и т.д.; — Понятность. Основная концепция loguru заключается в том, что существует только один логгер. Ссылка на документацию — тут. Интерактивный пример — тут. #Loguru

Объёмы данных растут, а компании ищут новый тип сотрудников - квалифицированных инженеров данных Сегодня роль инженера данных востребована везде, где работа с данными влияет на успех выполнения бизнес-задач. А уже в ближайшие годы мы увидим новые «гибридные» профессии, в работе которых используются технические и бизнес-компетенции. Обучиться новой профессии можно в Школе Инженерии Данных от билайн. За три месяца в Школе ты сможешь: • научиться работать с основными инструментами, используемыми в чаптере инженеров данных (sql, scala, spark, airflow, ide, linux/bash, Hadoop, ci/cd); • освоить типовые способы интеграции, обработки, хранения данных; • узнать во время стажировки, как устроены потоки данных внутри компании; • закрепить полученные знания, работая сначала над учебным, а потом над реальным продуктом; • открыть для себя новые возможности, став участником одной из продуктовых команд. Узнать больше о Школе и зарегистрироваться ты можешь уже сегодня, пройдя по ссылке. Регистрация и вступительные испытания до 6 февраля включительно. Старт Школы — 14 февраля. Подписывайся на телеграм-канал Школы и следи за новостями программы!

Библиотека для работы с итераторами Встроенный пакет itertools содержит сборник полезных итераторов, поговорим о нескольких из них: combinations — возвращает кортеж в отсортированном порядке без повторяемых элементов. chain — возвращает элементы из объекта, пока он не будет исчерпан, затем переходит к следующему, используется для обработки множества последовательностей как единой. permutations — возвращает все возможные перестановки. filterfalse — возвращает все элементы для которых функция вернула false. startmap — применяет функцию к каждому элементу последовательности распаковывая его. В самой библиотеке их намного больше, поэтому советую вам ознакомится с документацией. Ознакомиться с интерактивным примером можно тут. #itertools

​🔥 Хотите освоить подход DataOps? Сделайте шаг к изучению этой области 3 февраля в 20:00! Для вас в OTUS пройдет вебинар «Облака и on-premise решения в обработке данных». 📌 Занятие проведет Егор Матешук, CDO AdTech-компании Квант. Вместе с преподавателем мы рассмотрим основные технологические платформы для построения систем обработки данных. ❓Ответим на вопросы: - Какие варианты есть для развертывания on-premise? - Какие инструменты предлагают облачные провайдеры? - Какие тенденции появились в платформах в последние годы? 👉 Пройдите вступительный тест, чтобы зарегистрироваться на урок - https://otus.pw/oMzOc/

Определяем координаты места по его адресу Для работы с адресами существует удобная библиотека geopy. Она использует публичные API (например OpenStreetMap Nominatim, Google Geocoding API и другие). Благодаря этому мы можем искать разные обьекты и их координаты по адресу. При поиске мы можем указать как номер и улицу дома, название города, страны, так и полный адрес определенного места. Официальную документацию можно просмотреть тут. Ознакомиться с интерактивным примером можно тут. #geopy

Codecademy сделали канал в телеграм! Codecademy — это крупнейшая в мире платформа для изучения программирования. Теперь у них есть русскоязычный канал. Там постят перевод на русский такой инфы, которую не найти ни на одном форуме! Подписывайтесь и прокачивайте свои скиллы: @ccademy

Курс и конвертер валют в Python Для работы с разными валютами и их курсами существует библиотека forex-python. С её помощью можно как узнать курс любой валюты, так и сконвертировать одну валюту в другую. Ознакомиться с интерактивным примером кода можно тут. #currency #forex_python

​Сбер и 500 Global запустили новую волну международного акселератора для IT-стартапов — Sber500 По своему опыту могу сказать, что это один из сильнейших акселераторов в России: лекции от менторов из Кремниевой долины, нетворкинг, возможность получить инвестиции. В этом году акселерация пройдет в 3 этапа: 1. Bootcamp — Вы проработаете ценностное предложение, узнаете, как выстроить коммуникацию с разными целевыми сегментами и получите советы от экспертов со всего мира. 2. Growth Hacking — Вас ждет интенсивное обучение, тестирование множества гипотез и индивидуальная работа с менторами. 3. Getting Tactical — Лекции, воркшопы, чтобы отработать полученные знания, а также встречи с представителями компаний экосистемы Сбера, других корпораций и фондов. Господа-фаундеры, я бы на вашем месте точно не прошел мимо такой возможности! Тем более, что участие в программе абсолютно бесплатное. Подавайте заявку прямо сейчас.

Форматирование чисел в f-строках Начиная с версии Python 3.6, стали доступны f-строки. Это удобный способ форматирования текста. Но не все знают, что он умеет вставлять float числа с настраиваемым количеством знаков после запятой. Допустим у нас есть float число pi = 3.14159265359. Если мы его просто скорвертируем в строку, то она примет следующий вид: >>> str(3.14159265359) '3.14159265359' Но что если важно выписать только до сотых долей? Делается это черех f-строку: >>> f'Число Пи это {pi:.2f}' 'Число Пи это 3.14' После обьявления имени переменной мы вставляем следующую комбинацию: .2f, где цифра как раз и указывает, сколько знаков после запятой нужно преобразовать в строку. Более подробно это описано в PEP 498. #fstring

🐍Теперь Python можно легко выучить по гайдам в картинках. Первый канал с гайдами по Python — @guides_python

Генерация шумов Перлина Шум перлина — это математический алгоритм по генерированию процедурной текстуры (градиентного шума) псевдо-случайным методом. Для нас он может пригодится в разных ситуациях: от симуляции временных рядов разных показателей до генерации процедурного мира как в Minecraft. Для Python уже существует библиотека-реализация этого алгоритма, называется она perlin-noise. pip install perlin-noise Сначала мы создаем обьект генератора шумов, и задаем ему количество октав и seed для встроенного рандомизатора: noise = PerlinNoise(octaves=10, seed=1) Обьявляем размер желаемой 2d матрицы: xpix, ypix = 100, 100 И используя списочное включение, генерируем 2d матрицу, где интенсивность значения от координат задает наш обьект генератора noise: pic = [[noise([i/xpix, j/ypix]) for j in range(xpix)] for i in range(ypix)] Пример картинки можно посмотреть в комментариях к этому посту. #random #perlin

​📌 Платформы оркестрации — необходимый инструмент в арсенале современного Data Engineer и администратора вычислительного кластера. Хочешь глубже погрузиться в тему оркестраций? 🚀 Приходи на бесплатный вебинар 1 февраля в 20:00 в OTUS c Максимом Мигутиным, экспертом с 5+ лет опытом в индустрии данных и аналитики. 🔥 На открытом уроке мы подробно разберем, что же такое платформы оркестрации, какие решения есть сегодня на рынке и даже углубимся в практический пример использования Apache Airflow — одной из самых распространенных платформ. 👉 Пройдите вступительный тест, чтобы зарегистрироваться https://otus.pw/UYEL/

Получение аудиопотока с микрофона Библиотека PyAudio предоставляет возможности для записи аудиопотока с различных устройств. PyAudio работает посредством кросс-платформенной библиотеки PortAudio (поэтому необходимо заранее установить пакет разработки portaudio19-dev). В приведенном примере мы создаем объект класса PyAudio и открываем поток с рядом констант для настройки аудиопотока, поступающего с микрофона (для выбора другого устройства нужно передать его номер в качестве аргумента input_device_index). Данный объект потока позволяет считывать с устройства с помощью метода stream.read(). Полученную информацию мы можем использовать для дальнейшего анализа и модификации. В примере же мы просто считываем 10 секунд, после чего записываем их в аудио-файл wav. #pyaudio #audio