Немного Python

🐍 Самоучитель по Python для начинающих. Часть 17: Основы скрапинга и парсинга Научимся извлекать данные из статического и динамического контента с помощью регулярных выражений, XPath, BeautifulSoup, MechanicalSoup и Selenium. В конце статьи – код 10 скриптов для скрапинга данных и изображений с Wikipedia, Habr, LiveLib, IMDb и TIOBE. 🔗 Основной сайт 🔗 Зеркало

Исследователи Массачусетского технологического института и их коллеги считают, что они нашли способ совместить доступность языка высокого уровня Python со скоростью языков C/C++. Они разработали компилятор Python под названием Codon, который превращает код Python в собственный машинный код без снижения производительности во время выполнения. «Обычное ускорение по сравнению с Python составляет порядка 10–100 раз и более в одном потоке», — говорится в репозитории Codon. «Производительность Codon обычно соответствует (а иногда и лучше) производительности C/C++». Но есть нюансы. Codon реализует большую часть, но не весь язык Python. Некоторые модули Python не были включены в Codon. И в нем отсутствуют такие функции, как динамическая обработка типов и рефлексия во время выполнения, которые усложняют анализ и оптимизацию кода. При этом он может полагаться на механизм компилятора со статической типизацией, который в сочетании с другими инновациями генерирует более быстрый код. В отличие от других реализаций Python, ориентированных на производительность, Codon создается с нуля как автономная система, которая применяет AOT-компиляцию и создает исполняемый файл, который не привязан к существующей среде выполнения Python (например, CPython) Сам проект - https://github.com/exaloop/codon

Код из видео: https://youtu.be/3jMA7fdVI2s 💾 Github 💾 Telegram 👇

⚡️ Практика Python и новому Selenium 4⚡️ ⚙️ Автоматизируем работу ВКонтакте с помощью Selenium 🔐 Аутентификация в новой форме 🤖 Находим элементы по id, классу, даже по содержащемуся в строке тексту 👆 Клики на элементы 🔎 Поиск внутри контакта 📜 Прокрука страницы с помощью JavaScript 👀 Запуск видео и просмотры https://youtu.be/3jMA7fdVI2s #youtube

​Работа с форматом CSV с помощью Python О формате CSV, а также о том, как работать с ним с помощью Python существует большое множество статей. И, казалось бы, что такого сложного в том, чтобы прочитать или записать данный формат. Однако, вспоминая себя и то время, когда я только начал изучать Python я хорошо помню некоторое недопонимание этого вопроса. Может быть, поэтому я решил написать эту небольшую статью. Конечно же, рассмотреть все тонкости и нюансы думаю, что не получиться, но вот базовые операции с данным типом файлов я постараюсь описать. 📌 Читать далее #programming #python

🗺prettymaps — легковесный Python-инструмент для рисования красивых карт из данных OpenStreetMap. Основан на библиотеках osmnx, matplotlib и shapely. https://github.com/marceloprates/prettymaps

💾 Шпаргалка по коллекциям и их свойствам в Python Списки, кортежи, множества и словари 🌵 Indexing - индексируемый 🌵 Ordered - упорядоченный 🌵 Mutable - изменяемый 🌵 Duplicate - дублирование элементов #doc #python #cheatsheet

​Разбираемся как работает python, meterpreter, reverse_tcp или handler своими руками на python3 Разбираемся как работает python, meterpreter, reverse_tcp или handler своими руками на python3. Если честно до этого момента я не очень-то и пользовался автоматически сгенерированными payload'ами и понятия не имею что внутри них происходит, но давайте разбираться вместе. 📌 Читать далее #python #metasploit #information

​Удаление фона на изображениях с помощью Python Давайте немного затронем тему удаления фона у фотографий. К примеру, у вас есть фото, в качестве фона на котором неприглядная стена. И желательно бы эту стену удалить. Решение напрашивается довольно простое и очевидное – воспользоваться онлайн-сервисами для этих целей. Но такое решение оправданно в случае, когда вам нужно удалить фон у нескольких картинок. Но, что делать, если этих картинок тысячи? В этом случае использование онлайн-сервиса уже далеко не самое лучшее решение. Тем более что у каждого такого сервиса, в его бесплатном варианте, есть масса ограничений. 📌 Читать далее #programming #python

👨‍💻 Наиболее полезные и часто используемые методы строк в Python с описанием 🌵 Форматирование 🌵 Замена символов 🌵 Разбиение 🌵 Работа с кодировками и д.р #doc #python #cheatsheet

Работа с PDF С помощью пакета pdftotext мы можем работать с PDF-файлами в Python: получать кол-во страниц, итерироваться по ним, выводить конкретные страницы и тексты. Вся эта функциональность описана на картинке. Исходный код пакета написан на C++, поэтому могут возникнуть проблемы при установке. Документация: https://pypi.org/project/pdftotext/

​Пишем свой фаззер на Python Привет, Codeby! Расскажу тебе о том, как написать простой фаззер на Python. Ты наверное хочешь спросить: зачем писать фаззер на Python, если уже есть wfuzz? Я тебе отвечу - мне нужна была возможность использовать http запросы, представленные в текстовом формате, которые были получены из Burp Suite, например, так умеет sqlmap с параметром -r, в котором передается путь до текстового файла c http запросом. 📌 Читать далее #programming #python #fuzzing

💾 40 алгоритмов, которые должен знать каждый программист на Python

Понимание работы алгоритмов и умение применять их для решения прикладных задач – must-have для любого программиста или разработчика. Эта книга поможет вам не только развить навыки использования алгоритмов, но и разобраться в принципах их функционирования, в их логике и математике. Вы начнете с введения в алгоритмы, от поиска и сортировки перейдете к линейному программированию, ранжированию страниц и графам и даже поработаете с алгоритмами машинного обучения. Теории не бывает без практики, поэтому вы займетесь прогнозами погоды, кластеризацией твитов, механизмами рекомендаций фильмов. И, наконец, освоите параллельную обработку, что даст вам возможность решать задачи, требующие большого объема вычислений.

Автор: Имран Ахмад Год: 2023 #books #python #russian

​🧑‍💻 Речь в текст на Python — [23:30] Обзор библиотек vosk и Speech recognition, которые позволяют преобразовать речь в текст из файла и микрофона на языке Python. Самое интересное, что vosk работает без подключения к интернету, поддерживает 20+ языков и в случае чего способна к дополнительному обучению модели. Перейти к просмотру #видео #python

Youtube Video Downloader with Python https://medium.com/the-gray-area/5-python-automation-scripts-i-use-every-day-74c4313f2b47 Pretty simple. It uses the pytube library to convert any link you provide it into a file, and then downloads it. With five lines of code and no API rate-limiting, you could combine this with another script to transcribe the videos and use sentiment analysis to determine what kind of content the video contains.

from pytube import YouTube

link = input("Enter a youtube video's URL") # i.e. https://youtu.be/dQw4w9WgXcQ

yt = Youtube(link)
yt.streams.first().download()

print("downloaded", link)