Python/ django

🖥 Repo2txt — утилита на Python, которая позволяет сохранить любой репозиторий в виде текстового файла Repo2txt может пригодиться для интеллектуального анализа текстов или обучения LLM. При написании Repo2txt автор не использовал сторонние зависимости и уместил всё в один файл. Для лучшей производительности применяется многопоточность. Кроме того, Repo2txt учитывает файлы в .gitignore, чтобы исключать их из вывода, поддерживается вывод двоичных файлов (аудио, изображений). Сам исходный файл понятен человеку и может легко токенизироваться для обучения моделей. Кроме возможности обучать на полученных данных нейросети, разработчик приводит и другие сценарии использования Repo2txt: — анализ данных; — резервное копирование; — локальное версирование. Сперва утилиту необходимо скачать, локально клонировав исходный репозиторий. После этого для копирования репозиториев надо выполнить файл main.py с указанием пути к репозиторию и флагами: — -d, --directory — путь к каталогу (обязательно). — -t, --tree — вывод дерева репозитория (без содержимого файлов, отключен по умолчанию). — -e, --embed — включить дерево в начале вывода. — -b, --binary — ключить двоичные файлы (отключен по умолчанию). — -g, --gitignore — использовать .gitignore для исключения файлов. — -i, --ignore — можно через запятую указать дополнительный шаблон для исключения файлов. — -o, --output — имя файла на выходе. 🖥 GitHub @pythonl

🖥 PyTorch-Ignite — библиотека Python, помогающая гибко и прозрачно обучать и оценивать нейросети в PyTorch — pip install pytorch-ignite Особенности PyTorch-Ignite: — позволяет запускать любые обработчики на любые встроенные или кастомные события — даёт возможность устанавливать контрольные точки, делать раннюю остановку, выполнять профилирование, планирование параметров и многое другое — позволяет без проблем подключать дополнительные CPU, GPU и TPU — имеет 50+ метрик, позволяющих легко оценивать модели — бесшовно интегрируется с Tensorboard, MLFlow, WandB, Neptune 🖥 GitHub 🟡 Доки 🟡 Google Colab для экспериментов @pythonl

🖥 Pyre — отличная библиотека для добавления статической типизации в Python (а вернее проверки типов)

sudo apt-get install python3 python3-pip python3-venv watchman
pip install pyre-check

Особенности Pyre: — эффективно работает на больших кодовых базах с миллионами строк Python. — может отмечать ошибки типов интерактивно в терминале или в рантайме в IDE — следует стандартам PEPs 484, 526, 612, активно развивается и постоянно улучшается — Pyre поставляется с Pysa, инструментом статического анализа, ориентированным на безопасность 🖥 GitHub 🟡 Доки @pythonl

🖥 Как легко вырезать фон на изображении с помощью Python

# pip install rembg pillow

from rembg import remove
from PIL import Image

input_path = "in.png"
output_path = "out.png"

input = Image.open(input_path)
output = remove(input)
output.save(output_path)

Перед началом ставим rembg и pillow, конечно же В процессе подтянется моделька https://github.com/danielgatis/rembg/releases/download/v0.0.0/u2net.onnx @pythonl

🖥 Dataherald — движок для преобразования естественного языка в запросы SQL Позволяет создать API, чтобы получать ответы на вопросы по БД; при этом вопросы можно будет задавать на простом английском языке. 🖥 GitHub 🟡 Доки @pythonl

🖥 PyRIT — библиотека Python для оценивания безопасности LLM

conda create -y -n <environment-name> python=3.11
pip install pyrit

PyRIT автоматизирует задачи AI Red Team, помогает выявлять такие нарушения безопасности, как неправомерное использование LLM, нарушение конфиденциальности — в общем позволяет проактивно находить риски в ИИ-системах. 🖥 GitHub 🟡 How-to гайд для PyRIT @pythonl

⭐️ LM-Studio. Запускаем у себя на ПК АНАЛОГ GPT. Генерируем Flask приложение с помощью ИИ. https://www.youtube.com/watch?v=bsbW8UoA0zA @data_analysis_ml

🖥 Celery — open-source распределенная очередь задач, написанная на Python — pip install -U Celery Celery — это гибкая и надежная распределенная система для обработки огромного количества сообщений. Ориентирована на обработку в реальном времени, а также поддерживающает планирование задач. Для отправки и получения сообщений Celery требуется решения типо RabbitMQ и Redis. Помимо полноценной поддержки RabbitMQ и Redis есть и поддержка множества других экспериментальных решений, включая использование SQLite для локальной разработки. Celery может работать на одной машине, на нескольких машинах или даже в разных ЦОДах. В дополнение к Python-версии существуют node-celery и node-celery-ts для Node.js, а также PHP-клиент. 🖥 GitHub 🟡 Доки @pythonl

🖥 Rich — библиотека Python для отображения текста в терминале с поддержкой цвета, разных стилей и форматирования — pip install rich Rich позволяет сделать CLI-утилиты более информативными и удобными в использовании. Также поддерживает подсветку синтаксиса структур данных. Rich работает везде — в macOS, Linux и Windows. 🖥 GitHub 🟡 Доки @pythonl

🖥 Python-скрипт для озвучивания PDF

# Importing necessary libraries
import PyPDF2
import pyttsx3

# Prompt user for the PDF file name
pdf_filename = input("Enter the PDF file name (including extension): ").strip()                        

# Open the PDF file
try:
    with open(pdf_filename, 'rb') as pdf_file:

        # Create a PdfFileReader object
        pdf_reader = PyPDF2.PdfReader(pdf_file)

        # Get an engine instance for the speech synthesis
        speak = pyttsx3.init()        

        # Iterate through each page and read the text
        for page_num in range(len(pdf_reader.pages)):
            page = pdf_reader.pages[page_num]
            text = page.extract_text()
            if text:
                speak.say(text)
                speak.runAndWait()       

        # Stop the speech engine
        speak.stop()      
        print("Audiobook creation completed.")

except FileNotFoundError:
    print("The specified file was not found.")

except Exception as e:
    print(f"An error occurred: {e}")

@pythonl