Python/ django

🖥 Distilabel — фреймворк Python для создания синтетических данных для AI и не только для этого — pip install distilabel --upgrade Помимо создания синтетических данных, Distilabel помогает организовать сложные конвейеры обработки данных; эти конвейеры могут содержать любое количество разных шагов. 🖥 GitHub 🟡 Доки @pythonl

⚡️Хочешь разработать решение технологического кейса для внедрения в работу НКО? Тогда регистрируйся на Smart Social: Хакатон! 🏆Гранты на 1 200 000 рублей! Smart Social: Хакатон – это командное соревнование для программистов, дизайнеров, менеджеров, аналитиков и других IT-специалистов, которые в сжатые сроки решают технологическую задачу. 👨‍💻Кейсы: - Сервис для онлайн-записи на музейные мероприятия; - Телеграм-бот для быстрого сбора, передачи и выгрузки информации для участников проекта "Накорми"; - Приложение для туристических маршрутов; - Инструмент для анонимизации документов пользователей сервиса «Просто спросить»; - Алгоритм для систематизации архивных материалов; - Приложение-путеводитель по музею. 📆Даты хакатона: C 10 по 18 Июня 2024 г 📍Формат: Онлайн/Офлайн 🔥Дедлайн регистрации: 6 Июня, 23:59 (МСК) Не нашел для себя задачу? Смотри еще кейсы по ссылке: https://tglink.io/85445a9e0b4c 🚀Сделай Добро – помоги НКО!

🖥 Marker — Python-утилита для быстрого и точного преобразования PDF в MD — pip install marker-pdf Процесс преобразования PDF при помощи Marker состоит из таких шагов: — извлечение текста, при необходимости использование OCR (эвристические методы, Surya, Tesseract) — определение макета страницы и порядка чтения (Surya) — подготовка и форматирование каждого блока (эвристика, Texify) — объединение блоков и постобработка полного текста (Heuristics, Pdf_postprocessor) Marker использует ML-модели только там, где это необходимо, что повышает скорость и точность Пример использования: marker_single /path/to/file.pdf /path/to/output/folder --batch_multiplier 2 --max_pages 10 --langs English 🖥 GitHub 🟡 Пример использования @pythonl

⭐️ Сравниваем DBSCAN и OPTICS Поговорим сегодня о 2 популярных алгоритмах кластеризации — DBSCAN и OPTICS, посмотрим их особенности и сравним Поехали! https://habr.com/ru/articles/818889/ @pythonl

🖥 Шпаргалка по Python, в которой собраны небольшие скрипты для решения повседневных задач Вот, кстати, некоторые из них: — добавить файл sample.txt к архиву .tar.gz:

import tarfile
with tarfile.open('sample.tar.gz', 'w:gz') as tar:
    tar.add('sample.txt')

— понятный вывод различий между строками

import difflib
diff = difflib.ndiff('one\ntwo\nthree\n'.splitlines(keepends=True),
                     'ore\ntree\nemu\n'.splitlines(keepends=True))
print(''.join(diff))

📎 Шпаргалка @pythonl

🔵 Практический интенсив «Python-разработчик: основы за 2 дня» — 12-13 июня в 19:00 мск. О перспективах направления Python и многом другом расскажет Грегори Салиба, старший разработчик ЭквантаЛаб с опытом в разработке более 3 лет.  На вебинаре вы: ☑️ Самостоятельно напишете Telegram-бота с карточными мини-играми. ☑️ Познакомитесь с синтаксисом языка и сферами его применения. ☑️ Поймете как продолжить обучение, какие навыки потребуются, чтобы стать backend-разработчиком на Python. ☑️ Узнаете, чего ждут работодатели от junior-разработчиков и что делать, чтобы найти работу без опыта. 🎁 Приятные бонусы: полезный гайд для начинающего Python-разработчика и гайд о сленге в IT всем участникам интенсива!

🖥 geemap — библиотека Python для интерактивного геопространственного анализа и визуализации с помощью Google Earth Engine — pip install geemap Библиотека geemap Python создана на базе ipyleaflet и ipywidgets и позволяет пользователям анализировать и визуализировать наборы данных Earth Engine в интерактивном режиме в среде, основанной на Jupyter. 🖥 GitHub @pythonl

⚡️ ЛУЧШИЕ БЕСПЛАТНЫЕ Курсы и Книги для изучения МАШИННОГО ОБУЧЕНИЯ. https://www.youtube.com/watch?v=j0BrMPgrCuo @bigdatai

🖥 DeepChem — демократизация Deep Learning для открытия лекарств, квантовой химии, материаловедения и биологии — pip install deepchem DeepChem предоставляет отличный набор open-source инструментов, который демократизирует использование Deep Learning для открытия лекарств, материаловедения, квантовой химии и биологии. 🖥 GitHub 🟡 Туториалы 🟡 Модели Deep Learning от DeepChem @pythonl

🖥 PDM — современный менеджер пакетов и зависимостей Python, поддерживающий последние стандарты PEP — curl -sSL https://pdm-project.org/install-pdm.py | python3 - PDM — это инструмент управления зависимостями и пакетами Python нового поколения. Если вам не хватает чего-то в Pipenv или Poetry, вероятно, вам подойдёт PDM. 🖥 GitHub 🟡 Доки @pythonl

🖥 Repo2txt — утилита на Python, которая позволяет сохранить любой репозиторий в виде текстового файла Repo2txt может пригодиться для интеллектуального анализа текстов или обучения LLM. При написании Repo2txt автор не использовал сторонние зависимости и уместил всё в один файл. Для лучшей производительности применяется многопоточность. Кроме того, Repo2txt учитывает файлы в .gitignore, чтобы исключать их из вывода, поддерживается вывод двоичных файлов (аудио, изображений). Сам исходный файл понятен человеку и может легко токенизироваться для обучения моделей. Кроме возможности обучать на полученных данных нейросети, разработчик приводит и другие сценарии использования Repo2txt: — анализ данных; — резервное копирование; — локальное версирование. Сперва утилиту необходимо скачать, локально клонировав исходный репозиторий. После этого для копирования репозиториев надо выполнить файл main.py с указанием пути к репозиторию и флагами: — -d, --directory — путь к каталогу (обязательно). — -t, --tree — вывод дерева репозитория (без содержимого файлов, отключен по умолчанию). — -e, --embed — включить дерево в начале вывода. — -b, --binary — ключить двоичные файлы (отключен по умолчанию). — -g, --gitignore — использовать .gitignore для исключения файлов. — -i, --ignore — можно через запятую указать дополнительный шаблон для исключения файлов. — -o, --output — имя файла на выходе. 🖥 GitHub @pythonl

🖥 PyTorch-Ignite — библиотека Python, помогающая гибко и прозрачно обучать и оценивать нейросети в PyTorch — pip install pytorch-ignite Особенности PyTorch-Ignite: — позволяет запускать любые обработчики на любые встроенные или кастомные события — даёт возможность устанавливать контрольные точки, делать раннюю остановку, выполнять профилирование, планирование параметров и многое другое — позволяет без проблем подключать дополнительные CPU, GPU и TPU — имеет 50+ метрик, позволяющих легко оценивать модели — бесшовно интегрируется с Tensorboard, MLFlow, WandB, Neptune 🖥 GitHub 🟡 Доки 🟡 Google Colab для экспериментов @pythonl

🖥 Pyre — отличная библиотека для добавления статической типизации в Python (а вернее проверки типов)

sudo apt-get install python3 python3-pip python3-venv watchman
pip install pyre-check

Особенности Pyre: — эффективно работает на больших кодовых базах с миллионами строк Python. — может отмечать ошибки типов интерактивно в терминале или в рантайме в IDE — следует стандартам PEPs 484, 526, 612, активно развивается и постоянно улучшается — Pyre поставляется с Pysa, инструментом статического анализа, ориентированным на безопасность 🖥 GitHub 🟡 Доки @pythonl

🖥 Как легко вырезать фон на изображении с помощью Python

# pip install rembg pillow

from rembg import remove
from PIL import Image

input_path = "in.png"
output_path = "out.png"

input = Image.open(input_path)
output = remove(input)
output.save(output_path)

Перед началом ставим rembg и pillow, конечно же В процессе подтянется моделька https://github.com/danielgatis/rembg/releases/download/v0.0.0/u2net.onnx @pythonl

🖥 Dataherald — движок для преобразования естественного языка в запросы SQL Позволяет создать API, чтобы получать ответы на вопросы по БД; при этом вопросы можно будет задавать на простом английском языке. 🖥 GitHub 🟡 Доки @pythonl

🖥 PyRIT — библиотека Python для оценивания безопасности LLM

conda create -y -n <environment-name> python=3.11
pip install pyrit

PyRIT автоматизирует задачи AI Red Team, помогает выявлять такие нарушения безопасности, как неправомерное использование LLM, нарушение конфиденциальности — в общем позволяет проактивно находить риски в ИИ-системах. 🖥 GitHub 🟡 How-to гайд для PyRIT @pythonl

⭐️ LM-Studio. Запускаем у себя на ПК АНАЛОГ GPT. Генерируем Flask приложение с помощью ИИ. https://www.youtube.com/watch?v=bsbW8UoA0zA @data_analysis_ml

🖥 Celery — open-source распределенная очередь задач, написанная на Python — pip install -U Celery Celery — это гибкая и надежная распределенная система для обработки огромного количества сообщений. Ориентирована на обработку в реальном времени, а также поддерживающает планирование задач. Для отправки и получения сообщений Celery требуется решения типо RabbitMQ и Redis. Помимо полноценной поддержки RabbitMQ и Redis есть и поддержка множества других экспериментальных решений, включая использование SQLite для локальной разработки. Celery может работать на одной машине, на нескольких машинах или даже в разных ЦОДах. В дополнение к Python-версии существуют node-celery и node-celery-ts для Node.js, а также PHP-клиент. 🖥 GitHub 🟡 Доки @pythonl

🖥 Rich — библиотека Python для отображения текста в терминале с поддержкой цвета, разных стилей и форматирования — pip install rich Rich позволяет сделать CLI-утилиты более информативными и удобными в использовании. Также поддерживает подсветку синтаксиса структур данных. Rich работает везде — в macOS, Linux и Windows. 🖥 GitHub 🟡 Доки @pythonl

🖥 Python-скрипт для озвучивания PDF

# Importing necessary libraries
import PyPDF2
import pyttsx3

# Prompt user for the PDF file name
pdf_filename = input("Enter the PDF file name (including extension): ").strip()                        

# Open the PDF file
try:
    with open(pdf_filename, 'rb') as pdf_file:

        # Create a PdfFileReader object
        pdf_reader = PyPDF2.PdfReader(pdf_file)

        # Get an engine instance for the speech synthesis
        speak = pyttsx3.init()        

        # Iterate through each page and read the text
        for page_num in range(len(pdf_reader.pages)):
            page = pdf_reader.pages[page_num]
            text = page.extract_text()
            if text:
                speak.say(text)
                speak.runAndWait()       

        # Stop the speech engine
        speak.stop()      
        print("Audiobook creation completed.")

except FileNotFoundError:
    print("The specified file was not found.")

except Exception as e:
    print(f"An error occurred: {e}")

@pythonl