Python/ django

🖥 StatsForecast — библиотека Python для быстрого прогнозирования с помощью статистических и эконометрических моделей — pip install statsforecast StatsForecast предоставляет коллекцию популярных моделей прогнозирования одномерных временных рядов, оптимизированных для высокой производительности и масштабируемости. 🖥 GitHub 🟡 Доки @pythonl

🖥 368 решённых задач по Python с Leetcode Здесь собрана масса литкод-задач с решением на Python. Вот условия некоторых из задач: — найти самое популярное слово в наборе — удалить один элемент, чтобы список был строго возрастающим — объединить k сортированных списков — обойти матрицу по спирали и собрать полученные числа ▶️ Задачи с решениями @pythonl

Сбер проведет открытую технологическую конференцию GigaConf 2024. 27 июня в «Дизайн заводе» соберутся ведущие инженеры и разработчики из Сбера, Билайна, Positive Technologies, Т-Банка, МТС и других компаний. Вместе они погрузят вас в темы: — машинное обучение и искусственный интеллект; — инструменты разработчика; — DevOps; — инженерия данных; — безопасность приложений; — системный анализ — инновации и стратегии. Зарегистрироваться и узнать подробности можно на сайте конференции. Участие бесплатное!

🖥 tinygrad — фреймворк Python для Deep Learning — pip install tinygrad tinygrad имеет встроенную библиотеку для работы с нейросетями, используя разные классы, оптимизаторы и инструменты для управления состоянием нейросетей. В tinygrad есть JIT, чтобы всё работало быстро. Также tinygrad имеет отличную поддержку нескольких GPU, что позволяет удобно параллелить операции над тензорами с помощью Tensor.shard. 🖥 GitHub 🟡 Доки 🟡 Примеры использования tinygrad @pythonl

🖥 GPT Computer Assistant — альтернативный мультиплатформенный клиент ChatGPT на Python

pip3 install gpt-computer-assistant
computerassistant

Можно установить и использовать как библиотеку Python, или можно скачать .exe 🖥 GitHub @pythonl

🖥 Freeway — инструмент на Python для тестирования и аудита Wi-Fi — pip install 3way Используется Freeway интуитивно понятным способом, как видно на скринах 🖥 GitHub @pythonl

🖥 draw_scatter — позволяет нарисовать нужное распределение в Python Если нужны кластеры нужной формы (например, хочется сравнить разные алгоритмы кластеризации) — не проблема, для этого есть библиотека drawdata и функция draw_scatter()

# ячейка 1
import pandas as pd
import seaborn as sns
from drawdata import draw_scatter
draw_scatter()


# ячейка 2
df = pd.read_clipboard(sep=',')
sns.scatterplot(data=df, x='x', y='y', hue='z')

🟡 Notebook @pythonl

🖥 Instructor — получение структурированного вывода от LLM — pip install -U instructor Instructor позволяет легко получать структурированные данные (например, в формате JSON) от таких LLM, как GPT-3.5, GPT-4, GPT-4-Vision, и моделей с открытым исходным кодом, включая Mistral/Mixtral, Anyscale, Ollama и llama-cpp-python. Instructor отличается простотой и ориентированным на пользователя дизайном, построенным на базе Pydantic. 🖥 GitHub 🟡 Примеры использования instructor @pythonl

🖥 Distilabel — фреймворк Python для создания синтетических данных для AI и не только для этого — pip install distilabel --upgrade Помимо создания синтетических данных, Distilabel помогает организовать сложные конвейеры обработки данных; эти конвейеры могут содержать любое количество разных шагов. 🖥 GitHub 🟡 Доки @pythonl

⚡️Хочешь разработать решение технологического кейса для внедрения в работу НКО? Тогда регистрируйся на Smart Social: Хакатон! 🏆Гранты на 1 200 000 рублей! Smart Social: Хакатон – это командное соревнование для программистов, дизайнеров, менеджеров, аналитиков и других IT-специалистов, которые в сжатые сроки решают технологическую задачу. 👨‍💻Кейсы: - Сервис для онлайн-записи на музейные мероприятия; - Телеграм-бот для быстрого сбора, передачи и выгрузки информации для участников проекта "Накорми"; - Приложение для туристических маршрутов; - Инструмент для анонимизации документов пользователей сервиса «Просто спросить»; - Алгоритм для систематизации архивных материалов; - Приложение-путеводитель по музею. 📆Даты хакатона: C 10 по 18 Июня 2024 г 📍Формат: Онлайн/Офлайн 🔥Дедлайн регистрации: 6 Июня, 23:59 (МСК) Не нашел для себя задачу? Смотри еще кейсы по ссылке: https://tglink.io/85445a9e0b4c 🚀Сделай Добро – помоги НКО!

🖥 Marker — Python-утилита для быстрого и точного преобразования PDF в MD — pip install marker-pdf Процесс преобразования PDF при помощи Marker состоит из таких шагов: — извлечение текста, при необходимости использование OCR (эвристические методы, Surya, Tesseract) — определение макета страницы и порядка чтения (Surya) — подготовка и форматирование каждого блока (эвристика, Texify) — объединение блоков и постобработка полного текста (Heuristics, Pdf_postprocessor) Marker использует ML-модели только там, где это необходимо, что повышает скорость и точность Пример использования: marker_single /path/to/file.pdf /path/to/output/folder --batch_multiplier 2 --max_pages 10 --langs English 🖥 GitHub 🟡 Пример использования @pythonl

⭐️ Сравниваем DBSCAN и OPTICS Поговорим сегодня о 2 популярных алгоритмах кластеризации — DBSCAN и OPTICS, посмотрим их особенности и сравним Поехали! https://habr.com/ru/articles/818889/ @pythonl

🖥 Шпаргалка по Python, в которой собраны небольшие скрипты для решения повседневных задач Вот, кстати, некоторые из них: — добавить файл sample.txt к архиву .tar.gz:

import tarfile
with tarfile.open('sample.tar.gz', 'w:gz') as tar:
    tar.add('sample.txt')

— понятный вывод различий между строками

import difflib
diff = difflib.ndiff('one\ntwo\nthree\n'.splitlines(keepends=True),
                     'ore\ntree\nemu\n'.splitlines(keepends=True))
print(''.join(diff))

📎 Шпаргалка @pythonl

🔵 Практический интенсив «Python-разработчик: основы за 2 дня» — 12-13 июня в 19:00 мск. О перспективах направления Python и многом другом расскажет Грегори Салиба, старший разработчик ЭквантаЛаб с опытом в разработке более 3 лет.  На вебинаре вы: ☑️ Самостоятельно напишете Telegram-бота с карточными мини-играми. ☑️ Познакомитесь с синтаксисом языка и сферами его применения. ☑️ Поймете как продолжить обучение, какие навыки потребуются, чтобы стать backend-разработчиком на Python. ☑️ Узнаете, чего ждут работодатели от junior-разработчиков и что делать, чтобы найти работу без опыта. 🎁 Приятные бонусы: полезный гайд для начинающего Python-разработчика и гайд о сленге в IT всем участникам интенсива!

🖥 geemap — библиотека Python для интерактивного геопространственного анализа и визуализации с помощью Google Earth Engine — pip install geemap Библиотека geemap Python создана на базе ipyleaflet и ipywidgets и позволяет пользователям анализировать и визуализировать наборы данных Earth Engine в интерактивном режиме в среде, основанной на Jupyter. 🖥 GitHub @pythonl

⚡️ ЛУЧШИЕ БЕСПЛАТНЫЕ Курсы и Книги для изучения МАШИННОГО ОБУЧЕНИЯ. https://www.youtube.com/watch?v=j0BrMPgrCuo @bigdatai

🖥 DeepChem — демократизация Deep Learning для открытия лекарств, квантовой химии, материаловедения и биологии — pip install deepchem DeepChem предоставляет отличный набор open-source инструментов, который демократизирует использование Deep Learning для открытия лекарств, материаловедения, квантовой химии и биологии. 🖥 GitHub 🟡 Туториалы 🟡 Модели Deep Learning от DeepChem @pythonl

🖥 PDM — современный менеджер пакетов и зависимостей Python, поддерживающий последние стандарты PEP — curl -sSL https://pdm-project.org/install-pdm.py | python3 - PDM — это инструмент управления зависимостями и пакетами Python нового поколения. Если вам не хватает чего-то в Pipenv или Poetry, вероятно, вам подойдёт PDM. 🖥 GitHub 🟡 Доки @pythonl

🖥 Repo2txt — утилита на Python, которая позволяет сохранить любой репозиторий в виде текстового файла Repo2txt может пригодиться для интеллектуального анализа текстов или обучения LLM. При написании Repo2txt автор не использовал сторонние зависимости и уместил всё в один файл. Для лучшей производительности применяется многопоточность. Кроме того, Repo2txt учитывает файлы в .gitignore, чтобы исключать их из вывода, поддерживается вывод двоичных файлов (аудио, изображений). Сам исходный файл понятен человеку и может легко токенизироваться для обучения моделей. Кроме возможности обучать на полученных данных нейросети, разработчик приводит и другие сценарии использования Repo2txt: — анализ данных; — резервное копирование; — локальное версирование. Сперва утилиту необходимо скачать, локально клонировав исходный репозиторий. После этого для копирования репозиториев надо выполнить файл main.py с указанием пути к репозиторию и флагами: — -d, --directory — путь к каталогу (обязательно). — -t, --tree — вывод дерева репозитория (без содержимого файлов, отключен по умолчанию). — -e, --embed — включить дерево в начале вывода. — -b, --binary — ключить двоичные файлы (отключен по умолчанию). — -g, --gitignore — использовать .gitignore для исключения файлов. — -i, --ignore — можно через запятую указать дополнительный шаблон для исключения файлов. — -o, --output — имя файла на выходе. 🖥 GitHub @pythonl

🖥 PyTorch-Ignite — библиотека Python, помогающая гибко и прозрачно обучать и оценивать нейросети в PyTorch — pip install pytorch-ignite Особенности PyTorch-Ignite: — позволяет запускать любые обработчики на любые встроенные или кастомные события — даёт возможность устанавливать контрольные точки, делать раннюю остановку, выполнять профилирование, планирование параметров и многое другое — позволяет без проблем подключать дополнительные CPU, GPU и TPU — имеет 50+ метрик, позволяющих легко оценивать модели — бесшовно интегрируется с Tensorboard, MLFlow, WandB, Neptune 🖥 GitHub 🟡 Доки 🟡 Google Colab для экспериментов @pythonl