Python/ django

👩‍💻 DocETL — это инструмент на Python для создания и выполнения конвейеров обработки данных, особенно подходящий для сложных задач обработки документов. Он применяет подходы с минимальным кодом и YAML для упрощенного управления потоками данных, обеспечивая модульность и возможность повторных попыток обработки данных при сбоях 🔐 Лицензия: MIT 🖥 Github @pythonl

Изучаете Python и уже чувствуете себя уверенно? Хотите проверить себя и свои знания? Тогда приглашаем на бесплатный мини-курс «Python для всех»: https://epic.st/vB09p?erid=2VtzqufivmC Курс состоит из практики чуть меньше чем полностью. За 4 дня вы создадите 4 проекта: 1️⃣ Бота для Telegram, который умеет переводить голос в текст 2️⃣ Бота для Telegram, который обрабатывает фотографии 3️⃣ Парсер, который извлекает данные с сайтов 4️⃣ Веб-сайт (с помощью фреймворка Flask) В общем, прокачаете навыки и наверняка узнаете что-то новое. 🎁 А ещё подарки: персональная карьерная консультация, скидка 10 000 рублей на любой курс Skillbox и подборка полезных материалов. Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

👩‍💻 Scrapling — это инструмент для веб-скрейпинга, предоставляющий набор готовых функций для сбора данных с веб-сайтов! 💡 Scrapling написан на Python и разработан с целью облегчить извлечение информации из HTML-страниц, делая процесс скрейпинга доступным даже для начинающих пользователей. 🔍 Особенности: 🌟 Удобство использования — разработан для быстрого старта, не требуя сложной настройки. 🌟 Множество предустановленных методов — функции для поиска элементов, анализа данных, работы с таблицами и текстовыми блоками. 🌟 Минимальная зависимость от внешних библиотек — поддерживает основные методы работы с HTML, включая парсинг тегов, CSS-классов и идентификаторов. 🌟 Простота и гибкость — позволяет пользователям создавать кастомные запросы и извлекать данные, подходящие для их целей. 🔐 Лицензия: BSD-3-Clause 🖥 Github @pythonl

Изучаете Python и уже чувствуете себя уверенно? Хотите проверить себя и свои знания? Тогда приглашаем на бесплатный мини-курс «Python для всех»: https://epic.st/vB09p?erid=2VtzqufivmC Курс состоит из практики чуть меньше чем полностью. За 4 дня вы создадите 4 проекта: 1️⃣ Бота для Telegram, который умеет переводить голос в текст 2️⃣ Бота для Telegram, который обрабатывает фотографии 3️⃣ Парсер, который извлекает данные с сайтов 4️⃣ Веб-сайт (с помощью фреймворка Flask) В общем, прокачаете навыки и наверняка узнаете что-то новое. 🎁 А ещё подарки: персональная карьерная консультация, скидка 10 000 рублей на любой курс Skillbox и подборка полезных материалов. Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

👩‍💻 Khoj — это инструмент на Python с открытым исходным кодом для локального поиска и организации заметок. 🌟 Khoj использует встраиваемую ИИ-модель для индексирования и быстрого поиска информации в заметках и файлах, поддерживая интеграцию с Obsidian, Markdown и другими форматами. Khoj работает локально, обеспечивая безопасность данных и поддержку нескольких форматов для удобства пользователей, которым нужна организация информации на базе ИИ. 🔐 Лицензия: AGPL-3.0 🖥 Github @pythonl

⚡️ BRIA Background Removal v2.0 Model. RMBG v2.0 - новая модель удаления фона, предназначенная для эффективного отделения переднего плана от фона в различных категориях и типах изображений. Точность, эффективность и универсальность RMBG v2.0 конкурирует с ведущими SOTA-моделями. RMBG-2.0 разработана на основе архитектуры BiRefNet и обучена на более чем 15 000 высококачественных, высокого разрешения, вручную маркированных (с точностью до пикселя), полностью лицензированных изображений. Модель доступна на HF в двух версиях : pytorch и safetensors. Демо можно попробовать на HF Space. ▶️Пример кода запуска на Transformers:

from PIL import Image
import matplotlib.pyplot as plt
import torch
from torchvision import transforms
from transformers import AutoModelForImageSegmentation

model = AutoModelForImageSegmentation.from_pretrained('briaai/RMBG-2.0', trust_remote_code=True)
torch.set_float32_matmul_precision(['high', 'highest'][0])
model.to('cuda')
model.eval()

# Data settings
image_size = (1024, 1024)
transform_image = transforms.Compose([
    transforms.Resize(image_size),
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

image = Image.open(input_image_path)
input_images = transform_image(image).unsqueeze(0).to('cuda')

# Prediction
with torch.no_grad():
    preds = model(input_images)[-1].sigmoid().cpu()
pred = preds[0].squeeze()
pred_pil = transforms.ToPILImage()(pred)
mask = pred_pil.resize(image.size)
image.putalpha(mask)

image.save("no_bg_image.png")

📌Лицензирование: 🟢Некоммерческое использование: Creative Commons license 🟠Коммерческое использование: на основании коммерческого соглашения с BRIA 🟡Модель 🟡Demo @ai_machinelearning_big_data #AI #ML #BiRefNet #RMBG #BRIAAI

👩‍💻 pytorch_sparse — расширения для PyTorch, предназначенные для эффективной обработки разреженных тензоров, что актуально для графовых нейронных сетей и других задач с редкими данными. 🌟 Библиотека включает оптимизированные операции над разреженными тензорами, такие как умножение матриц и индексирование. Она широко используется в задачах, требующих обработки графов и сетевых данных, и поддерживает CUDA для ускорения на GPU. 🔐 Лицензия: MIT 🖥 Github @pythonl

⚡️Всероссийский Хакатон ФИЦ 2024 🚀Попробуйте себя в одном из предложенных кейсов: - Разработка алгоритма трекинга людей в видеопотоке с нескольких камер - Цифровая карта подземных коммуникаций с использованием Cesium - Симуляция записи в расписание - Цифровой сервис для ведения реестра зеленых насаждений города Москвы - Предсказание необходимого количества средств досмотра - Система контроля и управления доступом - Семантический делитель текстов - Разработка сервиса печати этикеток для производителей одежды И др. кейсы смотрите на сайте: https://фиц2024.рф/hackathon  Хакатон пройдет в 2 этапа: Отборочный этап в Онлайн, Финал в Офлайн. 🏆Призовой фонд: 6 000 000 руб. 🔥Дедлайн регистрации: 26 ноября, 23:59 📅Даты отборочного этапа: 29 ноября - 2 декабря 🦾Даты финала: 3 - 4 декабря Зарегистрируйтесь для участия в хакатоне: https://фиц2024.рф/hackathon #реклама О рекламодателе

🔥 AlphaFold 3 — новейшая версия модели искусственного интеллекта на Python от DeepMind и Isomorphic Labs, предназначенная для предсказания структуры и взаимодействий биомолекул, таких как белки, ДНК, РНК и лекарственные вещества. 💡 AlphaFold 3 построена на усовершенствованной архитектуре предыдущей версии (AlphaFold 2) и показывает значительное улучшение точности — до 50% в предсказании взаимодействий различных типов молекул. Это открытие позволяет ученым моделировать сложные молекулярные комплексы для биологических исследований, разработки лекарств и новых методов лечения заболеваний. Пакет AlphaFold 3 включает в себя все необходимое для теоретического моделирования структуры белка. Для запуска системы необходимо сконфигурировать входной файл JSON, содержащий информацию о белке, например, его идентификатор и аминокислотную последовательность. Вместе с программным конвейером инференса доступна подробная документация по входным и выходным данным системы, решению известных проблем, настройкам производительности и установке с последующим запуском с помощью Docker. Для локального использования понадобится ОС Linux (AlphaFold 3 не поддерживает другие операционные системы) примерно 1 ТB дискового пространства для хранения генетических баз данных (рекомендуется SSD), 64 GB RAM, GPU NVIDIA с Compute Capability 8.0 или выше. Исходные данные, содержащие 5120 токенов, могут поместиться на одном NVIDIA A100 80 ГБ или одном NVIDIA H100 80 ГБ. ⚠️ Получение параметров модели возможно через подачу заявки в Google DeepMind, доступ предоставляется в течении 2-3 дней по итогам рассмотрения обращения. ⚠️ Любая публикация, основанная на результатах, полученных с использованием AlphaFold 3, должна ссылаться на статью «Accurate structure prediction of biomolecular interactions with AlphaFold 3». ⚠️ AlphaFold 3 не является официально поддерживаемым продуктом Google и ее результаты не предназначены, не проверены и не одобрены для клинического использования. 📌Лицензирование: CC-BY-NC-SA 4.0 🟡Техотчет 🟡Demo 🖥GitHub @pythonl

🤲 OpenHands: Code Less, Make More Платформ для ИИ-агентов для разработки программного обеспечения на базе искусственного интеллекта. Агенты OpenHands могут делать все, что под силу разработчику—человеку: изменять код, запускать команды, просматривать веб-страницы, вызывать API-интерфейсы и даже копировать фрагменты кода из StackOverflow. ▪Инструкция по быстрому запуску ▪Документация ▪ Github @pythonl

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data C++ t.me/cpluspluc Python: t.me/pythonl Linux: t.me/linuxacademiya Хакинг: t.me/linuxkalii Devops: t.me/DevOPSitsec АНАЛИЗ Данных: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/javatg Базы данных: t.me/sqlhub Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Docker: t.me/DevopsDocker Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai Собеседования МЛ: t.me/machinelearning_interview МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Разработка игр: https://t.me/gamedev 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

👩‍💻 ERPNext — это полнофункциональная ERP-система на Python с открытым исходным кодом, подходящая для бизнеса любого размера. 🌟 Разработанная на фреймворке Frappe, ERPNext охватывает управление финансами, продажами, закупками, производством, CRM, проектами и кадровыми ресурсами. Она предоставляет гибкий интерфейс и может быть настроена под потребности пользователя, поддерживает многоуровневую отчётность и автоматизацию бизнес-процессов. 🔐 Лицензия: GPL-3.0 🖥 Github @pythonl

💡 Знаете основы Python, но хотите перейти от простых скриптов к полноценным проектам? Приходите на расширенный курс Нетологии «Python-разработчик». На нём вы: - Освоите все инструменты и технологии, необходимые для работы. - Научитесь разрабатывать веб-приложения и API, работать с базами данных, настраивать сервера и тестировать код. - Поработаете с фреймворками Flask и Django и узнаете, как разрабатывать backend веб-приложения. - Выполните 22 проекта, поработаете над реальными кейсами и примете участие в хакатоне. Ваши проекты будут включать в себя всё, что нужно для сильного портфолио, а стажировка в компании «Самолёт» даст практический опыт, который вы сможете применить в работе. Запишитесь на курс пока не закончилась Чёрная Пятница и получите двойную выгоду: скидки 40% и 20 000 ₽ по промокоду BlackFriday20 Реклама. ООО "Нетология". Erid 2VSb5yefJBS

👩‍💻 Конвертируйте PDF в docx с помощью Python @pythonl

👩‍💻 В PyPI внедрил новую систему проверки подлинности пакетов Разработчики репозитория Python-пакетов PyPI (Python Package Index) сообщили о введении нового механизма цифровой аттестации для проверки подлинности загружаемых пакетов. Этот механизм заменил прежнюю систему верификации с помощью PGP-подписей. Основное отличие заключается в том, что теперь публикацию пакета подтверждает не сам разработчик, а третья сторона (каталог пакетов), основываясь на проверке через внешнего провайдера OpenID Connect. Это может включать проверку соответствия публикуемого пакета с исходным репозиторием на платформах вроде GitHub или GitLab. Новая система решает проблемы, присущие старому методу верификации через PGP-подпись, который уже считался устаревшим. Основная трудность заключалась в проверке принадлежности открытых PGP-ключей их владельцам. Из 1069 PGP-ключей, использовавшихся с 2020 года для подписания пакетов в PyPI, 29% ключей вообще не были найдены на крупных публичных серверах ключей, а 35% оказались невозможными для подтверждения в процессе аудита. При этом подтвержденные 36% ключей покрывали всего 0.3% от общего числа подписанных файлов. В рамках новой системы цифровые подписи формируются с использованием временных эфемерных ключей, создаваемых на основании полномочий, подтвержденных провайдером OpenID Connect. Когда разработчик создает ключ для подписи, он проходит идентификацию через провайдера, который удостоверяет его связь с основным проектом. Эта инфраструктура основана на системах Sigstore и in-toto Attestation Framework. Одним из преимуществ аттестации является отсутствие зависимости от постоянных PGP-ключей. Если закрытый ключ теряется или подвергается атаке, все созданные с его помощью подписи становятся ненадежными. Аттестация же связывает подпись с временным токеном, который подтверждает права разработчика в момент загрузки пакета и его соответствие основному репозиторию кода. Например, при загрузке пакета, подготовленного через GitHub Actions, аттестация гарантирует наличие связи между пакетом в PyPI и исходным хранилищем, рабочим процессом и хешем коммита, на базе которого был собран пакет. Для мониторинга подлинности ключей и обнаружения потенциальных угроз в проектах, создающих пакеты, и самом PyPI используется централизованный публичный журнал. Чтобы обеспечить целостность данных и предотвратить изменение информации задним числом, в нем применяется структура «дерева Меркла» (Merkle Tree), где каждая ветвь проверяет все подчиненные ветви и узлы посредством древовидной схемы хеширования. Кроме того, стоит упомянуть обнаруженный в каталоге PyPI вредоносный пакет под названием «fabrice», который использовал технику тайпсквоттинга – назначение схожего имени, различающегося несколькими символами (например, exampl вместо example, djangoo вместо django, pyhton вместо python и так далее), чтобы замаскироваться под популярную библиотеку «fabric». Эта библиотека насчитывает около 201 миллиона загрузок (около 7 миллионов за последний месяц). Вредоносный пакет оставался незамеченным с 2021 года и успел набрать более 37 тысяч загрузок. Пакет «fabrice» имитировал основную функциональность оригинальной библиотеки, но также содержал код для поиска и передачи ключей доступа к AWS (Amazon Web Services), установки бэкдоров и выполнения определенных скриптов. Активизация вредоносных компонентов происходила как в операционной системе Linux, так и в Windows. В случае с Linux, файлы, связанные с вредоносной активностью, загружались в каталог ~/.local/bin/vscode.

👩‍💻 Серия видео по введению в программирование на Python от одного из лучших вузов мира MIT! 🔗 Ссылка: *клик* @pythonl

👩‍💻 ToolGit Toolkit - это набор скриптов, которые расширяют функционал Git различными подкомандами, чтобы облегчить жизнь при разработке. Установка: git config set --append --global include.path path/to/toolgit/aliases.ini 🖥 Github @pythonl

👩‍💻 xlwings — библиотека Python для автоматизации работы с Microsoft Excel! 🌟 С помощью этой библиотеки можно управлять Excel из Python-скриптов, создавать макросы, импортировать и экспортировать данные, а также создавать пользовательские функции (UDF) для интеграции Python и Excel. Она полезна для автоматизации задач и создания динамических таблиц, работающих с большими объёмами данных. 🔐 Лицензия: BSD-3-Clause 🖥 Github @pythonl

👩‍💻 20+ практических проектов Python для начинающих! 🌟 Разработайте огромное количество проектов — от простого калькулятора до разного рода игр и приложений вроде прогноза погоды! 🔗 Ссылка: *клик* #курс #python @pythonl

🔍 pyWhat — инструмент для автоматической идентификации различных типов данных в тексте и файлах! Поддерживает IP-адреса, email, криптографические ключи, URL, номера карт и др. ⭐️ Программа позволяет фильтровать и сортировать результаты, экспортировать данные в JSON и применять специфические фильтры для задач, например, для анализа трафика или поиска утечек данных. Подходит для анализа pcap-файлов, поиска данных в коде, автоматизации задач безопасности и поиска багов в программах. 🔐 Лицензия: MIT 🖥 GitHub @pythonl