Python/ django

🚀 Kreuzberg — мощный фреймворк Document Intelligence для Python! 🔹 Извлекает текст, метаданные и структурированные данные из PDF, Office-документов, изображений и др. 🔹 Основан на проверенных open-source решениях: Pandoc, PDFium, Tesseract 🔹 Поддержка 18 форматов (PDF, DOCX, PPTX, HTML, изображения, таблицы и пр.) 🔹 Высокая производительность: 30+ документов/с, лёгкий runtime (≈360 МБ), установка 71 МБ 🔹 Открытый исходный код под MIT-лицензией, 2 000⭐ на GitHub GitHub Пример:

from kreuzberg import extract_file

# In your async function
result = await extract_file("presentation.pptx")
print(result.content)

# Rich metadata extraction
print(f"Title: {result.metadata.title}")
print(f"Author: {result.metadata.author}")
print(f"Page count: {result.metadata.page_count}")
print(f"Created: {result.metadata.created_at}")

✨ Попробуйте: https://github.com/Goldziher/kreuzberg @pythonl #Python #OCR #DocumentIntelligence #OpenSource #Kreuzberg

⚡️ Ускорь проверку качества кода в 10 раз с помощью pre-commit! В серьезных проектах чистота и стиль кода — но ручные проверки отнимают кучу времени, которое лучше потратить на анализ данных. 💡 Решение: автоматизируй всё с помощью pre-commit хуков — и пусть код проверяется сам перед каждым коммитом. 😬 Без pre-commit: Вы коммитите код — всё выглядит нормально. Но потом на ревью находят кучу мелочей: ✖️ Нет type hints ✖️ Форматирование пляшет ✖️ Отсутствует docstring ✖️ Импорты в разнобой 🤖 С pre-commit всё иначе: Перед коммитом автоматически запускается ruff format и ruff check: ✅ Код отформатирован ✅ Стиль и правила соблюдены ✅ Меньше замечаний на ревью 💡 Один раз настроил — и больше не паришься с форматированием вручную. Идеально для любого Python-проекта. @pythonl

🌟 Google LangExtract: библиотека извлечения структуры из любого текста. LangExtract - опенсорсная python-библиотека с функцией легковесного интерфейса к LLM, которая превращает большие объемы текста в структурированные данные. 🟡 Ключевая особенность LangExtract на фоне других инструментов - точный фокус на источник. Каждая извлеченная сущность, будь то имя, дата или дозировка лекарства, привязывается к точным символьным смещениям в исходном тексте. Это дает полную прослеживаемость и верифицируемость результата, просто подсветив найденные данные в оригинальном документе. Больше никаких «откуда модель это взяла?». 🟡 Вторая сильная сторона - надежность выходных данных. Вы определяете желаемый формат вывода с помощью специального представления данных и даете модели несколько примеров . Используя эти примеры, LangExtract следует заданной схеме, задействуя механизм контролируемой генерации, который поддерживается в моделях Gemini. Это гарантирует, что на выходе вы всегда будете получать данные в консистентном, предсказуемом формате. 🟡LangExtract умеет работать с действительно большими объемами. Библиотека умеет бить текст на чанки, которые обрабатываются параллельно в несколько проходов, каждый из которых фокусируется на более узком контексте. Для наглядности библиотека умеет генерировать интерактивную и полностью автономную HTML-визуализацию. Это позволяет за считаные минуты перейти от сырого текста к визуальному представлению, где можно исследовать тысячи извлеченных аннотаций. При этом LangExtract не замыкается на экосистеме Google: он поддерживает гибкую смену LLM-бэкендов, позволяя работать как с облачными моделями, так и с опенсорсными решениями, развернутыми локально. 🟡LangExtract может задействовать "мировые знания" LLM для обогащения данных. Информация может быть как явной (извлеченной из текста), так и основанной на внутренних знаниях модели. Разумеется, точность таких выведенных данных сильно зависит от возможностей конкретной LLM и качества предоставленных примеров в промпте. Изначально идеи, заложенные в LangExtract, были применены для извлечения информации из медицинских текстов. Библиотека отлично справляется с идентификацией лекарств, их дозировок и других атрибутов в клинических записях. Чтобы продемонстрировать возможности инструмента в узкоспециализированной области, Google создал на Hugging Face интерактивное демо RadExtract. В нем показано, как LangExtract может обработать радиологический отчет, написанный свободным текстом, и автоматически преобразовать его ключевые выводы в структурированный формат, подсвечивая важные находки. 📌Лицензирование: Apache 2.0 License. 🟡Статья 🖥Github @ai_machinelearning_big_data #AI #ML #LangExtract #Google

🌟 Google LangExtract: библиотека извлечения структуры из любого текста. LangExtract - опенсорсная python-библиотека с функцией легковесного интерфейса к LLM, которая превращает большие объемы текста в структурированные данные. 🟡 Ключевая особенность LangExtract на фоне других инструментов - точный фокус на источник. Каждая извлеченная сущность, будь то имя, дата или дозировка лекарства, привязывается к точным символьным смещениям в исходном тексте. Это дает полную прослеживаемость и верифицируемость результата, просто подсветив найденные данные в оригинальном документе. Больше никаких «откуда модель это взяла?». 🟡 Вторая сильная сторона - надежность выходных данных. Вы определяете желаемый формат вывода с помощью специального представления данных и даете модели несколько примеров . Используя эти примеры, LangExtract следует заданной схеме, задействуя механизм контролируемой генерации, который поддерживается в моделях Gemini. Это гарантирует, что на выходе вы всегда будете получать данные в консистентном, предсказуемом формате. 🟡LangExtract умеет работать с действительно большими объемами. Библиотека умеет бить текст на чанки, которые обрабатываются параллельно в несколько проходов, каждый из которых фокусируется на более узком контексте. Для наглядности библиотека умеет генерировать интерактивную и полностью автономную HTML-визуализацию. Это позволяет за считаные минуты перейти от сырого текста к визуальному представлению, где можно исследовать тысячи извлеченных аннотаций. При этом LangExtract не замыкается на экосистеме Google: он поддерживает гибкую смену LLM-бэкендов, позволяя работать как с облачными моделями, так и с опенсорсными решениями, развернутыми локально. 🟡LangExtract может задействовать "мировые знания" LLM для обогащения данных. Информация может быть как явной (извлеченной из текста), так и основанной на внутренних знаниях модели. Разумеется, точность таких выведенных данных сильно зависит от возможностей конкретной LLM и качества предоставленных примеров в промпте. Изначально идеи, заложенные в LangExtract, были применены для извлечения информации из медицинских текстов. Библиотека отлично справляется с идентификацией лекарств, их дозировок и других атрибутов в клинических записях. Чтобы продемонстрировать возможности инструмента в узкоспециализированной области, Google создал на Hugging Face интерактивное демо RadExtract. В нем показано, как LangExtract может обработать радиологический отчет, написанный свободным текстом, и автоматически преобразовать его ключевые выводы в структурированный формат, подсвечивая важные находки. 📌Лицензирование: Apache 2.0 License. 🟡Статья 🖥Github @ai_machinelearning_big_data #AI #ML #LangExtract #Google

🖥 Transfunctions — библиотека транзакционных функций на Python Transfunctions — это инструмент для создания чистых, переиспользуемых и управляемых пайплайнов из функций. Подходит для задач, где нужно чётко контролировать каждый шаг выполнения. Что такое транзакционные функции? Это функции, которые: • имеют чёткое начало и откат (rollback) — как в базах данных • могут быть объединены в цепочки, где каждая часть знает, как отменить свои действия • обрабатывают ошибки и контекст централизованно • позволяют писать бизнес-логику без дублирования и хаоса Что умеет Transfunctions: • Объединение функций в контролируемые пайплайны • Поддержка отката и логирования • Контекстное выполнение (например, сессии, транзакции, данные) • Минимум шаблонного кода Подходит для ETL, финансовых операций, инфраструктурных обработчиков и сценариев с проверками и откатами. pip install transfunctions 🔗 GitHub: https://github.com/pomponchik/transfunctions #python #pipeline #transactions #opensource #architecture @pythonl

Чтобы получить все уникальные пары элементов из списка, вовсе не обязательно писать громоздкие вложенные циклы. Python предоставляет модуль itertools, который содержит готовые инструменты для таких задач. Например, для списка features = ['price', 'size', 'rating'] можно написать так:

from itertools import combinations

pairs = list(combinations(features, 2))
print(pairs)  # [('price', 'size'), ('price', 'rating'), ('size', 'rating')]

Функция combinations берёт на вход итерируемый объект и размер комбинации. В нашем случае размер равен 2, поэтому мы получаем все возможные неупорядоченные пары без повторов. Это решение не только короче, но и легче читается. Пользуйтесь библиотекой itertools, чтобы избавляться от рутины и писать более чистый код! @pythonl

Технологии, железо и роботы на Yandex Robotics Day уже 16 августа!  На складах Маркета, Леманы Про, Перекрестка, Лавки и других компаний работают роботы Яндекса, которые помогают быстро сканировать товары, собирать посылки и перемещать заказы. Чтобы все функционировало быстро и точно, специалисты Яндекс Роботикс постоянно улучшают их.  16 августа в Москве пройдет митап, на котором они расскажут, как именно это делают:  — Серёжа Стариков выступит с докладом про коммуникационную платформу Yandex Robotics и ее применение в Yandex RMS — Дима Мовчан объяснит, как команда создает умную роборуку с помощью imitation learning и RL — Максим Пшибло расскажет, как с помощью Yandex Robotics Management System управлять несколькими роботами и какие алгоритмы необходимы этой системе Кроме докладов в программе презентация нового робота, выставка тех, которые уже вовсю работают на складах, нетворкинг и неформальное афтепати с экспертами Яндекс Роботикс.  Регистрируйтесь и зовите коллег! Реклама. ООО "ЯНДЕКС МАРКЕТ". ИНН 9704254424.

🆕 В pyfonts — мощное обновление! Теперь можно задать глобальный шрифт по умолчанию — и он применится ко всем текстам автоматически. Больше не нужно вручную проставлять font в каждом элементе 🎯 Идеально для проектов с единой визуальной стилистикой — экономит кучу времени и кода. 🔥 Фичу реализовал John Gardner — спасибо! Ждём фидбек, звёзды и предложения ✨ 📦 GitHub: http://github.com/JosephBARBIERDARNAL/pyfonts @pythonl

Новость для тех, кто хочет строить карьеру в computer science Яндекс Образование вместе с Неймарком и ФКН ВШЭ организуют студкемп в Нижнем Новгороде на тему компьютерного зрения. 🔹 Интенсивная теория: лекции и семинары от Яндекса, Неймарка, ФКН ВШЭ, личное общение со специалистами 🔹 Практическая часть: командные проекты и работа над навыками создания и внедрения компьютерного зрения в автономные системы и робототехнику. Участие в студкемпе бесплатно, но есть отбор. Победителям организаторы оплатят дорогу и проживание. Регистрация до 14 августа, по ссылке.

🔥 WaterCrawl — продвинутая платформа для веб-краулинга и подготовки данных под LLM Если нужно собрать и структурировать контент с сайтов для ИИ — это мощный инструмент. 🧠 В основе: — Django + Scrapy + Celery — Асинхронный краулинг, API и UI — Скриншоты, PDF, JS-рендер, SSE 🚀 Возможности: — Быстрый запуск через Docker (`docker compose up`) — Интеграции с Dify, n8n, Langflow — Пакетная отправка запросов через REST API — SDK для Python, Go, Node, PHP ⚙️ Репозитории @pythonl

Новость для тех, кто хочет строить карьеру в computer science Яндекс Образование вместе с Неймарком и ФКН ВШЭ организуют студкемп в Нижнем Новгороде на тему компьютерного зрения. 🔹 Интенсивная теория: лекции и семинары от Яндекса, Неймарка, ФКН ВШЭ, личное общение со специалистами 🔹 Практическая часть: командные проекты и работа над навыками создания и внедрения компьютерного зрения в автономные системы и робототехнику. Участие в студкемпе бесплатно, но есть отбор. Победителям организаторы оплатят дорогу и проживание. Регистрация до 14 августа, по ссылке.

🖥 Хочешь узнать, какие библиотеки в твоём Python‑проекте реально используются? Многие проекты тянут за собой ненужные зависимости, особенно после десятков итераций. С помощью vulture ты можешь найти неиспользуемый код и импорты — и легко вычистить проект от мусора.

Установка vulture
pip install vulture

Поиск неиспользуемого кода и импортов
vulture your_project/ > unused.txt

Пример: посмотреть, что не используется
cat unused.txt

@pythonl

📘 На Stepik вышел курс — «Python для профессионалов» Уже пишете на Python, но хотите копнуть глубже? Этот курс выведет вас за пределы «основ» и покажет, что умеет современный язык 3.8+. 🔍 Что вы получите: • Итераторы, генераторы, декораторы — пишем чистый и лаконичный код • Async / await, asyncio, concurrent.futures — правильная конкурентность без боли • Метапрограммирование: дескрипторы, метаклассы, динамические классы • Понимание «под капотом»: байткод CPython, GIL, сборщик мусора • Оптимизация: cProfile, tracemalloc, timeit + приёмы ускорения и снижения памяти • ~200 задач, несколько задач с ручным ревью 🎓 Сертификат Stepik по завершении — добавьте в резюме или профиль LinkedIn 🚀 Прокачайте Python до уровня middle/senior. Начните уже сегодня и получите скидку 25%, которая действительна в течение 48 часов 👉 Пройти курс на Stepik

🌐 BrowserOS — операционная система внутри браузера на базе AI BrowserOS — это экспериментальный проект, превращающий браузер в полноценную AI‑среду с "живущими" агентами. По сути, это OS-слой внутри вкладки браузера, где ИИ-агенты могут взаимодействовать с интерфейсами как пользователи. 🧠 Основные идеи: — Агент может кликать, печатать, читать и взаимодействовать с окнами внутри браузера — Поддержка многозадачности: можно открыть несколько окон, как в реальной ОС — Простое API для создания интерфейсов и запуска ИИ-агентов — Можно подключать LLM и наделять их возможностью выполнять действия 📦 Особенности: — UI построен на React — Использует WebAssembly и Web Workers — Позволяет тестировать и запускать агента в контролируемой "песочнице" 💡 Подходит для: — Исследований в области AI-агентов — Прототипирования мультимодальных систем — Демонстрации взаимодействия LLM с интерфейсами 🔗 GitHub @pythonl

Хочешь знать, что происходит внутри ИТ крупного банка? Команда ПСБ рассказывает о работе и жизни в блоке ИТ!   🔹 Знакомься с командой, их проектами и хобби 🔹 Участвуй в активностях: митапы, конференции, спорт 🔹 Читай и комментируй экспертные статьи   Подписывайся на канал  ИТ ПСБ !

🖥 Контекстный перехват stdout — как легко отключить или сохранить print 💡 Хотите, чтобы print() не мешал логике и при этом легко отключался или сохранялся в файл? Вместо того чтобы комментировать все print() в проде, подмените стандартный вывод через контекстный менеджер — и легко направляйте вывод в файл, /dev/null или даже буфер для последующей обработки. Это особенно полезно при отладке в прод-среде или при генерации логов без сторонних библиотек.

import sys
from contextlib import contextmanager
from io import StringIO
import os

@contextmanager
def capture_stdout(to_file=None, suppress=False):
    original_stdout = sys.stdout
    try:
        if suppress:
            sys.stdout = open(os.devnull, 'w')
        elif to_file:
            sys.stdout = open(to_file, 'w')
        else:
            buffer = StringIO()
            sys.stdout = buffer
        yield sys.stdout
    finally:
        sys.stdout.close() if sys.stdout not in (original_stdout, sys.__stdout__) else None
        sys.stdout = original_stdout

# Пример использования:
with capture_stdout(suppress=True):
    print("Этого вы не увидите")

with capture_stdout(to_file="output.log"):
    print("А это уйдёт в файл")

with capture_stdout() as captured:
    print("Это записано во внутренний буфер")

print("Буфер содержит:", captured.getvalue().strip())

@pythonl

E-CUP возвращается. Реальные данные. Масштабные проекты. Большие призы Решайте ML-задачи в стиле Ozon Tech. Девять победителей разделят призовой фонд соревнования — 7 200 000 рублей 🔥 Тест-драйв работы в e-com бигтехе стартует здесь. 🗓 Регистрация: https://cnrlink.com/ecup25pythondjango 💻 Формат участия: онлайн 👥 Команда: от 1 до 5 человек 🎯 Для кого: Data Scientists, ML-специалисты, аналитики данных, дата-инженеры, специалисты Big Data и разработчики, которые интересуются ML/DS. Что вас ждёт: 🔹 Работа над проектом для миллионов пользователей на основе данных от ведущего e-com в России. 🔹 Обмен опытом с экспертами Ozon Tech. 🔹 Эксклюзивный мерч для победителей и подарки для самых активных участников. 🔹 Питчинг — 13 сентября на конференции E-CODE. Ozon Tech предоставит финалистам билеты и оплатит поездку. Три трека E-CUP: 1️⃣ Рекомендации: предсказание следующей покупки пользователя 2️⃣ Логистика: автопланирование курьеров 3️⃣ Контроль качества: автоматическое выявление поддельных товаров Регистрация на платформе Codenrock: https://cnrlink.com/ecup25pythondjango

🔥 Нашёл 100% open-source AI-агента для задач в разработке ПО! ByteDance выпустили Trae Agent — LLM-агент для автоматизации задач в области программной инженерии. ✅ Планирование и использование инструментов из коробки ✅ Умеет рефакторить, дебажить, разбираться в коде ✅ Полностью автономный ✅ Абсолютно открытый код Отличная база, если вы строите что-то с AI. git clone https://github.com/bytedance/trae-agent.git cd trae-agent uv venv uv sync --all-extras https://github.com/bytedance/trae-agent @pythonl

⚡️ Почему лучшие разработчики всегда на шаг впереди? Потому что они знают, где брать настоящие инсайд! Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе. ИИ: t.me/ai_machinelearning_big_data Python: t.me/pythonl Linux: t.me/linuxacademiya Devops: t.me/DevOPSitsec Базы данных: t.me/sqlhub Мл собес t.me/machinelearning_interview C++ t.me/cpluspluc Docker: t.me/DevopsDocker Хакинг: t.me/linuxkalii МЛ: t.me/machinelearning_ru Data Science: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/java_library Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Разработка игр: https://t.me/gamedev Физика: t.me/fizmat SQL: t.me/databases_tg Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🖥 Chatgpt для кода в тг: @Chatgpturbobot - 📕Ит-книги: https://t.me/addlist/BkskQciUW_FhNjEy 💼ИТ-вакансии t.me/addlist/_zyy_jQ_QUsyM2Vi Подпишись, чтобы всегда знать, куда двигаться дальше!

🧹 ObjectClear — инструмент для удаления объектов с изображений с помощью ИИ Что умеет: 🖼 Загружаешь изображение 🎯 Выделяешь объект, который хочешь убрать ✨ Модель автоматически удаляет его и восстанавливает фон Под капотом: — Segment Anything (SAM) от Meta для выделения объекта — Inpaint-Anything для генерации фона — Поддержка работы в браузере (Gradio UI) Можно запускать локально. Всё open-source. 📎 GitHub: https://github.com/zjx0101/ObjectClear @pythonl