DataEng

🔥 Девушка без навыков разработки запустила AI-бота и вышла на первые продажи за месяц Аня из комьюнити @its_capitan заметила: люди учат английский годами, но говорить не могут. И тогда она сделала Telegram-бота, который общается с тобой голосовыми на английском и исправляет ошибки как живой собеседник. Что в итоге: — ~700 пользователей за первый месяц — первые 16 оплат — первая выручка: ~$200 — подписка: $8/мес — сделано на n8n + OpenAI без разработчиков Не было ни команды, ни инвестиций, ни кода. Главное — не технология. Главное — простая понятная ценность. Таких запусков в канале уже десятки. Показываем честно: цифры, провалы, рост и продвижение. Без теорий. Только реальные метрики и запуск в реальном времени. 👉 @its_capitan Подписывайтесь, если интересно, как делать маленькие IT-проекты с доходом и без иллюзий.

📣 📢 13 ИИ агентов для дата инженера Ребята из Astronomer выложили 13 полезных ИИ агентов для дата инженера. В списке есть имба-агент, помогающий мигрировать Airflow 2 на Airflow 3 — migrating-airflow-2-to-3 Преимущественно агенты сконцентрированы вокруг написания и тестирования Airflow DAGs, проектирования таблиц БД, data lineage. Боевой комплект дата инженера. Из БД они умеют в Snowflake, Postgres, BigQuery. Также есть навык для работы с SQLAlchemy ORM. Установка агентов:

npx skills add astronomer/agents

Для Claude Code можно установить прямо их маркетплейса

claude plugin marketplace add astronomer/agents
claude plugin install data@astronomer 

В комплекте есть Airflow MCP сервер. Ссылка на репозиторий: astronomer/agents

pandas 3.0 Вышла мажорная версия самой, пожалуй, популярной библиотеки для работы с данными в Python - pandas 3.0. В новом релизе появилось два значительных изменения: новый dtype для строк str вместо привычного numpy object. По словам разработчиков это значительно улучшает производительность кода. Также теперь Copy-on-Write это единственный режим для изменения значения колонок у датафрейма, более подробно здесь. Перед миграцией на новую версия pandas необходимо прошерстить легаси код и внести изменения, если вдруг в коде есть проверки на object или неоднозначные изменения датафрейма (вездесущий SettingWithCopyWarning в логах). Ссылка на полный release notes.

fastjsondiff - High-performance JSON comparison with a Zig-powered core Написал небольшую библиотеку для сравнения двух JSON-текстов/файлов. В Python есть популярная либа jsondiff, но её основная проблема это сильные тормоза, если на вход подать более менее крупный JSON-текст. Давно вынашивал идею реализации чего-то такого, но на Zig/Rust, т.к. чистая реализация на Python будет всё равно медленнее. По итогу получилось реализовать на Zig основную либу и Python-интерфейс к ней.

pip install fastjsondiff-zig

Github: https://github.com/adilkhash/fastjsondiff PyPI: https://pypi.org/project/fastjsondiff-zig/ Буду признателен за ⭐ на репе в гитхабе, это поможет её распространить дальше.

Zen Habits Встречайте, ещё один побочный продукт моего вайб-кодинга — Zen Habits. Веб-приложение с нативной интеграцией с Telegram. Авторизуйтесь через телеграм, создавайте привычки и получайте о них нотификации прямо от телеграм-бота. В этом же боте выполняйте их. Внутри есть стена коммитов по типу Github. Велком: https://zenhabits.dev/ Пожелания, критика и оскорбления жду в чатике канала 🫂

Обновленный мини-курс по Apache Kafka от небезызвестного Тима Бёргланда: Apache Kafka 101 (2025 Edition)

Доклады с Airflow Summit 2025 Подъехали доклады с прошедшей не так давно конференции Airflow Summit 2025, много вкусного, будет что посмотреть по вечерам: — Airflow at OpenAI — Benchmarking the Performance of Dynamically Generated DAGs — Airflow That Remembers: The Dag Versioning Era is here! — DAGLint: Elevating Airflow DAG Quality Through Automated Linting — Allegro's Airflow Journey: From On-Prem to Cloud Orchestration at Scale — Deadline Alerts in Airflow 3.1 — Beyond Logs: Unlocking Airflow 3.0 Observability with OpenTelemetry Traces — Introducing Apache Airflow® 3 – The Next Evolution in Orchestration — Security made us do it: Airflow’s new Task Execution Architecture — Unlocking Event-Driven Scheduling in Airflow 3 Полный список видео смотрите на Ютуб канале — Apache Airflow

XLTable - OLAP Cервер для нового стека данных Работайте с ClickHouse, BigQuery, Snowflake из сводной таблицы Excel. Предоставьте пользователям возможность самостоятельно работать с данными, с помощью знакомого инструмента. 📈Ключевые возможности XLTable: • Аналог MS OLAP (SSAS) для больших данных • Интеграция с MS Excel по протоколу XMLA • Поддержка ClickHouse, BigQuery, Snowflake • Скоро: YDB, Greenplum • Множество групп мер, иерархий и измерений в одном кубе • Гибкие настройки кэширования • Развёртывание внутри вашей инфраструктуры или в облаке 🔒Безопасность: • Интеграция с LDAP • Разграничение доступа на уровне мер, измерений и их членов ⚙️Производительность: • Безлимитное количество мер и измерений • Работа из Excel c миллиардами строк данных • Все расчеты производятся на уровне ClickHouse • Отличные возможности для масштабирования Хочешь получить бесплатную пробную версию на 30 дней? 👉🏻Напиши «OLAP» - покажем демо и поможем с настройкой Контакт: https://t.me/vorobiova_anastasia Сайт с информацией о продукте: https://xltable.com/

Apache Airflow 3.1.1 Вышел новый релиз Apache Airflow 3.1.1 очередным паком багфиксов — Airflow 3.1.1 (2025-10-27). Пофиксали очередную утечку памяти с remote logging connection cache. Что-то 3-я версия Эйрфлоу богата на ошибки с утечками памяти. Бегу обновлять свой инстанс.

Построение пайплайнов dlt в Apache Airflow dlt это python библиотека для загрузки данных из разных источников. Она из коробки поддерживает работу с REST API, SQL, облачными хранилища и т.д. В сети появился бесплатный курс как подружить dlt и Apache Airflow — Deploy dlt pipelines. Сейчас доступны материалы про Apache Airflow, но на подходе информация и про Prefect, Dagster, Kestra, Orchestra и Modal. Я неоднократно слышал про dlt, но ни разу не доводилось использовать. Сейчас у меня есть пара проектов, где необходимо забирать данные из Airtable. Планирую ознакомиться с курсом и попробовать переделать свой пайплайн.

Ребята из Qdrant запустили бесплатный семидневный курс про свою векторную базу данных: Qdrant Essentials Меня в последнее время интересует тема векторного поиска и векторных БД, и Qdrant как раз неплохой кандидат на изучение и реализацию какого-нибудь проекта (спойлер: домашнего векторного поисковика). Курс прям как по заказу!

The Annual Airflow Survey Если вы пользуетесь Apache Airflow, то давайте поможем сообществу собрать больше информации об использовании Airflow. До 20 ноября необходимо заполнить опросник на сайте взамен вы получите возможность пройти сертификацию по Airflow от Astronomer бесплатно (я сдавал их экзамен и он хороший). Опросник небольшой, замёт не более 10 минут вашего времени.

Airflow AI SDK Нашел интересный реп от Astronomer с набором тасков для работы с большими языковыми моделями — airflow-ai-sdk. Пакет предлагает набор декораторов:

— LLM tasks with @task.llm: Define tasks that call language models to process text — Agent tasks with @task.agent: Orchestrate multi-step AI reasoning with custom tools —Branching with @task.llm_branch: Change DAG control flow based on LLM output — Embedding tasks with @task.embed: Create vector embeddings from text

Поддерживает работу с OpenAI, Anthropic, Gemini и другими через пакет pydantic-ai. С новым механизмом Human-in-the-Loop в Airflow 3.1 стало ещё удобнее контролировать процесс с помощью человека. Имхо, Airflow неплохо вписывается в эру ИИ мульти-агентов в качестве надёжного оркестратора.

MCP сервер для Apache Airflow Нашел репозиторий с готовым MCP сервером для Apache Airflow — mcp-server-apache-airflow MCP или Model Context Protocol - это протокол, позволяющий большим языковым моделям взаимодействовать со сторонними сервисами, дергая их за "ручки". Например, используя этот MCP сервер для Airflow можно через ИИ-агента манипулировать дагами и не только.

Jetbrains DataGrip бесплатно для некоммерческих целей Теперь JetBrains DataGrip можно использовать бесплатно в некоммерческих целях. Я уже давно пользуюсь продуктами JetBrains, мой фаворит безусловно PyCharm. Работая в компании Playirx, я регулярно использовал DataGrip и считаю его лучшей оболочкой для работы с базами данных. DataGrip пополнил линейку бесплатных продуктов (для некоммерческих целей) наряду с CLion, RustRover, WebStorm и RubyMine. Вполне возможно, что скоро мы увидим и Rider и GoLand в этом списке 🤞