Agentic Engineer
前往频道在 Telegram
Data Engineering Technologies. SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt, LLM, Agentic systems, AI, robots, drones etc. Boost channel - https://t.me/boost/data_engi
显示更多704
订阅者
+124 小时
+27 天
+2430 天
正在加载数据
吸引订阅者
十月 '2610月 '26
十月 '26
+30
在0个频道中
九月 '26
+60
在0个频道中
Get PRO
八月 '26
+24
在0个频道中
Get PRO
七月 '26
+18
在0个频道中
Get PRO
六月 '26
+15
在0个频道中
Get PRO
五月 '26
+15
在0个频道中
Get PRO
四月 '26
+23
在0个频道中
Get PRO
三月 '26
+38
在0个频道中
Get PRO
二月 '26
+21
在0个频道中
Get PRO
一月 '26
+31
在2个频道中
Get PRO
十二月 '25
+46
在1个频道中
Get PRO
十一月 '25
+30
在1个频道中
Get PRO
十月 '25
+58
在1个频道中
Get PRO
九月 '25
+38
在1个频道中
Get PRO
八月 '25
+15
在0个频道中
Get PRO
七月 '25
+13
在0个频道中
Get PRO
六月 '25
+11
在0个频道中
Get PRO
五月 '25
+14
在0个频道中
Get PRO
四月 '25
+6
在0个频道中
Get PRO
三月 '25
+13
在0个频道中
Get PRO
二月 '25
+10
在1个频道中
Get PRO
一月 '25
+16
在0个频道中
Get PRO
十二月 '24
+12
在0个频道中
Get PRO
十一月 '24
+22
在0个频道中
Get PRO
十月 '24
+15
在0个频道中
Get PRO
九月 '24
+34
在0个频道中
Get PRO
八月 '24
+5
在0个频道中
Get PRO
七月 '24
+11
在0个频道中
Get PRO
六月 '24
+11
在0个频道中
Get PRO
五月 '24
+14
在0个频道中
Get PRO
四月 '24
+17
在0个频道中
Get PRO
三月 '24
+30
在0个频道中
Get PRO
二月 '24
+18
在0个频道中
Get PRO
一月 '24
+220
在0个频道中
| 日期 | 订阅者增长 | 提及 | 频道 | |
| 30 十月 | 0 | |||
| 29 十月 | +1 | |||
| 28 十月 | 0 | |||
| 27 十月 | +1 | |||
| 26 十月 | 0 | |||
| 25 十月 | 0 | |||
| 24 十月 | 0 | |||
| 23 十月 | +1 | |||
| 22 十月 | 0 | |||
| 21 十月 | +3 | |||
| 20 十月 | +9 | |||
| 19 十月 | +1 | |||
| 18 十月 | +2 | |||
| 17 十月 | 0 | |||
| 16 十月 | 0 | |||
| 15 十月 | +1 | |||
| 14 十月 | 0 | |||
| 13 十月 | 0 | |||
| 12 十月 | 0 | |||
| 11 十月 | 0 | |||
| 10 十月 | 0 | |||
| 09 十月 | +1 | |||
| 08 十月 | 0 | |||
| 07 十月 | +4 | |||
| 06 十月 | 0 | |||
| 05 十月 | +1 | |||
| 04 十月 | +3 | |||
| 03 十月 | 0 | |||
| 02 十月 | +2 | |||
| 01 十月 | 0 |
频道帖子
| 2 |  ClickHouse научился безопасно переставлять "опасные" JOIN’ы 😙
В ClickHouse 26.10 новый оптимизатор меняет порядок не только обычных INNER JOIN, но и OUTER, SEMI и ANTI JOIN, не искажая результат.
Раньше такие соединения блокировали оптимизацию. Теперь движок может раньше применить самый избирательный JOIN и не строить огромную промежуточную таблицу. В примере ClickHouse её размер сократился с 504 млн до 1 млн строк. Механизм проверили на 2,8 млн планов без ошибок.
Пруф: ClickHouse 28.10.26
#clickhouse #sql #queryoptimizer #database #performance #dataengineering
@data_engi | 118 |
| 3 | Из того, что вижу на рынке: сначала хочешь в аналитики, потом в инженеры, если чуть прошарил фишку, то в продакты.
Если прям вообще «умный», то идешь плитку укладывать всем этим итшникам и, когда они рассказывают про свои зарплаты, сокрушаешься типа «разве на эти деньги можно прожить?» | 142 |
| 4 | 🥰 BigQuery сделал файлы обычными колонками
Google вывела ObjectRef в общий доступ. Теперь таблица BigQuery может хранить ссылки на изображения, видео, аудио и документы в Cloud Storage рядом с обычными данными.
Файлы можно передавать в Gemini, Python UDF и SQL-функции без копирования. ObjectRef также фиксирует версию объекта — повторный запуск обработает именно тот файл, который использовался изначально.
Для инженеров это способ строить воспроизводимые мультимодальные ETL-конвейеры без отдельной системы синхронизации.
Пруф: Google Cloud 21.10.26
#bigquery #googlecloud #multimodal #etl #dataengineering
@data_engi | 153 |
| 5 |  Кеш промптов сломан, а агент работает как ни в чём не бывало 😉
26 октября исследователи разобрали 120 ошибок интеграции кеширования в десяти открытых агентных системах. В 90% случаев исключений не было: ломалось переиспользование промпта или неверно считались кешированные токены.
Типичные причины — текущая дата со временем в начале системного промпта, случайные UUID, меняющийся порядок данных и проверки поддержки кеша по названию модели.
Для тебя вывод: правильный ответ ещё не означает, что оптимизация работает. Проверяй повторные запросы отдельно: стабильность префикса, фактические cache-hit, задержку и расход токенов. Счётчикам в собственной обёртке тоже нужен тест.
Это исследование отобранных исправлений, а не оценка доли сломанных агентов вообще.
Исследование Silent and Costly
#llm #aiagents #promptcaching #llmops #inference
@data_engi | 147 |
| 6 |  @if_memes
#meme #memes #mem #мем #мемы | 148 |
| 7 |  AI-агенты обменялись промежуточными вычислениями вместо текста ⛔️
23 октября исследователи представили J-Comm: одна LLM передаёт другой числовые представления своего рассуждения. Получатель преобразует их в собственное внутреннее представление — одинаковая размерность моделей и общий KV-кеш не нужны.
В связке Qwen3-8B 🔜 Qwen3-4B на семи бенчмарках качество выросло на 1,29–8,59 процентного пункта относительно текстового обмена, а число генерируемых текстовых токенов снизилось на 19,2–74,8%. Это не означает такое же снижение времени или стоимости вычислений.
Для тебя здесь интересная архитектурная идея: текст — не единственный интерфейс между агентами. Но через обычный чат-API такое не подключить: нужен доступ к внутренним слоям моделей.
#aiagents #multiagent #llm #latentcommunication #inference
@data_engi | 136 |
| 8 | OpenSearch сам превращает файлы из S3 в RAG-индекс 😎
AWS запустила Intelligent Ingestion: сервис разбирает PDF, Word и Markdown, сохраняет таблицы и структуру, описывает изображения, нарезает текст, строит эмбеддинги и загружает всё в OpenSearch.
Можно выполнить разовую загрузку или следить за новыми файлами через SQS. Свой ETL-конвейер для RAG больше не обязателен.
Пока функция доступна только в OpenSearch Serverless NextGen и шести регионах AWS.
Пруф: AWS 23.10.26
#opensearch #aws #rag #etl #vectordatabase #dataengineering
@data_engi | 142 |
| 9 | Anthropic: хватит плодить сабагентов 🤖
В новой статье команда Claude пишет, что во многих production-системах один агент + skills + tools работает лучше сложной иерархии агентов: выше качество, меньше latency и дешевле.
Причина проста: сабагенты теряют контекст при handoff'ах, размножают промпты и усложняют оркестрацию.
Сабагенты всё ещё нужны, когда:
🔘 задачи реально можно выполнять параллельно
🔘 контекст становится слишком большим
🔘 одному агенту сложно выбирать инструменты или соблюдать конфликтующие инструкции
Иначе — один основной agent loop, progressive disclosure и минимум магии в harness.
#ai #agents #llm #agentic #architecture
@data_engi | 158 |
| 10 | Arxiv ввел из-за нейрослопа лимит в два сабмишна в месяц. Теперь для нейрошитпоста остался только телеграм… | 160 |
| 11 |  Агент несколько дней грузил production PostgreSQL 🙄
В Shipsidekick агент запустил тяжёлый запрос через read-only роль. Его не заметили несколько дней, а нагрузка на CPU выросла до 40–50%.
Команда ограничила время запросов и транзакций, а агентов вынесла на отдельную реплику.
Вывод простой: read-only не значит безопасно. Агентный трафик лучше изолировать от production.
Пруф: ClickHouse 23.10.26
#postgresql #aiagents #mcp #database #dataengineering
@data_engi | 170 |
| 12 | Открытый стек AI-агентов собирают в одном фонде 🤓
AAIF под управлением Linux Foundation приняла четыре проекта:
🔘 Anthropic 🔜 Agent Skills: переносимые инструкции и инструменты
🔘 OpenAI 🔜 Open Responses: общий интерфейс работы с моделями
🔘 Hugging Face 🔜 OpenEnv: среды обучения и оценки агентов
🔘 Alibaba 🔜 OpenSandbox: песочницы на Docker и Kubernetes
Они присоединились к MCP, A2A и другим проектам фонда.
Для тебя это шанс меньше зависеть от одного поставщика. Но совместимость конкретных версий всё равно придётся проверять.
Пруф - Linux Foundation
#aiagents #mcp #agentskills #openresponses #opensandbox #openstandards
@data_engi | 159 |
| 13 |  Декларативный Spark экономит вычисления в 34 раза 😵💫
Databricks сравнила 528 конвейеров, написанных ИИ-агентом. Обычный PySpark потратил на ошибочные запуски 596 секунд работы исполнителей, а Spark Declarative Pipelines — всего 17: ошибки в схемах и зависимостях ловятся до запуска кластера.
Кода тоже стало вдвое меньше: 64 строки против 131. Но логические ошибки никуда не исчезли — тесты и ревью всё ещё обязательны.
Пруф: Databricks от 23.10.26
#apachespark #pyspark #etl #datapipelines #dataengineering
@data_engi | 181 |
| 14 | Удалённый секрет остался в памяти AI-агента 🙂
22 октября исследователи представили AfterDeleteBench — тест удаления информации из долговременной памяти агента.
Оказалось, удалить исходное сообщение недостаточно. Его содержимое может остаться в:
⏩ сводках прошлых диалогов;
⏩ производных заметках;
⏩ отдельных фрагментах, из которых секрет собирается заново.
После удаления исходной записи Qwen2.5-7B восстановила секрет одним вопросом примерно в двух третях случаев. Когда полной строки нигде не было, но её компоненты хранились раздельно, Qwen, Mistral и Phi‑3 собирали точное значение в 62–99% запусков. В контрольной группе, которая никогда не видела секрет, восстановлений не было.
Для тебя вывод: удаление из памяти агента должно работать как каскад по происхождению данных. Нужно найти и пересобрать все сводки, кеши и производные записи, зависящие от удалённого источника, а затем проверить поведение агента в новой сессии.
Простой фильтр, запрещающий повторно записать секрет, проблему не решает: он блокирует будущую запись, но не стирает уже существующие следы. В эксперименте удаление всех потомков по полной истории происхождения снизило восстановление до нуля.
Ограничение: использовались синтетические секреты и контролируемая память с идеальной историей происхождения. Для сжатых и семантически преобразованных воспоминаний надёжное забывание всё ещё остаётся открытой задачей.
Исследование AfterDeleteBench от 22.10.26
#aiagents #agentmemory #privacy #datadeletion #datagovernance #llmsecurity
@data_engi | 184 |
| 15 |  Месси показал как надо использовать ChatGPT ⚽ ♟ 🤖
#chess #agentic #chatgpt #football #messi #leomessi
@data_engi | 196 |
| 16 |  🥋 Unitree показала кунг-фу-телохранителя
Unitree представила H2-X Kung Fu Legend Guardian — робота, которого рекламирует как защитника с навыками кунг-фу.
#unitree #robotics #ai
@data_engi | 240 |
| 17 | AI-агент научился превращать свои исправления в переиспользуемые правила 🫡
20 октября исследователи представили Relay — систему для восстановления старых сборок ПО. Вместо отдельного агента на каждый сломанный проект она:
🔘 группирует похожие ошибки сборки;
🔘 даёт LLM несколько характерных логов;
🔘 просит создать обобщённое правило исправления;
🔘 принимает правило только после реальной пересборки;
🔘 применяет его дальше без вызовов модели;
🔘 передаёт агенту лишь оставшиеся нестандартные случаи.
Проблема оказалась массовой: из 14 159 исторических кейсов OSS-Fuzz уже не удалось воспроизвести 69,7% — исчезли образы, версии пакетов, архивы и инструменты. Правила, созданные с помощью LLM, помогли восстановить 469 сборок. На одно успешное восстановление отдельным агентам требовалось в 2,3–3,6 раза больше запусков сборки.
Для тебя здесь полезен общий паттерн: агент не должен бесконечно заново решать одинаковые инциденты. Пусть он превращает проверенное решение в детерминированное правило, а рантайм валидирует его на реальном результате и переиспользует без LLM. Агент остаётся последней линией для редких исключений.
Пока результаты относятся только к восстановлению сборок OSS-Fuzz, а полный пакет воспроизведения авторы обещают выпустить после публикации.
Пруф: исследование Relay от 20.10.26
#aiagents #softwareengineering #buildsystems #devops #llmops #ossfuzz
@data_engi | 205 |
| 18 | 🖼️ Airflow научился отличать временный сбой от бессмысленного ретрая
19 октября Apache Airflow выпустил Common AI Provider 1.0. В Airflow 3.3 модель может анализировать ошибку задачи и решать: повторить её с задержкой или завершить сразу. Например, 429 Too Many Requests отправляется на повтор, а отозванный ключ с ошибкой 403 не расходует остальные попытки. При недоступности модели действуют обычные резервные правила.
Провайдер также позволяет приостановить агента перед опасным вызовом инструмента и запросить одобрение человека. Пока задача ждёт решения, она не занимает worker; SQL-инструмент можно ограничить чтением заданных таблиц, а сгенерированный код — выполнять в изолированной среде.
Для инженеров это возможность перенести в Airflow более осмысленную обработку сбоев и контролируемые агентные шаги без отдельной системы оркестрации.
Нюансы: пауза для одобрения и интеллектуальные retry-политики требуют Airflow 3.3. В этой версии за один запуск DAG допускается только один запрос одобрения, а песочницы и Agent Skills пока считаются экспериментальными.
Пруф: Apache Airflow — 19.10.26 года
#apacheairflow #dataorchestration #dataops #faulttolerance #aiagents #dataengineering
@data_engi | 205 |
| 19 | 80% «успешных» запусков агентов нарушили обязательный процесс 🫤
19 октября исследователи представили CXBench — бенчмарк для агентов, работающих в банковских, страховых, медицинских и других регулируемых процессах.
Он отдельно проверяет:
🔘 достигнут ли правильный бизнес-результат;
🔘 были ли раскрыты обязательные условия;
🔘 получено ли согласие клиента;
🔘 соблюдены ли порядок действий и права на вызов инструментов.
На 120 задачах и семи моделях итоговое состояние оказалось правильным в 69,3% запусков. Но результат вместе с корректным процессом получили лишь в 13,8%. Получается, 80,1% формально успешных запусков содержали нарушение процедуры.
Для тебя вывод простой: проверять только состояние базы после работы агента недостаточно. В тесты нужно включать полный trace — сообщения, подтверждения, порядок tool calls и полномочия. А критичное действие лучше отдавать рантайму: агент готовит черновик, пользователь подтверждает поля, и только затем система применяет изменение.
CXBench не доказывает юридическую корректность реального продукта, а часть смысловых требований оценивает LLM-судья. Но разрыв между «сделал» и «сделал правильно» он показывает хорошо.
Исследование CXBench
#aiagents #aievals #toolcalling #compliance #agentreliability #llmops
@data_engi | 201 |
| 20 |  🤖 AI-агенты в DAG: выкатили Airflow AI Provider 1.0 🖼️
Первый стабильный релиз apache-airflow-providers-common-ai — провайдера для работы с LLM и AI-агентами прямо в пайплайнах Airflow.
Что умеет:
🔘 @task.llm и @task.agent — вызовы моделей и агенты как задачи DAG
🔘 SQL-инструменты с перечнем разрешённых таблиц и выполнение кода в песочнице
🔘 На Airflow 3.3 — подтверждение вызовов инструментов человеком и решения о ретраях с помощью LLM
Например, агент может исследовать падение выручки и подготовить сообщение в Slack, запросив разрешение перед отправкой.
Минимум для установки — Airflow 2.11 и Python 3.11; отдельные функции требуют более свежего Airflow.
⏩ Анонс
⏩ Документация
⏩ PyPI
#Airflow #AI #LLM #AIAgents #DataEngineering
@data_engi | 412 |
