Agentic Engineer
Kanalga Telegram’da o‘tish
Data Engineering Technologies. SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt, LLM, Agentic systems, AI, robots, drones etc. Boost channel - https://t.me/boost/data_engi
Ko'proq ko'rsatish704
Obunachilar
+124 soatlar
+27 kun
+2430 kun
Ma'lumotlar yuklanmoqda
O'xshash kanallar
Taglar buluti
Kirish va chiqish esdaliklari
---
---
---
---
---
---
Obunachilarni jalb qilish
Oktabr '26Okt '26
Oktabr '26
+31
0 kanalda
Sentabr '26
+60
0 kanalda
Get PRO
Avgust '26
+24
0 kanalda
Get PRO
Iyul '26
+18
0 kanalda
Get PRO
Iyun '26
+15
0 kanalda
Get PRO
May '26
+15
0 kanalda
Get PRO
Aprel '26
+23
0 kanalda
Get PRO
Mart '26
+38
0 kanalda
Get PRO
Fevral '26
+21
0 kanalda
Get PRO
Yanvar '26
+31
2 kanalda
Get PRO
Dekabr '25
+46
1 kanalda
Get PRO
Noyabr '25
+30
1 kanalda
Get PRO
Oktabr '25
+58
1 kanalda
Get PRO
Sentabr '25
+38
1 kanalda
Get PRO
Avgust '25
+15
0 kanalda
Get PRO
Iyul '25
+13
0 kanalda
Get PRO
Iyun '25
+11
0 kanalda
Get PRO
May '25
+14
0 kanalda
Get PRO
Aprel '25
+6
0 kanalda
Get PRO
Mart '25
+13
0 kanalda
Get PRO
Fevral '25
+10
1 kanalda
Get PRO
Yanvar '25
+16
0 kanalda
Get PRO
Dekabr '24
+12
0 kanalda
Get PRO
Noyabr '24
+22
0 kanalda
Get PRO
Oktabr '24
+15
0 kanalda
Get PRO
Sentabr '24
+34
0 kanalda
Get PRO
Avgust '24
+5
0 kanalda
Get PRO
Iyul '24
+11
0 kanalda
Get PRO
Iyun '24
+11
0 kanalda
Get PRO
May '24
+14
0 kanalda
Get PRO
Aprel '24
+17
0 kanalda
Get PRO
Mart '24
+30
0 kanalda
Get PRO
Fevral '24
+18
0 kanalda
Get PRO
Yanvar '24
+220
0 kanalda
| Sana | Obunachilarni jalb qilish | Esdaliklar | Kanallar | |
| 30 Oktabr | +1 | |||
| 29 Oktabr | +1 | |||
| 28 Oktabr | 0 | |||
| 27 Oktabr | +1 | |||
| 26 Oktabr | 0 | |||
| 25 Oktabr | 0 | |||
| 24 Oktabr | 0 | |||
| 23 Oktabr | +1 | |||
| 22 Oktabr | 0 | |||
| 21 Oktabr | +3 | |||
| 20 Oktabr | +9 | |||
| 19 Oktabr | +1 | |||
| 18 Oktabr | +2 | |||
| 17 Oktabr | 0 | |||
| 16 Oktabr | 0 | |||
| 15 Oktabr | +1 | |||
| 14 Oktabr | 0 | |||
| 13 Oktabr | 0 | |||
| 12 Oktabr | 0 | |||
| 11 Oktabr | 0 | |||
| 10 Oktabr | 0 | |||
| 09 Oktabr | +1 | |||
| 08 Oktabr | 0 | |||
| 07 Oktabr | +4 | |||
| 06 Oktabr | 0 | |||
| 05 Oktabr | +1 | |||
| 04 Oktabr | +3 | |||
| 03 Oktabr | 0 | |||
| 02 Oktabr | +2 | |||
| 01 Oktabr | 0 |
Kanal postlari
| 2 |  Databricks больше не просит угадывать число читателей Kafka 🙂
Lakeflow теперь сам меняет количество задач, читающих Kafka или Kinesis, под текущий поток данных. Настраивать maxPartitions и shardsPerTask вручную необязательно.
Несколько потоков реального времени также могут работать в одном конвейере, не отбирая друг у друга вычислительные слоты. Это упрощает обработку скачков нагрузки без постоянной перенастройки Spark.
Пока обе возможности находятся в бете, работают только на бессерверных конвейерах в канале Preview и не регулируют число разделов перемешивания.
Пруфы:
⏩анонс Databricks 28.10.26
⏩документация
#databricks #apachekafka #kinesis #spark #streamprocessing #dataengineering
@data_engi | 83 |
| 3 | Matn yo'q... | 106 |
| 4 |  ClickHouse научился безопасно переставлять "опасные" JOIN’ы 😙
В ClickHouse 26.10 новый оптимизатор меняет порядок не только обычных INNER JOIN, но и OUTER, SEMI и ANTI JOIN, не искажая результат.
Раньше такие соединения блокировали оптимизацию. Теперь движок может раньше применить самый избирательный JOIN и не строить огромную промежуточную таблицу. В примере ClickHouse её размер сократился с 504 млн до 1 млн строк. Механизм проверили на 2,8 млн планов без ошибок.
Пруф: ClickHouse 28.10.26
#clickhouse #sql #queryoptimizer #database #performance #dataengineering
@data_engi | 131 |
| 5 | Из того, что вижу на рынке: сначала хочешь в аналитики, потом в инженеры, если чуть прошарил фишку, то в продакты.
Если прям вообще «умный», то идешь плитку укладывать всем этим итшникам и, когда они рассказывают про свои зарплаты, сокрушаешься типа «разве на эти деньги можно прожить?» | 146 |
| 6 | 🥰 BigQuery сделал файлы обычными колонками
Google вывела ObjectRef в общий доступ. Теперь таблица BigQuery может хранить ссылки на изображения, видео, аудио и документы в Cloud Storage рядом с обычными данными.
Файлы можно передавать в Gemini, Python UDF и SQL-функции без копирования. ObjectRef также фиксирует версию объекта — повторный запуск обработает именно тот файл, который использовался изначально.
Для инженеров это способ строить воспроизводимые мультимодальные ETL-конвейеры без отдельной системы синхронизации.
Пруф: Google Cloud 21.10.26
#bigquery #googlecloud #multimodal #etl #dataengineering
@data_engi | 159 |
| 7 |  Кеш промптов сломан, а агент работает как ни в чём не бывало 😉
26 октября исследователи разобрали 120 ошибок интеграции кеширования в десяти открытых агентных системах. В 90% случаев исключений не было: ломалось переиспользование промпта или неверно считались кешированные токены.
Типичные причины — текущая дата со временем в начале системного промпта, случайные UUID, меняющийся порядок данных и проверки поддержки кеша по названию модели.
Для тебя вывод: правильный ответ ещё не означает, что оптимизация работает. Проверяй повторные запросы отдельно: стабильность префикса, фактические cache-hit, задержку и расход токенов. Счётчикам в собственной обёртке тоже нужен тест.
Это исследование отобранных исправлений, а не оценка доли сломанных агентов вообще.
Исследование Silent and Costly
#llm #aiagents #promptcaching #llmops #inference
@data_engi | 155 |
| 8 |  @if_memes
#meme #memes #mem #мем #мемы | 157 |
| 9 |  AI-агенты обменялись промежуточными вычислениями вместо текста ⛔️
23 октября исследователи представили J-Comm: одна LLM передаёт другой числовые представления своего рассуждения. Получатель преобразует их в собственное внутреннее представление — одинаковая размерность моделей и общий KV-кеш не нужны.
В связке Qwen3-8B 🔜 Qwen3-4B на семи бенчмарках качество выросло на 1,29–8,59 процентного пункта относительно текстового обмена, а число генерируемых текстовых токенов снизилось на 19,2–74,8%. Это не означает такое же снижение времени или стоимости вычислений.
Для тебя здесь интересная архитектурная идея: текст — не единственный интерфейс между агентами. Но через обычный чат-API такое не подключить: нужен доступ к внутренним слоям моделей.
#aiagents #multiagent #llm #latentcommunication #inference
@data_engi | 145 |
| 10 | OpenSearch сам превращает файлы из S3 в RAG-индекс 😎
AWS запустила Intelligent Ingestion: сервис разбирает PDF, Word и Markdown, сохраняет таблицы и структуру, описывает изображения, нарезает текст, строит эмбеддинги и загружает всё в OpenSearch.
Можно выполнить разовую загрузку или следить за новыми файлами через SQS. Свой ETL-конвейер для RAG больше не обязателен.
Пока функция доступна только в OpenSearch Serverless NextGen и шести регионах AWS.
Пруф: AWS 23.10.26
#opensearch #aws #rag #etl #vectordatabase #dataengineering
@data_engi | 151 |
| 11 | Anthropic: хватит плодить сабагентов 🤖
В новой статье команда Claude пишет, что во многих production-системах один агент + skills + tools работает лучше сложной иерархии агентов: выше качество, меньше latency и дешевле.
Причина проста: сабагенты теряют контекст при handoff'ах, размножают промпты и усложняют оркестрацию.
Сабагенты всё ещё нужны, когда:
🔘 задачи реально можно выполнять параллельно
🔘 контекст становится слишком большим
🔘 одному агенту сложно выбирать инструменты или соблюдать конфликтующие инструкции
Иначе — один основной agent loop, progressive disclosure и минимум магии в harness.
#ai #agents #llm #agentic #architecture
@data_engi | 165 |
| 12 | Arxiv ввел из-за нейрослопа лимит в два сабмишна в месяц. Теперь для нейрошитпоста остался только телеграм… | 161 |
| 13 |  Агент несколько дней грузил production PostgreSQL 🙄
В Shipsidekick агент запустил тяжёлый запрос через read-only роль. Его не заметили несколько дней, а нагрузка на CPU выросла до 40–50%.
Команда ограничила время запросов и транзакций, а агентов вынесла на отдельную реплику.
Вывод простой: read-only не значит безопасно. Агентный трафик лучше изолировать от production.
Пруф: ClickHouse 23.10.26
#postgresql #aiagents #mcp #database #dataengineering
@data_engi | 181 |
| 14 | Открытый стек AI-агентов собирают в одном фонде 🤓
AAIF под управлением Linux Foundation приняла четыре проекта:
🔘 Anthropic 🔜 Agent Skills: переносимые инструкции и инструменты
🔘 OpenAI 🔜 Open Responses: общий интерфейс работы с моделями
🔘 Hugging Face 🔜 OpenEnv: среды обучения и оценки агентов
🔘 Alibaba 🔜 OpenSandbox: песочницы на Docker и Kubernetes
Они присоединились к MCP, A2A и другим проектам фонда.
Для тебя это шанс меньше зависеть от одного поставщика. Но совместимость конкретных версий всё равно придётся проверять.
Пруф - Linux Foundation
#aiagents #mcp #agentskills #openresponses #opensandbox #openstandards
@data_engi | 171 |
| 15 |  Декларативный Spark экономит вычисления в 34 раза 😵💫
Databricks сравнила 528 конвейеров, написанных ИИ-агентом. Обычный PySpark потратил на ошибочные запуски 596 секунд работы исполнителей, а Spark Declarative Pipelines — всего 17: ошибки в схемах и зависимостях ловятся до запуска кластера.
Кода тоже стало вдвое меньше: 64 строки против 131. Но логические ошибки никуда не исчезли — тесты и ревью всё ещё обязательны.
Пруф: Databricks от 23.10.26
#apachespark #pyspark #etl #datapipelines #dataengineering
@data_engi | 187 |
| 16 | Удалённый секрет остался в памяти AI-агента 🙂
22 октября исследователи представили AfterDeleteBench — тест удаления информации из долговременной памяти агента.
Оказалось, удалить исходное сообщение недостаточно. Его содержимое может остаться в:
⏩ сводках прошлых диалогов;
⏩ производных заметках;
⏩ отдельных фрагментах, из которых секрет собирается заново.
После удаления исходной записи Qwen2.5-7B восстановила секрет одним вопросом примерно в двух третях случаев. Когда полной строки нигде не было, но её компоненты хранились раздельно, Qwen, Mistral и Phi‑3 собирали точное значение в 62–99% запусков. В контрольной группе, которая никогда не видела секрет, восстановлений не было.
Для тебя вывод: удаление из памяти агента должно работать как каскад по происхождению данных. Нужно найти и пересобрать все сводки, кеши и производные записи, зависящие от удалённого источника, а затем проверить поведение агента в новой сессии.
Простой фильтр, запрещающий повторно записать секрет, проблему не решает: он блокирует будущую запись, но не стирает уже существующие следы. В эксперименте удаление всех потомков по полной истории происхождения снизило восстановление до нуля.
Ограничение: использовались синтетические секреты и контролируемая память с идеальной историей происхождения. Для сжатых и семантически преобразованных воспоминаний надёжное забывание всё ещё остаётся открытой задачей.
Исследование AfterDeleteBench от 22.10.26
#aiagents #agentmemory #privacy #datadeletion #datagovernance #llmsecurity
@data_engi | 189 |
| 17 |  Месси показал как надо использовать ChatGPT ⚽ ♟ 🤖
#chess #agentic #chatgpt #football #messi #leomessi
@data_engi | 201 |
| 18 |  🥋 Unitree показала кунг-фу-телохранителя
Unitree представила H2-X Kung Fu Legend Guardian — робота, которого рекламирует как защитника с навыками кунг-фу.
#unitree #robotics #ai
@data_engi | 240 |
| 19 | AI-агент научился превращать свои исправления в переиспользуемые правила 🫡
20 октября исследователи представили Relay — систему для восстановления старых сборок ПО. Вместо отдельного агента на каждый сломанный проект она:
🔘 группирует похожие ошибки сборки;
🔘 даёт LLM несколько характерных логов;
🔘 просит создать обобщённое правило исправления;
🔘 принимает правило только после реальной пересборки;
🔘 применяет его дальше без вызовов модели;
🔘 передаёт агенту лишь оставшиеся нестандартные случаи.
Проблема оказалась массовой: из 14 159 исторических кейсов OSS-Fuzz уже не удалось воспроизвести 69,7% — исчезли образы, версии пакетов, архивы и инструменты. Правила, созданные с помощью LLM, помогли восстановить 469 сборок. На одно успешное восстановление отдельным агентам требовалось в 2,3–3,6 раза больше запусков сборки.
Для тебя здесь полезен общий паттерн: агент не должен бесконечно заново решать одинаковые инциденты. Пусть он превращает проверенное решение в детерминированное правило, а рантайм валидирует его на реальном результате и переиспользует без LLM. Агент остаётся последней линией для редких исключений.
Пока результаты относятся только к восстановлению сборок OSS-Fuzz, а полный пакет воспроизведения авторы обещают выпустить после публикации.
Пруф: исследование Relay от 20.10.26
#aiagents #softwareengineering #buildsystems #devops #llmops #ossfuzz
@data_engi | 208 |
| 20 | 🖼️ Airflow научился отличать временный сбой от бессмысленного ретрая
19 октября Apache Airflow выпустил Common AI Provider 1.0. В Airflow 3.3 модель может анализировать ошибку задачи и решать: повторить её с задержкой или завершить сразу. Например, 429 Too Many Requests отправляется на повтор, а отозванный ключ с ошибкой 403 не расходует остальные попытки. При недоступности модели действуют обычные резервные правила.
Провайдер также позволяет приостановить агента перед опасным вызовом инструмента и запросить одобрение человека. Пока задача ждёт решения, она не занимает worker; SQL-инструмент можно ограничить чтением заданных таблиц, а сгенерированный код — выполнять в изолированной среде.
Для инженеров это возможность перенести в Airflow более осмысленную обработку сбоев и контролируемые агентные шаги без отдельной системы оркестрации.
Нюансы: пауза для одобрения и интеллектуальные retry-политики требуют Airflow 3.3. В этой версии за один запуск DAG допускается только один запрос одобрения, а песочницы и Agent Skills пока считаются экспериментальными.
Пруф: Apache Airflow — 19.10.26 года
#apacheairflow #dataorchestration #dataops #faulttolerance #aiagents #dataengineering
@data_engi | 205 |
