Agentic Engineer

#dev #memes #agentic #binance #ai #ide #codex @data_engi

Databricks больше не просит угадывать число читателей Kafka 🙂 Lakeflow теперь сам меняет количество задач, читающих Kafka или Kinesis, под текущий поток данных. Настраивать maxPartitions и shardsPerTask вручную необязательно. Несколько потоков реального времени также могут работать в одном конвейере, не отбирая друг у друга вычислительные слоты. Это упрощает обработку скачков нагрузки без постоянной перенастройки Spark. Пока обе возможности находятся в бете, работают только на бессерверных конвейерах в канале Preview и не регулируют число разделов перемешивания. Пруфы: ⏩анонс Databricks 28.10.26 ⏩документация #databricks #apachekafka #kinesis #spark #streamprocessing #dataengineering @data_engi

ClickHouse научился безопасно переставлять "опасные" JOIN’ы 😙 В ClickHouse 26.10 новый оптимизатор меняет порядок не только обычных INNER JOIN, но и OUTER, SEMI и ANTI JOIN, не искажая результат. Раньше такие соединения блокировали оптимизацию. Теперь движок может раньше применить самый избирательный JOIN и не строить огромную промежуточную таблицу. В примере ClickHouse её размер сократился с 504 млн до 1 млн строк. Механизм проверили на 2,8 млн планов без ошибок. Пруф: ClickHouse 28.10.26 #clickhouse #sql #queryoptimizer #database #performance #dataengineering @data_engi

Из того, что вижу на рынке: сначала хочешь в аналитики, потом в инженеры, если чуть прошарил фишку, то в продакты. Если прям вообще «умный», то идешь плитку укладывать всем этим итшникам и, когда они рассказывают про свои зарплаты, сокрушаешься типа «разве на эти деньги можно прожить?»

🥰 BigQuery сделал файлы обычными колонками Google вывела ObjectRef в общий доступ. Теперь таблица BigQuery может хранить ссылки на изображения, видео, аудио и документы в Cloud Storage рядом с обычными данными. Файлы можно передавать в Gemini, Python UDF и SQL-функции без копирования. ObjectRef также фиксирует версию объекта — повторный запуск обработает именно тот файл, который использовался изначально. Для инженеров это способ строить воспроизводимые мультимодальные ETL-конвейеры без отдельной системы синхронизации. Пруф: Google Cloud 21.10.26 #bigquery #googlecloud #multimodal #etl #dataengineering @data_engi

Кеш промптов сломан, а агент работает как ни в чём не бывало 😉 26 октября исследователи разобрали 120 ошибок интеграции кеширования в десяти открытых агентных системах. В 90% случаев исключений не было: ломалось переиспользование промпта или неверно считались кешированные токены. Типичные причины — текущая дата со временем в начале системного промпта, случайные UUID, меняющийся порядок данных и проверки поддержки кеша по названию модели. Для тебя вывод: правильный ответ ещё не означает, что оптимизация работает. Проверяй повторные запросы отдельно: стабильность префикса, фактические cache-hit, задержку и расход токенов. Счётчикам в собственной обёртке тоже нужен тест. Это исследование отобранных исправлений, а не оценка доли сломанных агентов вообще. Исследование Silent and Costly #llm #aiagents #promptcaching #llmops #inference @data_engi

@if_memes #meme #memes #mem #мем #мемы

AI-агенты обменялись промежуточными вычислениями вместо текста ⛔️ 23 октября исследователи представили J-Comm: одна LLM передаёт другой числовые представления своего рассуждения. Получатель преобразует их в собственное внутреннее представление — одинаковая размерность моделей и общий KV-кеш не нужны. В связке Qwen3-8B 🔜 Qwen3-4B на семи бенчмарках качество выросло на 1,29–8,59 процентного пункта относительно текстового обмена, а число генерируемых текстовых токенов снизилось на 19,2–74,8%. Это не означает такое же снижение времени или стоимости вычислений. Для тебя здесь интересная архитектурная идея: текст — не единственный интерфейс между агентами. Но через обычный чат-API такое не подключить: нужен доступ к внутренним слоям моделей. #aiagents #multiagent #llm #latentcommunication #inference @data_engi

OpenSearch сам превращает файлы из S3 в RAG-индекс 😎 AWS запустила Intelligent Ingestion: сервис разбирает PDF, Word и Markdown, сохраняет таблицы и структуру, описывает изображения, нарезает текст, строит эмбеддинги и загружает всё в OpenSearch. Можно выполнить разовую загрузку или следить за новыми файлами через SQS. Свой ETL-конвейер для RAG больше не обязателен. Пока функция доступна только в OpenSearch Serverless NextGen и шести регионах AWS. Пруф: AWS 23.10.26 #opensearch #aws #rag #etl #vectordatabase #dataengineering @data_engi

Anthropic: хватит плодить сабагентов 🤖 В новой статье команда Claude пишет, что во многих production-системах один агент + skills + tools работает лучше сложной иерархии агентов: выше качество, меньше latency и дешевле. Причина проста: сабагенты теряют контекст при handoff'ах, размножают промпты и усложняют оркестрацию. Сабагенты всё ещё нужны, когда: 🔘 задачи реально можно выполнять параллельно 🔘 контекст становится слишком большим 🔘 одному агенту сложно выбирать инструменты или соблюдать конфликтующие инструкции Иначе — один основной agent loop, progressive disclosure и минимум магии в harness. #ai #agents #llm #agentic #architecture @data_engi

Arxiv ввел из-за нейрослопа лимит в два сабмишна в месяц. Теперь для нейрошитпоста остался только телеграм…

Агент несколько дней грузил production PostgreSQL 🙄 В Shipsidekick агент запустил тяжёлый запрос через read-only роль. Его не заметили несколько дней, а нагрузка на CPU выросла до 40–50%. Команда ограничила время запросов и транзакций, а агентов вынесла на отдельную реплику. Вывод простой: read-only не значит безопасно. Агентный трафик лучше изолировать от production. Пруф: ClickHouse 23.10.26 #postgresql #aiagents #mcp #database #dataengineering @data_engi

Открытый стек AI-агентов собирают в одном фонде 🤓 AAIF под управлением Linux Foundation приняла четыре проекта: 🔘 Anthropic 🔜 Agent Skills: переносимые инструкции и инструменты 🔘 OpenAI 🔜 Open Responses: общий интерфейс работы с моделями 🔘 Hugging Face 🔜 OpenEnv: среды обучения и оценки агентов 🔘 Alibaba 🔜 OpenSandbox: песочницы на Docker и Kubernetes Они присоединились к MCP, A2A и другим проектам фонда. Для тебя это шанс меньше зависеть от одного поставщика. Но совместимость конкретных версий всё равно придётся проверять. Пруф - Linux Foundation #aiagents #mcp #agentskills #openresponses #opensandbox #openstandards @data_engi

Декларативный Spark экономит вычисления в 34 раза 😵‍💫 Databricks сравнила 528 конвейеров, написанных ИИ-агентом. Обычный PySpark потратил на ошибочные запуски 596 секунд работы исполнителей, а Spark Declarative Pipelines — всего 17: ошибки в схемах и зависимостях ловятся до запуска кластера. Кода тоже стало вдвое меньше: 64 строки против 131. Но логические ошибки никуда не исчезли — тесты и ревью всё ещё обязательны. Пруф: Databricks от 23.10.26 #apachespark #pyspark #etl #datapipelines #dataengineering @data_engi

Удалённый секрет остался в памяти AI-агента 🙂 22 октября исследователи представили AfterDeleteBench — тест удаления информации из долговременной памяти агента. Оказалось, удалить исходное сообщение недостаточно. Его содержимое может остаться в: ⏩ сводках прошлых диалогов; ⏩ производных заметках; ⏩ отдельных фрагментах, из которых секрет собирается заново. После удаления исходной записи Qwen2.5-7B восстановила секрет одним вопросом примерно в двух третях случаев. Когда полной строки нигде не было, но её компоненты хранились раздельно, Qwen, Mistral и Phi‑3 собирали точное значение в 62–99% запусков. В контрольной группе, которая никогда не видела секрет, восстановлений не было. Для тебя вывод: удаление из памяти агента должно работать как каскад по происхождению данных. Нужно найти и пересобрать все сводки, кеши и производные записи, зависящие от удалённого источника, а затем проверить поведение агента в новой сессии. Простой фильтр, запрещающий повторно записать секрет, проблему не решает: он блокирует будущую запись, но не стирает уже существующие следы. В эксперименте удаление всех потомков по полной истории происхождения снизило восстановление до нуля. Ограничение: использовались синтетические секреты и контролируемая память с идеальной историей происхождения. Для сжатых и семантически преобразованных воспоминаний надёжное забывание всё ещё остаётся открытой задачей. Исследование AfterDeleteBench от 22.10.26 #aiagents #agentmemory #privacy #datadeletion #datagovernance #llmsecurity @data_engi

Месси показал как надо использовать ChatGPT ⚽ ♟ 🤖 #chess #agentic #chatgpt #football #messi #leomessi @data_engi

🥋 Unitree показала кунг-фу-телохранителя Unitree представила H2-X Kung Fu Legend Guardian — робота, которого рекламирует как защитника с навыками кунг-фу. #unitree #robotics #ai @data_engi

AI-агент научился превращать свои исправления в переиспользуемые правила 🫡 20 октября исследователи представили Relay — систему для восстановления старых сборок ПО. Вместо отдельного агента на каждый сломанный проект она: 🔘 группирует похожие ошибки сборки; 🔘 даёт LLM несколько характерных логов; 🔘 просит создать обобщённое правило исправления; 🔘 принимает правило только после реальной пересборки; 🔘 применяет его дальше без вызовов модели; 🔘 передаёт агенту лишь оставшиеся нестандартные случаи. Проблема оказалась массовой: из 14 159 исторических кейсов OSS-Fuzz уже не удалось воспроизвести 69,7% — исчезли образы, версии пакетов, архивы и инструменты. Правила, созданные с помощью LLM, помогли восстановить 469 сборок. На одно успешное восстановление отдельным агентам требовалось в 2,3–3,6 раза больше запусков сборки. Для тебя здесь полезен общий паттерн: агент не должен бесконечно заново решать одинаковые инциденты. Пусть он превращает проверенное решение в детерминированное правило, а рантайм валидирует его на реальном результате и переиспользует без LLM. Агент остаётся последней линией для редких исключений. Пока результаты относятся только к восстановлению сборок OSS-Fuzz, а полный пакет воспроизведения авторы обещают выпустить после публикации. Пруф: исследование Relay от 20.10.26 #aiagents #softwareengineering #buildsystems #devops #llmops #ossfuzz @data_engi

🖼️ Airflow научился отличать временный сбой от бессмысленного ретрая 19 октября Apache Airflow выпустил Common AI Provider 1.0. В Airflow 3.3 модель может анализировать ошибку задачи и решать: повторить её с задержкой или завершить сразу. Например, 429 Too Many Requests отправляется на повтор, а отозванный ключ с ошибкой 403 не расходует остальные попытки. При недоступности модели действуют обычные резервные правила. Провайдер также позволяет приостановить агента перед опасным вызовом инструмента и запросить одобрение человека. Пока задача ждёт решения, она не занимает worker; SQL-инструмент можно ограничить чтением заданных таблиц, а сгенерированный код — выполнять в изолированной среде. Для инженеров это возможность перенести в Airflow более осмысленную обработку сбоев и контролируемые агентные шаги без отдельной системы оркестрации. Нюансы: пауза для одобрения и интеллектуальные retry-политики требуют Airflow 3.3. В этой версии за один запуск DAG допускается только один запрос одобрения, а песочницы и Agent Skills пока считаются экспериментальными. Пруф: Apache Airflow — 19.10.26 года #apacheairflow #dataorchestration #dataops #faulttolerance #aiagents #dataengineering @data_engi