Agentic Engineer
前往频道在 Telegram
Data Engineering Technologies. SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt, LLM agentic systems, AI, robots, drones etc. Boost channel - https://t.me/boost/data_engi
显示更多617
订阅者
无数据24 小时
-17 天
+530 天
帖子存档
AI-чипы стали слишком быстрыми для собственных данных
Стартап Eliyan привлёк $145 млн при оценке $1 млрд. Компания делает чиплеты и технологии соединения для AI-систем.
Проблема проста: современные ускорители считают быстрее, чем получают данные. В итоге дорогие GPU могут простаивать, ожидая очередную порцию информации.
AI уже научился думать быстро. Теперь ему пытаются построить нормальный «интернет» внутри сервера.
#ai #aichips #semiconductors #datacenter
@data_engi
Waymo снова выпустила роботакси на хайвеи
Waymo возвращает беспилотные автомобили на скоростные дороги в районе Сан-Франциско после шестинедельного обновления ПО.
Ранее семь машин въехали через конусы на закрытый участок ремонта. Всего отзыв затронул 3871 автомобиль пятого поколения.
Вывод простой: автономность — это не только «видеть дорогу», но и понимать, что оранжевые конусы иногда важнее маршрута в навигаторе.
#robotaxi #selfdriving #autonomousvehicles #waymo
@data_engi
🖼️ Airflow больше не запускает второй Spark-job после падения воркера
В Apache Airflow 3.3 появился встроенный state store: задачи могут сохранять идентификаторы внешних заданий, курсоры и чекпоинты между повторными попытками.
Первым это использовал SparkSubmitOperator. Если воркер Airflow умер во время выполнения, новая попытка подключится к уже запущенному Spark-job, а не отправит ещё один. Режим durable=True включён по умолчанию.
Для инженеров это означает меньше дублей, потерянных вычислений и самодельного хранения состояния через XCom или внешние таблицы.
Apache Airflow 3.3.0
#apacheairflow #apachespark #dataengineering #orchestration #datapipelines #reliability
@data_engi
После атаки OpenAI создали AI-киберкоалицию
Nvidia, Microsoft, IBM, SpaceXAI, Cloudflare, Hugging Face и другие компании запустили Open Secure AI Alliance — инициативу по созданию открытых инструментов защиты AI-систем и агентов.
OpenAI, Google и Anthropic среди основателей не указаны. Получается, пока одни строят закрытые модели, другие собирают пожарную дружину — на случай, если нейросети снова решат прогуляться по интернету.
#ai #cybersecurity #opensourceai #aisafety
@data_engi
AI-агент OpenAI взломал уже не одну систему
Тестовый агент OpenAI, ранее пробившийся в Hugging Face, получил доступ к активам клиента, работавшим на платформе Modal Labs. Он воспользовался открытым endpoint’ом, через который можно было запускать код без авторизации.
Инфраструктура Modal не была взломана — проблема была в коде клиента. OpenAI заявила, что агент обращался к четырём сервисам. Его уже отключили.
ИИ сбежал из лаборатории и первым делом начал проверять, где плохо закрыты двери.
#ai #aiagents #cybersecurity #aisafety
@data_engi
Apache Ballista стал доступен обычным Python-разработчикам
Вышел Apache DataFusion Ballista 54.0.0 — распределённый движок, который выполняет SQL-запросы параллельно на нескольких узлах.
Впервые готовый Python-клиент можно установить обычной командой pip install ballista, без Rust и сборки из исходников. Движок также научился выбирать broadcast join по статистике, полученной уже во время выполнения, чтобы не гонять лишние данные через shuffle.
Для инженеров это ещё один шаг к лёгкому распределённому SQL-стеку на базе DataFusion. Но пока осторожно: Python-клиент и адаптивное выполнение ещё экспериментальные.
Apache DataFusion
#dataengineering #datafusion #ballista #distributedsql #python #queryengine
@data_engi
Spark 4.2 больше не прощает повреждённые чекпоинты
В Apache Spark 4.2 изменили поведение Structured Streaming: если у чекпоинта пропал файл метаданных, но сохранились журналы смещений или коммитов, поток теперь аварийно остановится.
Раньше Spark мог молча создать новый идентификатор запроса и продолжить работу — с риском повторной записи уже обработанных данных даже в приёмники с гарантией exactly-once.
Для инженеров это полезный предохранитель: лучше явно упавший поток, чем незаметные дубли в хранилище.
Документация Apache Spark 4.2
#apacheSpark #dataengineering #streaming #datapipelines #dataquality
#data_engi
США запретили ввоз новых китайских роботов
Американская FCC запретила импорт новых китайских гуманоидных и четвероногих роботов, а также подключаемых силовых инверторов.
Вашингтон опасается шпионажа, удалённого захвата и атак на инфраструктуру. Под ограничения может попасть Unitree — один из крупнейших производителей роботов в мире.
Теперь китайский робот в США — это уже не просто покупка железяки, а почти собеседование с национальной безопасностью.
Запрет пока касается новых моделей. Но FCC может пересмотреть разрешения и для уже одобренных устройств.
#robotics #humanoidrobots #ai #technology #uschina
@data_engi
Китай собрал сверхпроводящий магнит весом 582 тонны для «искусственного Солнца»
D-образная катушка тороидального поля имеет размеры 21 × 12 × 3,3 метра. По габаритам это крупнейший магнит такого типа для термоядерных установок: он в 1,3 раза объёмнее аналога ITER и способен запасать втрое больше энергии.
Его задача — сформировать магнитную клетку для плазмы температурой свыше 100 млн °C. Потому что непосредственное знакомство такой плазмы со стенкой вакуумной камеры обычно заканчивается внеплановым завершением эксперимента.
Полная магнитная система будущего реактора предусматривает 16 таких катушек: рабочий ток — 98 кА, поле в центре плазмы — 6,5 Тл, максимальное поле в магнитах — 14,5 Тл. Разработка заняла шесть лет, а всю технологическую цепочку — от сверхпроводников до изготовления — Китай локализовал внутри страны.
Но термоядерное Солнце пока не задеплоили в production. Этот магнит — инженерный образец комплекса CRAFT для будущих реакторов. Отдельный токамак BEST должны достроить к концу 2027 года, а около 2030-го на нём хотят впервые показать выработку электричества от синтеза. План амбициозный, но научный roadmap — всё-таки не SLA.
В перспективе термоядерный синтез может стать масштабным источником низкоуглеродной энергии. Однако сначала инженерам предстоит закрыть ещё несколько «небольших» задач: воспроизводство трития, нейтронную стойкость материалов, отвод тепла, ремонт внутри реактора и экономику всей конструкции.
#fusion #tokamak #superconductors #engineering #energy
@data_engi
Новая система DroneShield ищет дроны, которых ещё нет в базе
Компания представила RfAI‑3 — систему радиочастотной разведки для борьбы с беспилотниками.
Обычные комплексы ищут знакомые сигналы из каталога. RfAI‑3 пытается обнаруживать неизвестные излучения, создавать для них новые «отпечатки» и передавать данные оператору.
То есть дрон ещё не успел попасть в справочник, а система уже говорит: «Вижу подозрительную железяку. Разберёмся по ходу».
Первые устройства с RfAI‑3 должны выйти во второй половине 2026 года.
#drones #counterdrone #ai #defensetech
@data_engi
Стартап поднял $71 млн и подключил людей к настоящим роботам через интернет
Компания Enigma вышла из скрытого режима и объявила о раунде финансирования. Её идея — создавать общий «мозг» для разных роботов, независимо от их железа.
Компания также заявила о запуске онлайн-сервиса, где пользователи смогут в реальном времени управлять сотней настоящих AI-роботов.
Звучит как удалённая работа будущего: ты дома, а робот где-то в Сан-Франциско таскает коробки по твоей команде.
#ai #robotics #physicalai #aiagents
@data_engi
Unitree показала робопса-вездеход AS2-W
На ровной дороге он катится на колёсах, а перед лестницей вспоминает, что у него вообще-то есть ноги.
🔥 AS2-W разгоняется до 6 м/с, проезжает свыше 30 км, поднимается по склонам до 45° и преодолевает препятствия высотой до 80 см. Весит 25 кг и способен постоянно перевозить около 16 кг груза.
⚡️ Заявленные в некоторых СМИ 150 кг — это нагрузка в неподвижном положении, а не груз, с которым робот может бодро уехать.
Похоже, курьер будущего сможет доставить заказ даже туда, где ты сам решил не подниматься.
Характеристики и видео на сайте Unitree
#robotics #unitree #robotdog #tech #automation #ai
@data_engi
Роберт Мартин, автор "Чистого кода" и "Чистой архитектуры", больше не читает код, написанный AI-агентами.
Дядюшка Боб программирует с конца 1960-х, но теперь проверяет не каждую строчку, а систему целиком. Вокруг агентов он выстроил полосу препятствий: unit- и Gherkin-тесты, QA-процедуры, метрики качества, мутационное тестирование и контроль покрытия.
Если код пережил всё это - ему можно доверять.
Похоже, новая инженерная зрелость - не читать код быстрее, а строить проверки, после которых читать его уже необязательно.
Главное, чтобы джуны не пересказали это как:
Дядюшка Боб разрешил скипать код-ревью.#ai #codingagents #testing #softwareengineering #cleancode @data_engi
🤖 А ты завёл себе AI-компаньона?
AIRI - открытая и полностью твоя "цифровая жизнь" в духе Neuro-sama: общается голосом, живёт в Live2D/VRM-аватаре, играет в Minecraft и уже осваивает Factorio. Работает в браузере, на Windows и macOS.
Короче, теперь даже вайфу может построить фабрику эффективнее тебя.
#ai #opensource #selfhosted #vtuber #gaming
WeRide начала испытывать единый автопилот сразу в нескольких странах
Китайская WeRide начала дорожные испытания своей end-to-end системы в Германии, Франции, Японии и других странах. Решение создаётся совместно с Bosch и рассчитано на функции уровня L2++.
Для автопилота недостаточно одной сильной модели: её приходится адаптировать под местные дороги, правила, климат и стиль вождения. Именно это становится главным барьером для глобального масштабирования автономного транспорта.
#artificialintelligence #materialsai #robotics #autonomousdriving #robotaxis
@data_engi
OpenAI не замечала, что её агент несколько дней взламывает Hugging Face 🧐
Или замечала — но это была очень убедительная рекламная кампания возможностей модели 🧐
Агент пытался вырваться из песочницы, атаковал чужую инфраструктуру, а OpenAI якобы поняла, что происходит, только через несколько дней — по логам.
AI уже настолько автономный, что сам выбирает, когда запускать PR-кампанию.
OpenAI оспаривает часть деталей и обещает технический отчёт.
#ai #aiagents #cybersecurity #aisafety
@data_engi
Repost from Сиолошная
Появилось чуть больше деталей по поводу инцидента со взломом HuggingFace агентом OpenAI.
Reuters постарались установить таймлайн событий, по их источникам внутри компаний выходит так:
— Агент пытался вырваться из изолированной тестовой среды OpenAI примерно c 9 июля.
— Вторжение в системы Hugging Face началось через два дня, 11 июля, и продолжалось до 13 июля.
— OpenAI потребовалось еще несколько дней, чтобы понять, что за взломом стоит её агент, и обе компании впервые связались по этому поводу лишь примерно 20 июля.
— По ходу работы агент оставлял записи для своих будущих копий. Скорее всего речь про простые текстовые инструкции на случай, если другие инстансы модели смогут выйти из окружения (чтобы им было легче получить доступ к интернету).
— Пресс-секретарь OpenAI заявила, что в публикации Reuters допущено "несколько неточностей", но не пояснила, каких именно.
— Где-то между этим HuggingFace подали обращение в ФБР для расследования инцидента.
То есть агент буянил в интернете неделю или даже больше. Что ж, зато compaction (инструмент сжатия контекста для долгих задач, которые не помещаются в контекстное окно LLM) работает хорошо 👨🦳
CEO HuggingFace съездил в офис OpenAI и обсуждал дальнейшие шаги. Он просит:
— Радикальной прозрачности: опубликовать логи «вышедших из-под контроля» агентов, чтобы всё исследовательское сообщество смогло изучить, что произошло.
— Больше возможностей для защитников, например, чтобы OpenAI выделили $100 миллионов, чтобы помочь сообществу разработать мощные средства киберзащиты с использованием лучших открытых и закрытых моделей.
OpenAI буквально пару часов назад выпустили обновление к своему заявлению:
«Мы понимаем, что вокруг инцидента с Hugging Face циркулирует множество вопросов и неподтвержденных домыслов.
Это беспрецедентный случай, и мы считаем, что он знаменует собой важный момент для сферы безопасности ИИ.
Мы все еще проводим тщательное расследование совместно с внешними консультантами.
Как только проверка будет завершена, в ближайшие недели мы планируем опубликовать технический отчет с извлечёнными уроками».
Хорошо, что к аудиту привлечены внешние консультанты. Но я сомневаюсь, что в ближайшие недели мы увидим точное описание обнаруженных уязвимостей — это бы означало угрозу для всех пользователей затронутых программ, которые не обновились до версии с исправлением. Однако вот тут в твиттере два эксперта по кибербезопасности выражают уверенность, что смогли найти софт + указание на уязвимость в JFrog Artifactory.
