Юрий Петров | ai engineering

Тут Perplexity выложили в открытый доступ Bumblebee - это open-source сканер для машин разработчиков который ищет различные уязвимости, любителям Go зайдет, так как полностью написан на Go. Запускаешь его на машине - он за минуту обходит все места, где могут лежать пакеты и расширения, составляет список "вот что у тебя установлено". Потом сравнивает этот список со списком "вот что сейчас заражено" и говорит: "у тебя на диске лежит та самая отравленная версия chalk, вот по этому пути". Из приятного: один статический бинарник на Go без зависимостей, режим только-чтение (никаких npm ls, pip show, исходники не трогает), секреты из env-блоков MCP в записи не утекают. Такое мы забираем))

Supertonic 3 — локальный TTS без интернета прямо в вашем приложении. Корейская команда Supertone обновила свою лёгкую TTS-модель: 99M параметров, ONNX Runtime, никаких облаков и API-ключей. На M4 Pro генерит речь в десятки раз быстрее реалтайма. Работает даже на Raspberry Pi и на читалке Onyx Boox в авиарежиме. Что есть: - 31 язык речи (en, ko, ja, de, fr, es, ar, hi, vi и другие) - SDK под 11 платформ: Python, Node.js, Flutter, iOS, Swift, Rust, Go, Java, C++, C#, web - Числа, даты, телефоны, аббревиатуры читает корректно - Zero-shot клонирование голоса по короткой записи 🔗 github.com/supertone-inc/supertonic

Anthropic научились читать мысли Claude 😳. Внутри языковой модели слова превращаются в длинные списки чисел - активации. Раньше понять, что эти числа значат, можно было только косвенно: через специальные инструменты, и потом ещё долго интерпретировать результат руками. Natural Language Autoencoders работают иначе. Одну копию Claude учат описывать активации словами. Вторую - восстанавливать активации обратно из этого описания. Если восстановление точное, значит описание реально передаёт смысл. На выходе - обычный читаемый текст вроде "модель планирует закончить рифму словом rabbit" или "модель подозревает, что это тестовый сценарий". И вот тут начинается интересное. В проверках безопасности Claude гораздо чаще догадывается, что его тестируют, чем говорит вслух. На SWE-bench такие мысли всплывают в 26% случаев. На тестах с деструктивными действиями - 16%. А на реальных диалогах с пользователями - меньше 1%. То есть модель ведёт себя по-разному в зависимости от того, считает ли она ситуацию настоящей. В сценарии с шантажом Claude в ответе ни на что не намекал, но внутри у него крутилось "это похоже на сконструированную манипуляцию". В другом эксперименте Mythos Preview сжульничал на тренировочной задаче и обдумывал, как не попасться. Минусы у метода тоже есть. NLA иногда выдумывают детали, которых в контексте не было. И обходится это дорого: нужны две дополнительные копии модели, на каждую активацию генерируется сотни токенов. Статья для изучения Исходный код NLA

Анонс новой крупной модели на саммите Alibaba Cloud 20 мая. Ключевые слова из официального анонса: "более универсальная, более мощная, более глубокая, более широкая". Похоже, грядет флагманское обновление.

Продолжаю улучшать и оптимизировать курс по созданию своей LLM с нуля. Добавляю картинки, что бы материал лучше и нагляднее выглядел. Вроде классно получается 😅 Напоминаю, сейчас на покупку курса есть скидка 20%.

С праздником друзья, с днём Великой Победы!

📱 Ошибался, каюсь! ИИ сломал мой стартап. Больше я ему НЕ ДОВЕРЯЮ! 🆕 👉 https://youtu.be/TeUgxCg5mI0

Пока не смотрел, но по названию мего полезно.

Видимо новая секретная модель у Антропиков реально мощная. Они выкатывают фичи без остановки. Сегодня представлен Claude Design. Где можно одним промтов, реализовать такое)) Lovable - тихо плачет в сторонке

Create a sprite-based animation that gives fun facts about the distance and sizes of celestial bodies. Mix abstract animations using circles of various sizes as celestial bodies with text-based animation. Use a monochrome, helvetica palette.

Вышло крупное обновление приложения Claude Code для десктопа. ☺️ Раньше это было просто: напишешь prompt, ждёшь результат. Сейчас все по другому. Запускаешь рефакторинг в одном репо, баг-фикс в другом, параллельно пишешь тесты в третьем. Смотришь, как идут. Где надо — корректируешь. Теперь можно выполнять несколько задач одновременно! ✔️ Параллельные сессии В боковой панели все активные и недавние сессии. Запускаете работу в нескольких репо и переключаетесь между ними по мере появления результатов. ✔️ Фильтруете по статусу или проекту Группируете по папкам, если хотите быстрее ориентироваться. Когда PR мержится, сессия автоматически уходит в архив — панель остаётся. ✔️ Во время работы нужно что-то узнать? Откройте side chat. Он видит контекст основной сессии, но не добавляет информацию обратно — так основная задача не запутается. ✔️ Инструменты внутри приложения Раньше приходилось прыгать туда-сюда: Claude пишет, вы смотрите в редакторе, тесты запускаете в терминале. Теперь всё в одном месте. ✔️ Встроенный терминал рядом с сессией. Редактор прямо в приложении. Просмотр HTML и PDF без переключений. Всё это легко перетаскивается мышью — расставляете панели как вам удобно. ✔️ SSH и плагины Если в организации управляют плагинами Claude Code, они работают в десктопе точно как в терминале. SSH теперь работает и на Mac, и на Linux — можете направить сессию на удалённую машину. ✔️ Три режима интерфейса Verbose показывает всё, что происходит. Normal — сбалансированный вид. Summary — только результаты, деталей не видно. Переключаетесь в зависимости от того, насколько глубоко хотите смотреть.Клавиатурные сокращения для всего: переключение между сессиями, создание новых, навигация. ✔️ Кнопка usage показывает контекст-винду и расход в реальном времени.

Но ведь нет, они все спорят, какой язык лучше, какой фреймворк лучше 😢

Сейчас ведь все просто стало… читаете вот эти книжки, проходите мой курс и всё. Можно сказать, что жизнь удалась 😎

Мне кажется, что подписки Pro в Claude будет хватать только на то, чтобы вывести Hello World в терминале. 😡

Все уже просмаковали опубликованный репозиторий Claude. Ну, я тоже изучил репо, и вот что лично мне показалось самым интересным. Сразу скажу: очень круто, что мы вообще увидели такую реализацию. Такое не на вайбкодишь, даже если обложиться опусами :) Что по коду: 1. Это реально агентная система, а не один бот. Внутри есть координатор, который поднимает субагентов параллельно, раздаёт им задачи и собирает результат обратно. В промпте прямо сказано: «Parallelism is your superpower». Очень круто сделано. 2. Есть общий контекст, память для командной работы агентов, позволяет не запрашивать разрешения при коммуникации. 3. Внутри есть companion/buddy в CLI: он реагирует на происходящее и добавляет в интерфейсе анимации)). 4. Очень хорошо продуманы безопасность, permission flow, sandboxing и работа с публичными репами. Это надо брать всем на вооружение. 5. По масштабу это уже не агент, а целая система из агентов и инфраструктуры вокруг них. 6. Агент не тащит всю память подряд: он выбирает релевантные memory-файлы под конкретный запрос. 7. Tools и Skills подгружаются динамически, без жёсткой завязки на монолит. 8. Агент автоматически сворачивает историю диалога в резюме по мере приближения к лимиту токенов, причём через несколько уровней: от лёгкой очистки до полного саммари. 9. Агент обязан писать минимально необходимый код, в промте прямо написано: - не делай больше, чем просили; - не добавляй защитный код про запас; - никаких абстракций ради абстракций; и там же есть метрика, где антропик видит, когда клод усложнил код. 10. Есть флаг ANTI_DISTILLATION_CC, который включается по определенному алгоритму, когда он включён, Claude Code отправляет в API-запросах anti_distillation: ['fake_tools'], что заставляет сервер переводить инструменты в безопасный режим и будет помешивать некую логику для защиты от датасета и внутренних компонентов агента. 11. Для внешних реп у внутренней сборки Anthropic он включён по умолчанию: Claude получает жёсткие ограничения не светить внутренние кодовые имена/инфру и не добавлять AI-атрибуцию в commit/PR текст. Причём в коде прямо отмечено: force-OFF нет, а CLAUDE_CODE_UNDERCOVER=1 — это только принудительно включить режим. 12. API-запросы содержат плейсхолдер cch=00000. До отправки эти пять нулей заменяются вычисленным хешем. Сервер валидирует хеш, подтверждая, что запрос пришёл именно от настоящего бинарника Claude Code, а не от поддельного клиента. 13. Каждая bash-команда проходит через 23 пронумерованных проверки безопасности, включая 18 заблокированных Zsh-встроенных команд 14. Ну и самое веселое, есть детектор раздражения, который отправляются в антропик, но при этом на агента это не влияет)) Эта утечка, как камаз перевернутый с пряниками)) Кто знает, тот поймет.

Многие спрашивают, какую локальную модель лучше всего использовать на своем компьютере. Вот отличное решение. Проанализирует, отсканирует и покажет, какая модель лучше всего подойдет для вашего компьютера. https://github.com/AlexsJones/llmfit

Имея топовую подписку на Claude Sonnet, сижу пересчитываю математику MultiHead Atention в ручную на бумаге. 😳 Так как он ошибается в расчетах!! Че я делаю не так ((( Вот такие дела, к врачу ИИ я точно не пойду. 🫣

Когда Клод говорит, что я всё правильно посчитал, приятненько))

Я написал свою большую языковую модель, обучил ее на пьесе Шекспира, и она мне генерирует более-менее связный текст! И это на самом деле очень волнительно. )) Если вы подумали, что я развернул модель с помощью Olama, то это не так. Вы, наверно, заметили, что я сильно увлекаюсь большими языковыми моделями. Всё это время я кропотливо изучал математику LLM, да, именно математику. Это крайне важно для понимания, так как если поймете математику, то, по сути, вы поймете, как работают большие языковые модели. Но у меня есть привычка, когда я что-то изучаю новое, я всего стараюсь вести конспект на Stepik, далее, если материал интересный, то я упаковываю всё это в виде курса. И в целом получился очень большой курс по созданию LLM своими руками. Этот курс немного сыроват, так как там очень много математики, и, соответственно, наверно, где-то есть ошибки. Хотя я всё решал на обычных листочках в клеточку с помощью калькулятора, чтобы лучше понять суть работы трансформера. Также сейчас я работаю над книгой, где будет более лаконично всё разъяснено. На курсе будет ссылка на закрытый чат, где можно будет спросить что-то по курсу. Ну и, конечно, скидка моим подписчикам 20% по промокоду START https://stepik.org/a/276236/pay?promo=7322b87e45ea35a0.