Время Валеры

N-граммы ещё нужны Забавно наблюдать, как вещи из древнего NLP мира продолжают приносить пользу в эру генеративных моделей. Биграммы, триграммы, статистики последовательностей - казалось бы, кому это нужно И вот Herman Brunborg показал решение для NanoGPT Speedrun, которое ускоряет NanoGPT в 6 раз, с 39.9 до 6.7 секунд . В основе - трансформер, которому помогают n-граммы. Идея довольно простая: посмотреть, встречалась ли уже такая последовательность токенов, и подсказать модели, что идет после неё и с какой вероятностью и надежностью. Здесь используются последовательности длиной 6, 10 и 20 токенов. Трансформер просто получает дополнительную информацию из отдельного индекса. GitHub Условный пример: какой-то фрагмент встретился в текстах сто раз, и в девяноста пяти случаях после него было одно и то же слово. Это полезная подсказка. Зачем обязательно заставлять нейросеть запоминать такую закономерность исключительно в весах, если можно ещё и дать подсказку. Причём придумать подсказку — половина дела. Нужно успеть построить и использовать индекс, иначе всё ускорение съест работа с ним. У Brunborg CPU обрабатывает корпус из 37 миллиардов токенов параллельно с обучением нейросети. То есть результат получен в том числе за счёт того, что в работу включили дополнительные ресурсы машины. Поможет пост Игоря про домашку Anthropic. В самом разборе Игорь поясняет за SIMD - когда одна инструкция обрабатывает сразу несколько элементов, работу с памятью и планирование параллельных операций и последовательно сокращает выполнение задачи со 147 тысяч до 2262 тактов, ускоряя примерно в 65 раз. Очень наглядный пример того, зачем вообще разбираться, как исполняется твой код. Оговорка: это конкретный бенчмарк, где помогают точные совпадения с обучающими текстами. Х6 (Х5?) не гарантируется, но трюк хороший и опять же - 6.7 Оговорка номер 2. Transformer trained with hints performs slightly worse without those hints than a comparable model trained without retrieval. Возможно AGI так не построить

Очень хороший пост от Gergely - автора pragmatic engineer Причина, по которой SWE/IT находится в таком привилегированном положении в плане зарплат, условий и локаций (от легкого переезда до удаленки), связана не столько с тем, что это область, в которую сложно войти, а в том, что сама область постоянно изменяется, и необходимо постоянно учиться и адаптироваться. Далее он пишет, что в отрасли был период стабильности в 10 лет, в который люди, казалось, забыли, что премиум платится именно за это. Согласен со многим, в том числе это одна из причин, почему ML-специалисты и около них не сильно пострадали: этим добрякам все эти 10 лет приходилось постоянно себя переизобретать, и далеко не все выдерживали.Знаю многих, которые ушли из профессии как раз по этой причине: нужно постоянно, непрерывно учиться.

I think many of us working in tech tend to forget that the reason software engineering vs other engineering fields pays (a lot!) more, is a lot more flexible (WFH/remote), and has better perks: Because this field changes much faster than other engineering fields. The premium is because fewer people are able/willing to pick up new technologies, methodologies so quickly. But the field had ~10-20 years of stability, and so lots of folks forgot this is why a premium exists. And that AI is just another tech wave: software engineers who pick it up and master it will generally fare better; those not will struggle a lot more. Ask your mechanical engineer, electrical engineer, civil engineer, chemical engineer friends (if you have them) what their pay is; how much equity; how easy it’s to work remote; and how easy to live countries without taking country-specific exams or learning the local language. Software engineering is a privileged field in many ways: but it’s like this because few enough put up with the brutal pace of change that happens periodically, and leaves those behind who don’t like sudden and less predictable change. In some ways: the job IS the ability and willingness to learn and adapt new technologies, fast, while building real-world stuff that makes money for the business one way or the other. We are paid a hefty premium to do exactly this, and because few enough people do this.

Встретился с основателями Higgsfield, договорились, что помогу собрать топовую команду DS и аналитики. В ближайшее время буду работать с ребятами и их Head of Data Дидаром: помогать с наймом, участвовать в интервью и формировании команды. Планирую прилететь в Алматы на неделю-другую и познакомиться со всеми лично. Higgsfield делает AI-платформу для генерации контента. Классная комбинация задач: эксперименты, продуктовый рост, монетизация, платежи, антифрод. И отдельно — работа с последовательностями действий пользователей: как помочь человеку быстрее получить нужный результат генерации и попробовать натравить на это Reinforcement learning Кого ищем: • Product Analyst — продукт, удержание, монетизация. • Product Scientist — эксперименты, causal inference, ML для продуктовых решений. • Marketing / Growth Analyst — привлечение пользователей и эффективность маркетинга. • Payments Analyst — платежи, подписки и причины отказов. • Antifraud Analyst и Antifraud Scientist — расследования и модели против мошенничества. Есть также роли в B2B-продуктовой аналитике, CX / SEO / GEO и analytics engineering. Нужны люди с сильной базой, которые умеют разбираться в задаче, задавать вопросы и самостоятельно доводить работу до результата. По условиям: $100–350k в год + опционы, в зависимости от роли и уровня. Работа в офисе в Алматы, с финансовой и организационной поддержкой релокации. Темп высокий, рабочая неделя — шесть дней. Это стоит учитывать сразу. Для понимания задач — пара историй от ребят. Их антифрод-аналитик вычислил мошенника, которого искало ФБР, и помог собрать доказательства для дела. А руководитель Growth-аналитики разработал метрики, которые помогли компании закрыть раунд на $400 млн, и получил $5 млн опционами. Планируем первый стрим с Дидаром: поговорим о задачах, команде, подходе к работе и найме. Дату и время сообщу отдельно. Вопросы можно уже оставлять в комментариях. Если интересно — пишите мне @Venheads, обсудим, какая роль может подойти. Можно сразу откликнуться по ссылкам или написать рекрутеру @anton_higgs. Все вакансии — здесь. How Higgsfield Became One of the Fastest-Growing AI Video Platforms for Creators and Startups

Выкладываю запись стрима про дизайн Агентских систем

🎙🎙🎙🎙🎙 Главный признак, что пора в сеньоры ML: сложные кейсы перестали казаться сложными, а новые проекты — по-настоящему новыми. Если вы все чаще ловите себя на мысли, что пора расти дальше, приходите на прямой эфир с Валерием Бабушкиным — человеком, который сам прошел путь до сеньора в машинном обучении и может дать вам экспертный совет ✅   ↖️ Прямой эфир с Валерием Бабушкиным Как расти в ML: грейды, собеседования и проектирование систем Встреча пройдет в формате Q&A. Каждый участник сможет задать вопрос Валерию о карьере и получить экспертный ответ. Заодно обсудим, как перейти от роли исполнителя к участию в проектировании ML-систем. Будет полезно продактам и проджект-менеджерам, тимлидам ML-команд, ML-инженерам, DS, MLOps (middle+) и свитчерам из разработки или аналитики. ❓Свой вопрос можете отправить при регистрации на событие или в чат во время эфира.

Спикер:  Валерий Бабушкин — старший директор данных, аналитики и искусственного интеллекта в British Petroleum.

📅 Когда: 15 октября в 19:00 мск 📌 Записаться

Комментарии и вопросы по стриму можно оставлять здесь.

Вчера общался со старшим директором по Data Science в одной компании в Штатах. Оказалось, что именно она была автором той самой модели в Target, которая в своё время отправила купоны со скидками на детские товары в семью, где отец ещё не знал, что его дочь беременна. Той самой, после которой он в ярости прибежал в ближайший магазин Target разбираться: С какого перепуга вы присылаете моей дочери такое (My daughter got this in the mail!” he said.“She’s still in high school, and you’re sending her coupons for baby clothes and cribs? Are you trying to encourage her to get pregnant?)? А спустя некоторое время вернулся и сказал: Да, она беременна. У меня к ней был один главный вопрос. В сообществе ведь ходили две версии этой байки. По одной, девушка сама ещё не знала о беременности, а модель уже всё поняла. По другой — девушка знала и уже покупала какие-то товары, по которым модель определила беременность и начала предлагать скидки на соответствующие покупки. Не знал только отец. Ну и тайна раскрылась: по её словам, сама девушка уже знала, что беременна. Конечно, забавно в какой-то момент карьеры встречать людей, о которых ты никогда не слышал, но прекрасно знаешь о том, что они создали. А еще она пишет детские книжки

Прежде чем делиться документом, его полезно сжать, сохранив информацию (скилл здесь, https://t.me/cryptovalerii/999 - если сжимает мало, попросите сделать экстремальное сжатие). Читателю меньше работы, автору приходится разобраться, что он вообще хотел сказать, для модели — компаундный эффект (экономия на каждом прогоне). С контекстом для LLM похожая история (часто документ и является контекстом), только хуже. Допустим, вы делаете агента, которому нужны данные из интернета. Проблемы начинаются раньше, чем кажется: нужен программный доступ к поисковой выдаче, а его негде взять. И даже когда доступ есть, найти страницы недостаточно — их нужно скачать, почистить HTML, нарезать на фрагменты, выбрать подходящие и передать модели. Я уже рассказывал про Yandex Scale — теперь у них появились Smart Snippets в Yandex Search API. Отправляете запрос, получаете релевантные фрагменты найденных страниц с цитатами и ссылками на источники. Поиск и подготовка веб-контекста — одним вызовом API. Каждый фрагмент — примерно 500 токенов. В контекст идут выбранные части страниц. Итоговый ответ на их основе формирует ваша модель: Smart Snippets подготавливают для неё материал. По данным Yandex Cloud, это сокращает количество токенов веб-контекста до 3 раз при том же качестве ответа. Тут полезно правильно посчитать экономику. Если веб-контекст сократился втрое, весь счёт за LLM втрое не уменьшится из за остальной обертки: остаются инструкции, история диалога, генерация ответа. Плюс стоимость самого поиска. Но если агент регулярно ходит в интернет и приносит много текста, оптимизировать эту часть вполне имеет смысл. Ну и приятная возможность — снять с себя часть работы по обработке веб-контента. Это, к сожалению, не значит, что поддерживать становится нечего: свой код вокруг ответа API остаётся, и отвечать за то, как это работает в проде, всё равно кому-то придётся. Есть смысл потестировать на своих запросах качество ответов, полную стоимость запроса и задержку. Если качество сохраняется, а стоимость и объём поддержки снижаются — есть вполне понятная причина использовать. Протестировать можно здесь

Нет совета директоров? Одолжим на вечер: в четверг шесть экспертов разберут ваш AI-проект Обычно на вопрос «как запустить AI-продукт» отвечает кто-то один. И отвечает со своей колокольни: технолог про архитектуру, предприниматель про продажи, инвестор про метрики. В четверг мы соберём за одним столом шесть человек с очень разным опытом. По сути, это совет директоров, которого у ранних проектов обычно нет: Валерий Бабушкин — взгляд технолога, который строил ML в Alibaba и руководил AI-командами до 600 человек Игорь Зуев — взгляд практика, в портфеле которого 30+ приложений на рынок ЕС и США, выручка $1.5 млн+ в год Артём Субботин — взгляд продуктовика, который 20 лет создаёт тренды в hardware Николай Хлебинский — взгляд серийного предпринимателя, который построил Retail Rocket Александр Горный — взгляд стратега, который в Mail.Ru Group (VK) помогал выбирать компании для покупок и инвестиций на полмиллиарда долларов Андрей Резинкин — взгляд инвестора, в чьём портфеле 20+ стартапов на разных стадиях: от идеи до $100 млн выручки Где искать нишу, на чём собирать, откуда брать первых клиентов и когда пора масштабироваться — у каждого из шестерых будет свой ответ. И самое полезное начнётся там, где они не согласятся друг с другом. В конце Q&A: приходите с вопросом по своему проекту, совет директоров его рассмотрит. Эфир для всех, кто делает AI-продукт, думает о запуске или хочет понять, где в AI сейчас деньги. 📅 Четверг, 8 октября, 19:00–21:00 мск, Zoom 💰 Бесплатно. Условие одно: подписка на каналы спикеров, бот всё проверит Ссылку на эфир и запись получат только зарегистрированные: 👉 Занять место на эфире

В воскресенье, 11 октября в 19 по Лондону (21 по мск), проведём стрим с моим другом и будущим соавтором книги про дизайн агентских систем — Алексеем. Он долгое время работал в информационной безопасности: разрабатывал антивирусные технологии, системы обнаружения сложных целенаправленных атак и инфраструктуру для обработки больших объёмов данных. Технологии, созданные под его руководством, лицензировали и использовали Яндекс, ВКонтакте, Одноклассники и другие крупные компании. Последние несколько лет Алексей строит production-агентов для бизнеса — системы, которым можно доверить реальные бизнес-процессы. В центре его интересов — архитектура агентских систем и agent harness, tool calling, управление контекстом, evals, а также надёжность и контроль поведения агентов в production.

AI-проекты с нуля: как выбрать нишу, собрать продукт и выйти на первую выручку Собрать AI-продукт сейчас можно за выходные. Сложнее добиться, чтобы им пользовались и за него платили: большинство таких проектов так и остаются демками. 8 октября на онлайн-панели разберём весь путь от идеи до первых денег. Обсудим: — как выбрать нишу, которую не съест следующий релиз OpenAI — на чём собирать продукт: готовые API, агенты или своя модель, и как не утонуть в стоимости токенов — где найти первых платящих клиентов без бюджета на маркетинг — по каким сигналам понять, что проект пора масштабировать или закрывать Спикеры: Андрей Резинкин — ангел-инвестор в 20+ стартапах Валерий Бабушкин — ex-VP of ML в Alibaba, руководил AI-командами до 600 человек в BP, Kaggle Grandmaster Игорь Зуев — в портфеле 30+ приложений на рынок ЕС и США, выручка $1.5 млн+ в год Артём Субботин — 20 лет опыта в hardware и создании глобальных трендов Николай Хлебинский — серийный IT-предприниматель, основатель Retail Rocket Александр Горный — ex-директор по стратегии Mail.Ru Group (VK), основатель клуба для предпринимателей ShareAI 📅 Когда: 8 октября, четверг, 19:00 мск 📍 Где: онлайн, Zoom 💰 Стоимость: бесплатно, нужна подписка на каналы всех спикеров ❓Q&A: да, приносите вопросы по своим проектам Доступ к трансляции и запись получат только зарегистрированные — забирайте место: 👉 Зарегистрироваться на конференцию

Не перестаю радоваться и удивляться тому, что студенты всегда остаются студентами. Вот и в эту субботу они в очередной раз это доказали. Команда из пяти человек. Все очень серьёзные люди, умудрённые опытом, сединами и отягощенные грузом PhD: архитекторы, совладельцы бизнеса - вообщем серьезные дядьки. Должны были продемонстрировать и защитить первую половину дизайн-документа по агентной системе, которая призвана ревьюить дизайн-документы. Они начали переделывать под себя систему с предыдущего потока, потому что задача у них как у архитекторов достаточно интересная: какие вопросы нужно задать и какие ответы получить, чтобы снизить дисперсию оценки проекта. Это, очевидно, очень важно для любой компании, которая оценивает проекты, а затем их выполняет. Изначально они должны были защищаться за неделю до этого, но попросили отсрочку: все разъехались по командировкам. Люди, опять же, занятые. Договорились встретиться на защите в субботу. Суббота наступила, я заварил чай, думаю: «Ну, наконец-то я буду не читать, а слушать». Начинаем занятие, вызываю команду: И тут лидер команды говорит: — А мы сегодня не готовы и документ не покажем Чем в очередной раз подтверждает: студенты всегда остаются студентами. Дисперсию они, очевидно, не снизили.

В последнее время все дружно делают корпоративных AI-агентов и постепенно приходят к замечательной мысли: чтобы модель делала работу, ей надо дать доступ к работе. А не только поле, куда работяга будет заботливо копировать содержимое остальных корпоративных систем. OpenAI называют это переходом от assistance к execution. Microsoft развивает skills, коннекторы к корпоративным данным и взаимодействие агентов между собой. В общем, хочется, чтобы AI уже что-нибудь сделал, а не только рассказал, как это можно было бы сделать. Вполне понятное желание. Яндекс туда же: на Yandex Scale 2026 (обсуждали здесь) анонсировали Алису AI Про. Заявленный сценарий — сотрудник описывает задачу обычным языком, а дальше Алиса сама определяет шаги (делает стейт машину?), подбирает инструменты и работает с подключёнными корпоративными системами (mcp/a2a registry?). Для сложной задачи может собрать команду специализированных агентов, которые параллельно занимаются документами, поиском информации и прочими частями работы (конкурент моей книге по дизайну AI систем?) В целом задача непростая Модель, даже очень умная, сама по себе не знает, как устроена ваша компания. Где лежит актуальный договор, кто согласовывает закупку, откуда брать цифры для отчёта и почему файл «финал_финал_2» использовать нельзя (лекция про rag), а надо спросить у человека, который сейчас в отпуске. В обучающую выборку эти замечательные знания, скорее всего, не попали. Ей нужны документы, внутренние инструкции, CRM, почта, трекер, базы знаний и правила выполнения конкретных операций. Причём всё это надо не просто подключить, но и разобраться, что кому можно читать и менять. Просьба в системном промпте «пожалуйста, не показывай чужие данные» проверку прав доступа не заменяет. Дальше надо решить, какие действия агент выполняет сам, а где должен остановиться и спросить человека. У Алисы AI Про такие разрешения предусмотрены отдельно. Потому что между «подготовь письмо клиенту» и «отправь письмо клиенту» разница небольшая только в количестве букв. В общем, снова данные, интеграции, permissions и оркестрация. Обычный system design, который после появления LLM почему-то никуда не делся. Хорошая модель нужна, но работу по встраиванию в конкретную организацию за вас не отменяет. Для российского enterprise есть ещё вопрос, где всё это разворачивается и куда уходят данные. Если компания не готова отправлять их во внешнее облако, рассказ о том, какой у вас замечательный интеллект, обсуждение далеко не продвинет. Поэтому мои бывшие коллеги, Яндексоиды, предусмотрели варианты on-premises и гибридного развёртывания, выбор модели и собственные специализированные навыки. Конкретные условия и доступность возможностей имеет смысл обсуждать наравне с качеством самой модели как ещё одну часть ТТХ Поэтому я бы смотрел на довольно простую вещь: сколько работы после внедрения перестал делать сотрудник. С учётом времени на подготовку контекста, проверку и исправление результата, конечно. Если он по-прежнему должен всё найти, скачать, скопировать, принести в чат, а потом разнести ответ обратно по системам, то агент у вас, возможно, и появился. Но коннектором в этой архитектуре всё ещё работает человек.

Про важное поговорили, теперь можно про ML. Сейчас читаю ML System Design (который уже неприлично разросся: 5 месяцев и 10+ часов контента только по агентским системам, а всего 60+) в школе ML Inside (запись на текущий поток закрыта). Мой давний друг и коллега Витя Кантор попросил рассказать про другой его курс. Онлайн-специализация «Искусственный интеллект и анализ данных» Это реинкарнация старой специализации по ML на Coursera от МФТИ и Яндекса, теперь, небось, без второго Питона. В программе 7 модулей: Математика и Python, Classic ML, DL, AI-агенты, A/B, Production ML (MLOps) и введение в ML System Design. https://mlinside.ru/specializaciya Подойдёт тем, кто хочет перейти в ML из аналитики или разработки, подтянуть теорию перед собеседованиями или просто освежить базу и разобраться в новом, например, в агентах. Учиться можно в своём темпе, все модули открыты сразу (только последний ещё в разработке). Для студентов университетов особое предложение: покупать подписку не надо, доступ можно получить бесплатно. Бюджет или платная форма обучения, очно или дистанционно, бакалавриат, магистратура или даже аспирантура — заполняете анкету, подтверждаете, что вы студент, и получаете доступ: https://forms.yandex.ru/u/69e893846d2d7372b90870d5

С середины лета мегапростыня начала барахлить. Ну как барахлить — она просто говорила, что меня нет. Я спал, а она говорит: нет, сегодня ты на мне не спал. Сначала пару раз в неделю, потом 3–4, потом уже почти каждый день. Но продолжала но ночам холодить, а по утрам греть и жужжать Поначалу я подумал, что, возможно, уже достиг такого уровня познания, что по ночам ухожу в астрал. Но затем решил что реальность прозаичнее. Мельдонщик из зала тоже недавно заявил ряду людей: «Что-то я давно не видел Валерия». Сказал он это людям, которым я регулярно говорил, что хожу в зал. Неловко вышло. Потом оказалось, что он просто начал работать в другую смену, как, видимо, и мегапростыня. В итоге я написал в команду поддержки, что вот я был, а вот меня не стало. Они почесали репу и выслали мне новую мегапростыню бесплатно. Спасибо. А мельдонщик, кстати, снова вышел в утреннюю смену и попросил еще мельдония.

На днях начал делать ревью А/Б-платформы от Три сигма, позавчера отправил им 9 уточняющих вопросов, и пока они отвечают, попросили прорекламировать их митап в Ташкенте. На что я говорю: так вы ответьте на вопросы, я в одном посте разбор проведу и заодно про митап расскажу. Говорят, не успевают, митап уже скоро. 1 октября у них митап в Ташкенте Data-Driven – от данных к действиям

Мы давно про это знали: Design Docs Are All You Need: An AI-native Machine-Learning Performance Tool

Прочитал отличную заметку Shopify про gisting — сжатие системного промпта в обучаемые токены. По сути, это компиляция промпта. У GraphQL-агента Sidekick системный промпт занимал около 6 000 токенов, которые постоянно приходилось обрабатывать снова и снова. Prefix caching решает проблему лишь частично. Модели не нужно повторно вычислять KV cache для промпта, но при генерации каждый новый токен всё равно работает со всем контекстом. Чем длиннее промпт, тем больше памяти и времени требуется на каждый шаг декодирования. Придумали логичную штуку применить: gisting Как работает gisting. Сначала Shopify выбрали коэффициент сжатия 4:1(это гиперпараметр) и создали 1 500 новых специальных токенов вместо 6 000 исходных. Эти токены не были выбраны из системного промпта и не являлись его текстовым summary. Это просто новые ID вроде <GIST_1>, <GIST_2> и так далее. Дальше: * Все веса модели замораживаются. Обучаются только эмбединги новых gist-токенов. * Teacher-версия модели получает полный системный промпт, запрос пользователя и начало правильного ответа. На каждой позиции она выдаёт распределение вероятностей следующего токена. * Student-версия той же самой модели получает тот же запрос и ответ, но вместо 6 000 токенов системного промпта видит 1 500 gist-токенов; * Распределения teacher и student сравниваются через KL divergence. * Градиент меняет только эмбединги gist-токенов, пока student не начинает выдавать практически те же распределения ответов, что и teacher. * Изначально новые эмбединги можно было бы задать случайно. Но Shopify нашли более эффективную инициализацию: исходный промпт разделили на группы по четыре токена, а каждый gist-embedding инициализировали средним значением эмбедингов соответствующей четвёрки. Это снизило начальный loss в семь раз. При этом <GIST_1> не становится сокращённым обозначением первых четырёх токенов. Все 1 500 embeddings обучаются совместно и в итоге кодируют не текст промпта, а его влияние на поведение модели. Получаем сжатие поведения: модель учат реагировать на короткую последовательность обучаемых векторов так же, как на длинную текстовую инструкцию. В результате примерно 6 000 обычных токенов превратились в 1 500 обученных токенов. Модель ведёт себя так, будто прочитала полный промпт, хотя фактически получает его сжатое представление. После обучения никакой отдельной архитектуры не требуется. Эмбединги записываются в embedding matrix, токены регистрируются в tokenizer, а длинный промпт при запросе просто заменяется их последовательностью. Нет дополнительного encoder, специального attention mask или отдельного serving path. Результаты при нагрузке 350 запросов в минуту: — time to first token: с 438 до 354 мс, −19%; — полная задержка: с 6,8 до 4,2 секунды, −38%; — throughput: с 20,2 до 23,4 запроса в секунду, +16%; — требуемое количество GPU: −14%. Качество при этом не ухудшилось. Как они подбирали рецепт: Autoresearch-цикл сам менял гиперпараметры, запускал обучение и оценивал результат. Так нашли оптимальное сжатие 4:1. При дальнейшем уменьшении количества gist-токенов качество начинало падать. Для другой модели, промпта и предметной области граница будет другой. Предварительный расчёт teacher logits и токенизация сократили один обучающий прогон с 30 до 6 часов. Оказалось также, что усреднение функции потерь по токенам ответа приводило к галлюцинациям, а усреднение по batch сохраняло больше сигнала от длинных ответов. Хорошее напоминание, что даже в относительно простой оптимизации детали функции потерь могут полностью изменить поведение системы. Prompt engineering постепенно превращается в обычный ML engineering. Системный промпт можно рассматривать как исходный код, а gist-токены — как его скомпилированную версию. Здесь всё знакомо: датасет, distillation, loss, evaluation, нагрузочное тестирование, мониторинг качества и стоимости. #ArticleReview

На основе пятничного поста про промт:

Сожми документ максимально, не потеряв никакой информации.

Превратили этот подход в отдельный open-source skill — lossless-doc-compress. Скилл читает документ целиком и относит каждый фрагмент к одной из трёх категорий: KEEP — содержит информацию и остаётся без изменений; REMOVE — доказуемо избыточен и удаляется; FLAG — требует решения автора, поэтому остаётся в документе с пометкой. Он удаляет filler, пустой hedging, LLM-slop, дословные повторы и избыточные формулировки. Сохраняет факты, цифры, решения, оговорки, ограничения, названия систем, код и таблицы. Если есть сомнение — не удалять, дает отметку для автора Результат: три артефакта: Сжатый документ. Лог всех удалений и спорных мест. Scorecard: число слов до/после, процент сокращения и подтверждение сохранности содержания. npx skills add ML-SystemDesign/MLSystemDesign Код и инструкция: https://github.com/ML-SystemDesign/MLSystemDesign/tree/main/skills/lossless-doc-compress Это пост был прогнан через скилл