Love. Death. Transformers.

Так ну чего, го до конфы встретимся если уже добрались?

Мир сошел с ума

день репостов нишевых каналов

StiTching Мне сегодня нужно было сшить кожу на пальце, и в процессе этого перформанса я вспомнила про model stitching. Чтобы скрасить время — врачебное и моё — начала рассказывать зачем это надо. Без понятия, зашло ли хирургу и медсестре, но зато я обнаружила для себя интересный тейк на поделиться с вами = ) Что:

Model stitching как идея появился в 2015 году. Его выдвинули как метод изучения эквивалентности двух сетей, но математическая эквивалентность здесь мимо не проходила — она, более того, не верна — авторы назвали два представления эквивалентными, если существует преобразование между ними, в математике мы требуем аксиом).

Тогда это осталось нишевым инструментом для картинок — юзали AlexNet-ы. Потом в 2021 NeurIPS идею дооформили, вышли две работы: Similarity and Matching of Neural Network Representations и Revisiting Model Stitching to Compare Neural Representations. Кстати, в первой работе шутили про Франкенштейна (или нет). Как это стало устроено: Смотрим на две обученные и замороженные сети A и B. «Сшитая» модель строится так: • берём нижние слои сети B (front model, представление r = B≤ℓ) • между ними ставим тонкий обучаемый stitching layer — единственный, кто обучается • подключаем к верхним слоям сети A (top model, A>ℓ) То есть делаем бутерброд из белого и темного хлеба, если хотите. А формально ищется простейший слой, задачей вида: L_ℓ(r; A) = inf_{s∈S} L(A>ℓ ∘ s ∘ r) Где s — stitching layer, A>ℓ — верхние слои A, r — представление из B. s∈S — тут специально, мы ищем слой из класса простых слоев, а инфимум (inf), как математический знак, говорит нам, что stitching layer обязан быть минимальным: для свёрточных сетей — 1×1 conv с BatchNorm, для трансформеров — token-wise linear. Как именно обучают stitching layer: — HLM (hard label matching) — минимизируем ошибку на настоящих метках задачи. — SLM (soft label matching) — минимизируем расстояние до предсказаний end-модели, а не до ground truth. — DM (direct matching) — напрямую минимизируем расстояние между активациями на уровне stitching. — FuLA (functional latent alignment, Athanasiadis et al., 2026) — stitching layer обучается имитировать не только выход end-модели, но и её внутренние процессы послойно (на пальцах плохо — надо читать). Метрика успеха — stitching penalty = разница между ошибкой сшитой модели и ошибкой базовой A. Penalty ≈ 0 означает совместимость. Penalty < 0 — сшитая модель стала лучше базовой, то есть мы буквально подсадили ей более сильные нижние слои. Зачем это нужно: Смотрим на фиолетовую/рыжую цитату — изначально — метрика сходства. Но потом пошло интереснее. Например, Stitchable Neural Networks (CVPR 2023) можно семейство предобученных моделей разного размера (например, Swin-Ti/S/B), сшить и получить модель, которая во время инференса может динамически переключаться между режимами accuracy/efficiency или T-Stitch: ускорение диффузионных моделей через замену первых шагов денойзинга на более лёгкую сеть и возврат к тяжёлой для финального качества. Это что, пахнет LoRA? Эту мысль я обдумывала при знакомстве со stitching. Вдруг она не возникла у вас — я опеределиа. Да: оба метода замораживают предобученные веса и вставляют тонкий линейный слой. Но нет: LoRA адаптирует одну модель к новой задаче, stitching измеряет совместимость двух уже обученных сетей на старой задаче. Финал не придумала, но stiting — одна из штук, висящих у меня на "идеи для рисерча". А ещё — просто вдумайтесь! Этот AI-мир можно сшить! Хирург, кстати, ничего не спросил, но швы наложил нормально. Аккуратнее будьте, друзья, и будьте здоровы! 😌

Объявляется неделя прикольных ссылок Мои коллеги из команды претрейнов сделали дискретную диффузию на основе гигачата — причём основным исполнителем был стажёр. Веса в опенсорсе, поддержка в SGLang в PR, метрики лишь немного ниже обычного гигачата, а скорость генерации выше аж на 72%. Если вы умный, активный и хотите делать прикольные штуки на большом компьюте, приходите к нам) Репорт: https://habr.com/ru/companies/sberbank/articles/1054690/ Веса: https://huggingface.co/ai-sage/GFusion-10B-A1.8B

репостегов бы https://x.com/justALEXWORTEGA/status/2072647053864276308?s=20

Sonnet-5 По метрикам классный. По цене на 30% дешевле sonnet-4.6 (временно). Хоуп уже тестит в чате. Блог, техрепорт

Рассказал: • как и где я использую Hermes Agent • как засетапить себе бота как @fiztehbot • нюансы, безопасность, контекст Моя январская статья стала самой популярной на хабре про СС (192k просмотров), хотя ее жестко заминусовали лол Оставьте коммент под статьей - посмотрим, что на это скажут ИИ хейтеры 🔗 habr.com/ru/articles/1053846 🔗 habr.com/ru/articles/1053846 🔗 habr.com/ru/articles/1053846

Меня всегда удивляет, что можно найти на просторах интернета, например, математические доказательства ранее нерешенных проблем Аниме "Меланхолия Харухи Судзумии" в первом сезоне состоит из 14 серий, которые задумывались так, чтобы их можно было смотреть в любом порядке в 2011 на фочане кто-то задался вопросом: "какое минимальное количество серий нужно посмотреть, чтобы увидеть весь сезон во всех возможных порядках?" Оказалось, что это классическая задача комбинаторики про суперперестановки https://en.wikipedia.org/wiki/Superpermutation И какой-то анонимный юзер доказал, что нижняя граница равна n! + (n−1)! + (n−2)! + n − 3, при n >= 2 Это пылилось на просторах интернета, пока в 2013 году про тред не написал Натаниэль Джонстон у себя в блоге, но это доказательство осталось без внимания, пока в 2018 Робин Хьюстон не наткнулся на пост в блоге, и вместе с коллегами опубликовал статью с дополненным доказательством, где первым автором указал анонима с фочана Оригинальная статья, где первый автор это аноним с фочана https://oeis.org/A180632/a180632.pdf Ну и сама задача о кратчайшей суперперестановке называется проблемой Харухи: https://mathsci.fandom.com/wiki/The_Haruhi_Problem

Забавный в своей бесполезности тул - мониторинг взлома реварда, проверяет есть ли коллапс награды в одно значени https://github.com/AvAdiii/rewardspy

все что вы хотели видеть мои дорогие любители дистилить фронтир

Tldr: дистилл чтобы улучшать капибилити работает только на фулл ризонинге, на суммаризованном не работает. https://arxiv.org/abs/2606.05988v1

Челы мем запостили