∅

cтаття про розплутування нейронів віруситься в дата-саєнс (та не тільки) колах тейк: нейромережі виявились чистішими ніж ми думали Нік Каммарата з Goodfire - один із тих, хто колись допомагав просувати ідею superposition - написав довге есе, де по суті визнає: ми помилялись стандартна історія була така: у нейронах каша. один нейрон реагує і на морди котів, і на передки машин, бо мережі нібито бракує місця, і вона пхає в одну шухляду несумісні речі. тому щоб щось зрозуміти, спершу треба розплутати клубок окремою моделлю (sparse autoencoder) і вивчати вже її а тепер виявляється, що кіт+машина - це просто нейрон «V-форми». вуса, фари, лисячі морди, полум'я - усе V-подібне. спільне було, просто ніхто не дивився уважно а решта «каші» - це не хаос, а крива оптика. інструменти були слабкі, архітектура стара, а ще нейрон по ходу навчання обростає суміжними значеннями, як гілка - дрібнішими гілочками. кожен крок логічний, а якщо дивитись лише на результат - здається, що там бардак коли взяли сучасну архітектуру того ж розміру, майже всі нейрони в останньому шарі стали зрозумілими. а в мовній моделі справжня мішанина, за оцінкою автора, це 2-4% нейронів, а не більшість що це означає простими словами: якщо автор правий, зазирнути всередину ШІ і зрозуміти, чому він відповідає саме так, можна значно раніше й простіше, ніж вважалось. без хитрих обхідних шляхів - просто уважно розглядати, що робить кожна деталь. а чим краще розумієш, що там всередині, тим легше помітити, коли він робить щось не те, а не вірити йому на слово поки що це гіпотеза, а не доведений факт. але виходить, що чорна скринька - це просто скринька з поганим освітленням

https://arxiv.org/abs/2610.16733 near-perfect accuracy of 98% at an average cost under USD 3 per problem

https://arxiv.org/abs/2610.00465 tldr: new edge computing paradigm that you can streamline llm weights the same way as TV works and compute results of inference implicitly directly on per-packet basis to reduce inference energy cost by 200x

Команда Лапи переросла мій блог, тому пора нарешті розділити. Будемо постити тут про нашу роботу: наші дослідження, тренування моделей, нові датасети, задачі, interpretability - SOTA штучки! Запрошуєм підписуватись)

https://arxiv.org/abs/2606.16926 sounds nice for PDE solvers

^ буду розповідати про оцей пейпер там також, скоро буде декілька релізів👀 make ukrainian alignment great again 🫡

Цікава стаття про те, що під machine unlearning ми часто ховаємо різні задачі https://arxiv.org/abs/2604.07962 untraining - про те як прибрати вплив конкретних даних, на яких модель тренувалась unlearning - про те як прибрати ширший концепт / поведінку / розподіл, який ці дані репрезентують якщо ми змішуємо ці задачі, то порівнюємо методи не співставними метриками умовно дивимось чи ефективно прибрали PII (точкова інформація з тренувальних даних as is) а потім на тих же метриках дивимось як прибрати поведінку або ж наративи

Cheaters and whistleblowers in the agent swarm https://institute.deepmind.com/essays/cheaters-and-whistleblowers-in-the-agent-swarm