563
Підписники
+124 години
+27 днів
+1230 днів
Архів дописів
563
Repost from (φ (μ (λ)))
AI is really good at automating our worst tendencies. It amplifies the unspoken cultural practices no one likes, but no individual can reasonably deviate from. It exploits the mechanized traditions recalcitrant to collective action. In that vein, AI can now write useless theory papers. But perhaps in the absurdity of the distasteful OpenAI trash dump of proofs, we can all look up and realize together that we should consider doing something else.https://www.argmin.net/p/faster-fourier-transforms
563
https://academy.dair.ai/papers/hybrid-reasoning-agents-2610.18861
"thinking without words" for llms
563
Repost from wlwsk
cтаття про розплутування нейронів віруситься в дата-саєнс (та не тільки) колах
тейк: нейромережі виявились чистішими ніж ми думали
Нік Каммарата з Goodfire - один із тих, хто колись допомагав просувати ідею superposition - написав довге есе, де по суті визнає: ми помилялись
стандартна історія була така: у нейронах каша. один нейрон реагує і на морди котів, і на передки машин, бо мережі нібито бракує місця, і вона пхає в одну шухляду несумісні речі. тому щоб щось зрозуміти, спершу треба розплутати клубок окремою моделлю (sparse autoencoder) і вивчати вже її
а тепер виявляється, що кіт+машина - це просто нейрон «V-форми». вуса, фари, лисячі морди, полум'я - усе V-подібне. спільне було, просто ніхто не дивився уважно
а решта «каші» - це не хаос, а крива оптика. інструменти були слабкі, архітектура стара, а ще нейрон по ходу навчання обростає суміжними значеннями, як гілка - дрібнішими гілочками. кожен крок логічний, а якщо дивитись лише на результат - здається, що там бардак
коли взяли сучасну архітектуру того ж розміру, майже всі нейрони в останньому шарі стали зрозумілими. а в мовній моделі справжня мішанина, за оцінкою автора, це 2-4% нейронів, а не більшість
що це означає простими словами: якщо автор правий, зазирнути всередину ШІ і зрозуміти, чому він відповідає саме так, можна значно раніше й простіше, ніж вважалось. без хитрих обхідних шляхів - просто уважно розглядати, що робить кожна деталь. а чим краще розумієш, що там всередині, тим легше помітити, коли він робить щось не те, а не вірити йому на слово
поки що це гіпотеза, а не доведений факт. але виходить, що чорна скринька - це просто скринька з поганим освітленням
