Соне нравится (или нет)
Меня зовут Соня (прошу не называть Софьей), я ML-инженер и делаю сетки для 2D/3D компьютерного зрения, а ещё иногда работаю с генеративными моделями. Буду писать как про сферу моей работы, так и о жизни.
Больше- Подписчики
- Просмотры постов
- ER - коэффициент вовлеченности
Загрузка данных...
Загрузка данных...
KAN: Kolmogorov-Arnold Networks [Статья][Код] Введение В основе всех (ну почти всех) современных архитектур лежит многослойный перцептрон (MLP) с обучаемыми матрицами, сдвигами и фиксированными активациями и некоторым механизмом агрегации для пространственных входов (свертки, attention, state-spaces, мамба, ⢠⢃⡈⡤⢡⠰). Теория гласит, что при некоторых предположениях на целевую функцию и функции активации в сети достаточно большой сетью можно приблизить эту самую целевую функцию. Возникает вопрос 🤔- оптимален ли такой подход по вычислениям / точности и нельзя ли изобрести нечто лучшее? Метод В данной статье авторы переосмысляют и в некотором смысле обобщают парадигму построения многослойной сети. В основе идеи лежит знаменитая теорема Колмогорова-Арнольда, что непрерывную многомерную функцию на ограниченной области можно всегда представить в виде композиции функций от одной переменной. Однако, при этом теорема не дает явного вида этих функций, которые могут оказаться сколько угодно плохими, потому не реализуема…