🍳 Датазавтраки ☕️ НСК (Академ)

Про статью Topological Data analysis: Для трансформерной модели мы можем дополнительно найти алгебраические и топологические features. Авторы используют эти фичи для задачи распознавания звука. Топологические выглядят так: 1. Для каждого self-attention слоя смотрим на выход софтмакса (то есть, на attention map). 2. Представляем этот выход в виде графа, где строки и столбцы показывают узлы графа, а значение софтмакса - вес рёбра между этими узлами. 3. Бинаризируем значения рёбер по порогу. Тогда ребро исчезает, если у него нулевой вес На третей строке картинки показано множество графов, бинаризированных по порогам тау = 0.025, ..., 0.75 (L - номер слоя, H - номер головы). Для тау = 0 граф является полносвязным, для тау = 1 - ребер нет 4. Смотрим на связи между узлами графа. В графе появляется дырка первой размерности, когда на текущей отсечке тау ребро цикла пропадает. Например, на картинке для тау = 0.025 виден цикл в виде квадрата, который пропадает на тау = 0.1 Дырка нулевой размерности появляется, когда пропадает ребро между вершинами и появляется новая компонента связности. Вот здесь написано, что означают эти дырки в математическом плане: ссылка 5. Разность между порогами тау, когда дырка появляется и пропадает, называется ее временем жизни. Среднее значение времен жизни всех дырок каждой размерности - топологические свойства (в статье называются barcode features) графа 6. Пусть в модели сорок self-attention слоев. Тогда для модели мы получим два вектора размером сорок, каждое значение которого - среднее время жизни. Эти векторы можно сконкатенировать и использовать как features для задачи. Вот здесь их используют как дополнительные фичи для нахождения текстов, сгенерированных моделями. 7. Кроме баркодов можно получить features из Representation Toplogy Divergence, ссылка. Я не понял, как это можно сделать Алгебраические выглядят так: Это сумма верхнетреугольной матрицы attention map размером N на N (то есть, все, что ниже главной диагонали, маскировано), нормализованная на N^2. Зачем это все: 1. Авторы показывают, что для частных задач можно использовать только предобученную модель для специализированной задачи. То есть, топологические фичи инварианты к небольшим сдвигам домена. 2. Такие фичи хорошо интерпретируются (смотрите статью)