🍳 Датазавтраки ☕️ НСК (Академ)

Поиск подходящего распределения для существующих данных https://github.com/erdogant/distfit

GitHub - ComplexityGarage/Scanning-Tunnelling-Microscope-DIY https://github.com/ComplexityGarage/Scanning-Tunnelling-Microscope-DIY

24.10.2023 🍳 датазавтраки по вторникам ☕️ в Новосибирском Академгородке с 8:30 до 10:00 в "Shurubor coffeeshop" у фонтана ТЦ https://go.2gis.com/wlkqi

22 октября (в воскресенье) в 1100 мск открытая лекцию курса по дизайну моделей машинного обучения, тема - "Улучшение моделей с помощью данных" Лекция будет онлайн, в spatialchat. Адрес https://app.spatial.chat/login/ods пароль odscourseautumn23

Еще говорили про оптимизацию работы трансформеров https://huggingface.co/docs/transformers/perf_train_gpu_one

Обсуждали - как в Наташе оптимизировали Bert - вот статья на хабре https://habr.com/ru/articles/516098/ а вот репозиторий https://github.com/natasha/slovnet

Тут сбер стукнулся, ищут студентов на стажировку в отдел валидации моделей. Если интересно, пишите @ivanvashche или @elena_glm , подробнее в группе мехмата НГУ https://vk.com/wall-70132772_2592

Вроде все вспомнил, если что-то еще забыл скинуть - напишите в комментариях к этому посту, пожалуйста

Курс читал Ido Bright, сейчас работает в Lift, тогда работал в University of Washington https://scholar.google.com/citations?user=eVq-go8AAAAJ&hl=en

Бразильский шаман Ido Bright, о котором я рассказывал, использовал Karhunen-Loéve Decomposition для выявления истинной размерности системы. Картинка из его лекций. Еще гуглить Proper Orthogonal Decomposition

Пример оценки неопределенности для больших языковых моделей https://arxiv.org/abs/2302.09664

Пример оценки доверительного интервала нейронки на кроссвалидации https://arxiv.org/pdf/2006.16941.pdf

учебник по оценке нейронок с бутстрапом https://www.preprints.org/manuscript/202101.0431/v1

weightwatcher - инструмент, анализирующий веса нейронок как случайные матрицы https://weightwatcher.ai/

Статья с критикой требований низкой истинной размерности датасета (It is believed that data lies on a low-dimensional manifold ...) https://datacentricai.org/neurips21/papers/86_CameraReady_Data_centric_AI_workshop(2).pdf

Про то как искать подмножества в данных (чтобы строить разные модели для разных подмножеств, например) https://sliceline.readthedocs.io/en/stable/ https://github.com/DataDome/sliceline https://www.youtube.com/watch?v=3vPjOn0AeX8 https://mboehm7.github.io/resources/sigmod2021b_sliceline.pdf

PyMC Marketing - вероятностные модели для маркетинга https://www.pymc-marketing.io/en/stable/

Статьи Аль-Рахими про обучение на случайной проекции https://papers.nips.cc/paper/3182-random-features-for-large-scale-kernel-machines.pdf https://people.eecs.berkeley.edu/~brecht/papers/08.rah.rec.nips.pdf