epsilon correct

Відкрити в Telegram

Машинное обучение, графы, языковые модели. Чуток про карьеру исследователя в FAANG, путь PhD и щепотка полезной математики. Связаться с автором: @deltaincorrect. Рекламы в канале нет.

Росія77 746 Технології та додатки14 055

8 074

Підписники

+224 години

+107 днів

+3830 день

5 043

Перегляди допису

~ 2 97824 години

~ 3 19048 годин

62.46%

Коефіцієнт залучення

Немає даних

Дописів на день

Ads index

beta

Триває завантаження даних...

Схожі канали

Сегодня родился Бенедикт Киберксюш

Більше каналів

Вхідні та вихідні згадування

---

Залучення підписників

Немає даних

Виникли проблеми? Будь ласка, оновіть сторінку або зверніться до нашого support-менеджера.

Дописи каналу

Мечта всех, кто хотел кожаночку как у Дженсена Хуанга – на следующем Sotheby's можно будет купить подписанную им куртку Tom Ford. Средства пойдут на благотворительность, ориентировочная цена – 40-60k$, хотя зачастую у аукционных домов не всё хорошо с оценкой спроса, и куртка может уйти за сильно больше какому-нибудь сотруднику фронтирной лабы.

2	Пока я откисаю в Корее от очередного сезона исхода дорогих коллег [1, 2, 3, и др.] перед ICML, наша с читателями любимая Лилиан Вэн – авторка топ-1 блога по диплёрнингу – написала первый за почти два года пост про историю и развитие науки об оценке правил масштабирования (scaling laws) языковых моделей. Почему "правил", а не "законов" – чтобы не создавать ощущения универсальности самих законов: всех необходимых факторов для по-настоящему точных предсказательных правил для конкретных архитектур, моделей, данных, оптимизаторов и других факторов, на них влияющих. Особого почтения заслуживает упоминание статьи Lovelace et al., где в первый раз в академическом мире разбираются, как влияют повторения данных на scaling laws. Так что у кого знания остановились на шиншилле – бежим освежать знания, чтобы фронтир толкался предсказуемо и безопасно.	3 251
3	Проверяемся, запомнили ли вас ллмки на intheweights.com Гпт 5.5 меня задизреспектила 😭	5 043
4	MTP спекулятивный декодинг в Gemma 4: ускоряемся в два раза без потери качества 🥳 В нашу дорогую гемму наконец завезли спекулятивный декодинг, когда более маленькая модель предсказывает токены, которые могут верифицироваться большой моделью параллельно, существенно ускоряя инференс для локальных юзкейзов. Попробовать можно через HuggingFace transformers, остальные движки тоже скоро будут поддерживать. блогпост, технический блог	0
5	Продолжаем геммапропаганду. В прошлом году у NVIDIA вышла неплохая статья о том, как ловить людей, которые доливают тест в трейн. CoDeC – нормализованный показатель перплексии, где для тестсета бенчмарка считают изменения в перплексии с дополнительными примерами из того же бенчмарка. Для неконтаминированных моделек мы ожидаем, что дополнительные примеры не будут сбивать модель с толку, а в лучшем случае помогут. С другой стороны, если модель запомнила текст из теста, дополнительные примеры собьют её с толку и уверенность модели в ответе упадёт. Шкала нормализована от 0 до 100, где ~80% значит, что примеры из теста модель видела буквально, ~40% – в перефразированном виде. Товарищ с твиттера посчитал CoDeC для Gemma 4 и сравнил с Qwen 3.5 – почему-то у наших китайских коллег модель почти запоминает примеры из теста.	0
6	WeirdML – один из самых необычных бенчмарков для ЛЛМок. В него входят необычные open-ended задачки по МЛю, например, распознавание цифр со всего 28 размеченными примерами и ~50к неразмеченными, распознавание формы фигур, или восстановление перемешанных фрагментов изображений. Gemma 4 31B оказалась самой сильной открытой моделью на этом бенчмарке, опередив GLM 5 (MoE на 700B) и GPT-OSS с хорошим отрывом, показав результат на уровне с О3 или Gemini 2.5 Pro.	0

Переглянути всі дописи