epsilon correct
Open in Telegram
Машинное обучение, графы, языковые модели. Чуток про карьеру исследователя в FAANG, путь PhD и щепотка полезной математики. Связаться с автором: @deltaincorrect. Рекламы в канале нет.
Show more8 082
Subscribers
+224 hours
+107 days
+4030 days
Data loading in progress...
Similar Channels
Tags Cloud
Incoming and Outgoing Mentions
---
---
---
---
---
---
Attracting Subscribers
July '26
July '26
+42
in 0 channels
June '26
+157
in 0 channels
Get PRO
May '26
+148
in 0 channels
Get PRO
April '26
+218
in 5 channels
Get PRO
March '26
+111
in 0 channels
Get PRO
February '26
+256
in 2 channels
Get PRO
January '26
+171
in 3 channels
Get PRO
December '25
+109
in 5 channels
Get PRO
November '25
+152
in 2 channels
Get PRO
October '25
+106
in 3 channels
Get PRO
September '25
+148
in 3 channels
Get PRO
August '25
+156
in 6 channels
Get PRO
July '25
+147
in 2 channels
Get PRO
June '25
+214
in 5 channels
Get PRO
May '25
+159
in 5 channels
Get PRO
April '25
+213
in 3 channels
Get PRO
March '25
+521
in 10 channels
Get PRO
February '25
+541
in 10 channels
Get PRO
January '25
+150
in 6 channels
Get PRO
December '24
+381
in 9 channels
Get PRO
November '24
+152
in 3 channels
Get PRO
October '24
+388
in 10 channels
Get PRO
September '24
+2 489
in 19 channels
Get PRO
August '24
+198
in 10 channels
Get PRO
July '24
+232
in 4 channels
Get PRO
June '24
+76
in 0 channels
Get PRO
May '24
+85
in 4 channels
Get PRO
April '24
+138
in 1 channels
Get PRO
March '24
+185
in 8 channels
Get PRO
February '24
+105
in 3 channels
Get PRO
January '24
+119
in 1 channels
Get PRO
December '23
+408
in 3 channels
Get PRO
November '23
+52
in 0 channels
Get PRO
October '23
+165
in 3 channels
Get PRO
September '23
+106
in 0 channels
Get PRO
August '23
+140
in 0 channels
Get PRO
July '23
+1 495
in 0 channels
| Date | Subscriber Growth | Mentions | Channels | |
| 11 July | +1 | |||
| 10 July | +5 | |||
| 09 July | +4 | |||
| 08 July | +2 | |||
| 07 July | +6 | |||
| 06 July | +4 | |||
| 05 July | +3 | |||
| 04 July | +4 | |||
| 03 July | +2 | |||
| 02 July | +6 | |||
| 01 July | +5 |
Channel Posts
Техрепорт Gemma 4 наконец-то докатился до архива ☺️, особо ничего нового, немного больше эвалов в long-context и для аудио
| 2 | Мечта всех, кто хотел кожаночку как у Дженсена Хуанга – на следующем Sotheby's можно будет купить подписанную им куртку Tom Ford. Средства пойдут на благотворительность, ориентировочная цена – 40-60k$, хотя зачастую у аукционных домов не всё хорошо с оценкой спроса, и куртка может уйти за сильно больше какому-нибудь сотруднику фронтирной лабы. | 4 358 |
| 3 | Пока я откисаю в Корее от очередного сезона исхода дорогих коллег [1, 2, 3, и др.] перед ICML, наша с читателями любимая Лилиан Вэн – авторка топ-1 блога по диплёрнингу – написала первый за почти два года пост про историю и развитие науки об оценке правил масштабирования (scaling laws) языковых моделей. Почему "правил", а не "законов" – чтобы не создавать ощущения универсальности самих законов: всех необходимых факторов для по-настоящему точных предсказательных правил для конкретных архитектур, моделей, данных, оптимизаторов и других факторов, на них влияющих.
Особого почтения заслуживает упоминание статьи Lovelace et al., где в первый раз в академическом мире разбираются, как влияют повторения данных на scaling laws. Так что у кого знания остановились на шиншилле – бежим освежать знания, чтобы фронтир толкался предсказуемо и безопасно. | 4 738 |
| 4 | Проверяемся, запомнили ли вас ллмки на intheweights.com
Гпт 5.5 меня задизреспектила 😭 | 5 601 |
| 5 | MTP спекулятивный декодинг в Gemma 4: ускоряемся в два раза без потери качества 🥳
В нашу дорогую гемму наконец завезли спекулятивный декодинг, когда более маленькая модель предсказывает токены, которые могут верифицироваться большой моделью параллельно, существенно ускоряя инференс для локальных юзкейзов.
Попробовать можно через HuggingFace transformers, остальные движки тоже скоро будут поддерживать.
блогпост, технический блог | 0 |
| 6 | Продолжаем геммапропаганду. В прошлом году у NVIDIA вышла неплохая статья о том, как ловить людей, которые доливают тест в трейн. CoDeC – нормализованный показатель перплексии, где для тестсета бенчмарка считают изменения в перплексии с дополнительными примерами из того же бенчмарка. Для неконтаминированных моделек мы ожидаем, что дополнительные примеры не будут сбивать модель с толку, а в лучшем случае помогут. С другой стороны, если модель запомнила текст из теста, дополнительные примеры собьют её с толку и уверенность модели в ответе упадёт. Шкала нормализована от 0 до 100, где ~80% значит, что примеры из теста модель видела буквально, ~40% – в перефразированном виде. Товарищ с твиттера посчитал CoDeC для Gemma 4 и сравнил с Qwen 3.5 – почему-то у наших китайских коллег модель почти запоминает примеры из теста. | 0 |
