we’re talking about chickens, we’re talking about eggs

а вот и материалы моего двухдневного курса ‘(l)lms for linguistic research’ который я буду читать в тромсё на следующей неделе. я их делала недели две вообще не просыхая так что инджой! https://github.com/bylinina/c-labl-methods-workshop

сегодня был выпускной на программе где я преподаю. народу на программе каждый год типа 150 человек, на дальнем кампусе торжественных аудиторий такого размера нету вроде, в центральном кампусе тем более все маленькое, короче универ договорился с главным городским собором. готика, витражи, орган, под нами буквально — северная граница римской империи, 150 выпускников дата сайнса с мамами и папами сусальным золотом горят, глазами страшными глядят и все такое. я заглянула на минутку потому что у меня офис за углом буквально (другое дело что я в офис уже год не хожу, но все время сижу где-то рядом то в кофейне, то в столовке) — но оказалась притянута и посажена на первый ряд. вручение дипломов — мероприятие среди преподов непопулярное, всякий мелкий препод на счету. но тут вдруг я оказалась неожиданно популярной среди студентов! кто-то подтащил брательника со мной знакомиться ("это лиза, мой супервайзер! а это мой брат-близнец!!" — "заметно!" итд), одна девочка потянулась со мной обниматься, а я пообнималась в ответ, кто-то фотался, еще чувак один сказал что моя домашка где студентам надо было делать шахматных роботов которые бы сражались между собой принесла ему как минимум один оффер и несколько успешно пройденных интервью как пиздатый кейс, а я уж думала в следующем году ее отменять. потом выпускники вырвались из храма и наш микро-старый-город заполнился ими целиком. я ходила по всему центру чтобы пообедать, приглядывалась к кафе а там мне говорили — привет лиза!! я говорила привет! ура! поздравляю! и шла дальше, так и не пообедала. но зато я была очень классная для всего утрехта типа полтора часа подряд!!!

ооо наша штука what llms can(not) do https://what-llms-can-not-do.org/ которая по сути живая табличка — едет как воркшоп на coling 2027 в макао! я тоже хочу ехать в макао но че-то у меня никакой статьи даже нету. с другой стороны до дедлайна на колинг еще 10 дней..

🙌

https://osf.io/preprints/psyarxiv/7k9am_v1 ну вот! ожидаемо конечно

https://huggingface.co/blog/velmen/a-visual-introduction-to-decoder-only-transformer аспирант с которым мы делали колаб для моего курса про трансформеры решил выложить его как блогпост на хф. не знаю точно нафига, но колаб хороший, людям правда нравится, он вообще оказался несущим для курса. короче если заапвоутите буду рада! ну и вообще может кому-то пригодится

так, ладно, вот моя статья на babylm после ревижнз! https://arxiv.org/abs/2609.11870 скажу тут еще про нее в двух словах короче идея такая: как нам завещал блаженный августин, начинаем процесс усвоения слов с визуальной демонстрации. обычно модели начинают обучение с рандомной инициализации эмбеддингов, а я вместо этого подставляю вектора которые получаю из картиночных энкодеров -- усредняю эмбеддинги картинок у которых в кепшне есть соответствующее слово. дальше смотрю что получится просто! в сравнении с рандомной инициализацией. вроде там конечно ничего революционного, но есть интересные эффекты. во-первых эта начальная визуальная демонстрация не стирается за время обучения, как-то она оказывается полезна и нужна (это видно и в лоссе), во-вторых что это за польза -- не так просто понять. например, даже всякие абстрактные "логические" слова типа союзов, частиц, отрицания нетривиально сидятся визуально и для чего-то это им нужно -- но для чего я хз, какие визуально-релевантные свойства отрицания например оказываются лингвистически релевантны? это я не поняла на самом деле пока что так или иначе, оч довольна самой работой (в основном тем что можно просто пыриться неделю в экран и написать статью без организационной стороны дела, как в старые добрые времена! сидишь немытым гремлином, в пижаме целый день, чипсы жрешь на обед и ужин, ни с кем не разговариваешь и тд -- хорошо иногда. без приличных инструментов для вайб-кодинга это все-таки было бы невозможно), а текст бесит дико так что его не ругайте пожалуйста. мне все время кажется что от него несет клодом за километр даже где клод и близко не стоял -- это у меня теперь просто у самой стиль такой что ли, особенно если сокращать нужно. короче бесит, ну ладно поеду в будапешт на babylm! на основной emnlp не успеваю из-за дел, но я туда и не подавала. и на acl давно не подавала. на eacl никогда не подавала. вообще вот эти все большие конфы не хочу, столько булшита надо переваривать, нету силушки моей. но придется наверное да когда-то? но не щас, не щас, потом

вот раньше веселые были конференции (SuB 2019 по-моему?) а щас хуйня какая-то корпоративная

amazon mechanical turk закрывается 30 сентября! нам в нл им уже давно нельзя было пользоваться из-за gdpr, все онлайн эксперименты с человеческим участием делали на пролифике который еще жив, но все равно эра простых лингвистических экспериментов без лабы считай окончена. сложно сказать совершился бы эмпирический поворот в теоретической лингвистики без amazon mt или нет: массовые суждения о грамматичности, приемлемости в контексте и тд и тп, ну и кроме того замеры времени в self-paced reading, mouse tracking, все такое. лингвисты (типа, я) даже статистику как-то выучили немножко раз такое дело. еще год назад помню разговоры о том что можно противопоставить повальному использованию ai для прохождения человеческих заданий на этих платформах -- кто-то предлагал взять ответы с амазон мт, взять ответы нескольких разных ллмок, взять ответы нескольких живых людей в лабе, потому по разным фичам (потенциально ортогональным тому про что эксперимент) посмотреть кто из амазон мт ближе к роботам а кто к проверенным людям, подозрительных выкидывать. возни много и опять же людей в лабу надо все равно водить. в общем не знаю -- а теперь-то что?

проведу вот такой двухдневный воркшоп в тромсе в октябре! Title: Language models for linguistic research Language models are appearing more and more often in experimental and theoretical linguistics, as a source of estimates for psycholinguistic measures, and increasingly as objects of study in their own right. The first part of this workshop covers what these models actually are: how transformers are built, what happens during training and what the training objective optimises for, and how scale, architecture and training data shape the behaviour we observe. No background in machine learning is assumed. Alongside the large models that get most of the attention, we will look at small ones trained on developmentally plausible amounts of text, and at multilingual models -- often the more useful instruments for linguistic research, and small enough to run and intervene on. The second part turns to research practice. We will go through the measures that can be extracted from a model, how to obtain them and how they can be used, working through concrete cases from recent research with an emphasis on methods. We will view language models as learners with controllable linguistic and extralinguistic experience. This allows us to design targeted manipulations of the learning environment -- remove a construction from the input, change word order, add or withhold visual grounding -- and observe the consequences. This raises the question of observation: how to measure, in a faithful and interpretable way, what a model has learned about language as a result of training -- by probing its internal representations, and by modelling its behaviour as a function of its experience. Examining those representations also gives us a way to quantify language similarity on different levels. The practical sessions run in the browser, with no local installation, and are set up to be as compatible as possible with already existing workflows; no prior experience with Python is required. Participants are welcome to bring their own questions and data.

summer's almost gone, дорогие друзья. кто мы? где? мы как пчелки -- люди нас на всякий случай обходят по дуге, цветочков на всех не хватает, век наш недолог. мы как цветочки, век наш недолог. мы как неловкие яндекс-роботы, буксуем на тротуарах, и всякий районный алкаш готов дать нам пизды. в любой точке мира мы -- те отщепенцы которые стоят в очереди в единственную кассу наличной оплаты, и как бы чисто и прилизанно мы ни выглядели, наша мимикрия не обманывает никого, меньше всего нас самих, мы чужаки, мы непрерывно что-то мутим, вывозим наличные в карманах, переводим, меняем, удаленно ухаживаем за стареющими родителями, растим детей, в непрерывном ужасе. мы свободны но всегда ничьи. мы -- то есть я, лично я! я устала -- но я готова работать как никогда. столько дел и планов, столько сейчас уже почти закончено новых штук и скоро будет публиковаться. но такое при этом сиротство, что делать? я была в москве но уже вернулась, видела любимых друзей и коллег, очень по ним все время скучаю. в октябре собираюсь в тромсё -- рассказать психолингвистической лабе как приспособить (л)лм для пользы их экспериментам. я думаю главное -- обживать доступное нам пространство свободы, как сказать? моя власть над текстом, экспериментом, кодом, идеей абсолютна и не медиирована ничем. вот передо мной экран, и я могу сделать абсолютно все что угодно. тогда давайте делать?

я заскучала немного от глупости своей и решила выучить статистику за 10 дней примерно. я ее немножко знаю, так что вроде должно быть не супер-сложно. собралась просто пройти вот такую летнюю школу прошлогоднюю https://vasishth.github.io/smlp2025/ (я хотела поехать в этом году поучиться физически но меня не взяли наверное потому что я старая и в заявке слишком выебывалась) в общем мы с товарищем клодом сделали мне подходящий учебный план из доступных материалов и наверное сегодня начну первый день -- материалы и конкретные задачи и ссылки и че именно делать мы с клодом складываем постепенно вот в этот гугл драйв, заходите если кто хочет с нами тоже учиться https://drive.google.com/drive/folders/1hM7mpQZSOtuzITTVhF6vZJYGDn2RZ6Kv?usp=drive_link

последние усилия этого учебного года -- поставить оценки нескольким магистерским дипломам. и всё! ну как всё, пора готовиться к сентябрю уже, получается, но об этом я пока не думаю я вообще максималист в том смысле что нахуй шлю все что не составляет самую сердцевину подключения моей бессмертной души к скрытым тайнам вселенной. но кроме того приходится и работать тоже. в этот раз я перестала закрывать глаза на тот факт что я преподаю на программе applied data science и некоторое внимание уделила соотв проектам. вроде должна получиться пара статей, но главным образом я люблю когда меня хвалят! вот, смотрите, это меня хвалит некий профессор воды и песка с факультета geosciences с которым вместе мои студенты поделали там че-то. хотела бы я быть профессором воды и песка! есть в этом что-то колдовское

я знаю люди слыхали что я подавалась на работу в женеву и ездила на интервью и job talk — в общем не взяли меня, взяли внутреннего кандидата, as it happens. так что не жили богато и не будем начинать! :(((

https://pages.ucsd.edu/~scoulson/203/medin.pdf вот же умели раньше статьи писать, какая красота! respects for similarity!! может быть и я когда-нибудь.. хотя про ноль у нас пиздатая статья была тоже, спорить не буду

дорогие друзья я живу хорошо просто замечательно, дело в том что мне дали наконец доступ к суперкомпьютеру с многими а100 так что лохматость моя повысилась и шерсть растет новая шелковистая прощайте

поехала гастролировать вот с этой своей хуйней по японии на пару недель! https://docs.google.com/presentation/d/1VJANd-XbvuMKG3IK4p2V8kGVCdPUzm6TJ15-5tvH52E/edit?usp=sharing сделаю несколько докладов, посмотрю что там у них как вообще. слава голландским налогоплательщикам! и японским тоже слава

давайте тут через час https://meet.google.com/aus-sbux-jwi

я может быть хочу прогнать свой доклад ‘pathways to human-like behaviour of language models’ -- кто-нибудь хочет послушать? думаю завтра в 17:00 по голландии, другого времени пока кажется нет, длиться должен 45 минут по идее. лайкните каким-нибудь диким лайком кто б послушал, если норм я ссылку на гугл-мит дам завтра тут же пусть это заставит меня доделать слайды!