Valuable AI

стоит отдельно ответить также на другой тезис из того письма, что частоты слов в письменной речи теперь перестали отображать употребление их людьми; исходя из концепции третьего типа речи это очевидно, частоты в устной и письменной речи также кардинально отличаются; но так стоит отметить и то, что люди подстраиваются под новые условия и частоты письменной речи подстроятся под частоты речи LLM, как устная речь стала подстраиваться под письменную после широкого распространения книг и газет

проект wordfreq по сбору статистики использования слов в интернете прекращает свою работу; в прощальном письме приведена причина: что больше нет достоверной информации об использовании языка людьми после 2021 года; https://github.com/rspeer/wordfreq/blob/master/SUNSET.md надо начать чуть издалека, язык - это средство передачи информации посредством речи; речь делится на устную и письменную; принципиальным отличием первой от второй является то, что письменная речь изначально фиксируется, и поэтому письменные тексты постоянно накапливаются; а устная речь, как правило, не фиксируется, поэтому про нее мы знаем гораздо меньше; корпусная лингвистика (и wordfreq, как ее часть) работает именно с письменными текстами; это означает, что все результаты этой науки применимы практически исключительно к письменным текстам, но не ко всему языку и вот тут мы подходим к интересной точке: дело в том, что в конце 2021 года появились (как массовое явление) большие языковые модели или LLM; на LLM можно смотреть по-разному, но я предлагаю посмотреть на них, как на третий вид речи (способ передачи информации); дело в том, что LLM - это не книга, где текст фиксирован, это - принципиально новая сущность, которая способна ответить на вопросы, то есть передать заключенную в ней информацию в виде ответа на прямой вопрос; до 2021 года люди могли получить ответ на вопрос только от других людей, а человек обладает свободой воли и может не отвечать, искажать информацию намеренно и т.п.; LLM не обладает свободой воли, она всегда отвечает на вопрос, поэтому я и говорю об LLM, как о третьем типе речи, если хотите о "консервированном знании", "говорящей книге", но не о стороне диалога теперь необходимо отличать две сущности, собственно письменные тексты (написанные человеком) и сгенерированные; на мой взгляд проблема их отличения не настолько сложная, но требуется пересмотр подходов корпусной лингвистики, выход из привычной парадигмы фиксации текста, теперь для текста необходимо фиксировать его источник; современные технлологии это позволяют, и я думаю в течение этого десятилетия мы именно к этому и придем

многие в курсе, что мы с командой занимаемся разработкой аналога GitHub CoPilot; меня часто спрашивают, не выгонят ли с работы программистов, когда его внедрят? вот ответ

также, пользуясь случаем, прорекламирую свою диссертацию, она посвящена исследованию той же проблемы: https://www.ispras.ru/dcouncil/docs/diss/2019/malyh/malyh.php

наткнулся на интересную статью от немецких коллег: они решили переизобрести токенизацию, больше всего их подход похож на fasttext; если в двух словах, то они разбивают слова на триграммы, а потом суммируют векторные представления триграмм для получения векторного представления токена; интересно тут то, что коллеги предложили способ генерации слова из набора триграмм - они отбирают для генерации те слова, которые содержат предсказанные триграммы; остается вопросом, как разрешать коллизии, если в словах совпал набор триграмм, ведь предсказывается распределение по словарю тригамм, а сравнение распределений - штука не совсем тривиальная польза от этой разработки в том, что можно уменьшить размер выучиваемой матрицы векторных представлений (в их экспериментах - до 8 тысяч триграмм) без потери качества, но засчет чуть более сложной процедуры генерации; ссылка на статью: https://arxiv.org/abs/2406.19223

кто не успел зарегистрироваться, будет трансляция: https://vk.com/video-171750876_456239052 можно задавать вопросы тут, постараемся ответить UPD. По ссылке осталась запись.

небольшой анонс мероприятия с моим участием, приходите, кому интересно послушать про RAG детали мероприятия можно посмотреть здесь (нужна регистрация): https://t.me/compressaai/6

коллеги подсказали вот такую статью; это повод поговорить о фундаментальных основаниях оценки моделей машинного обучения: мы, повторяя за гуманистами 18-го столетия (а они в свою очередь вслед древнегреческому Протагору), считаем, что "человек есть мера всех вещей"; или применительно к нашей области "человеческое суждение является самым объективным способом оценки результатов работы моделей" последний примерно год стала широко распространена практика, когда в качестве оценщика используется GPT4; были статьи, которые показывают очень высокую корреляцию оценок GPT4 и оценок людей, однако же, эти корреляции были получены на тех данных, на которых GPT4 обучалась, а используется она как правило на новых данных, которых не видела при обучении; и тут всплывает проблема, описанная в статье ставшей причиной данного поста - GPT4 предпочитает ответам людей свои ответы (и ответы моделей, обученных на ее ответах); я думаю, что тут есть некоторая симметрия: люди предпочитают ответы людей, потому что учатся именно на ответах людей, посмотрим, что будет, когда вырастет поколение, для которого LLM "были всегда" сама статья, если кому интересно: https://arxiv.org/abs/2407.12856

ой-вей https://forklog.com/news/ai/alibaba-nachal-rabotu-nad-ii-generatorom-video-tora

просторы Интернета принесли довольно интересный патент от Tesla; он меня заинтересовал как в отдаленном прошлом сетевого специалиста, а в настоящем - специалиста по ИИ; в этом патенте инженеры Tesla предлагают в общем-то не что-то гипер-инновационное, а фактически предлагают на аппаратном уровне реализовать аналог TCP/UDP; стоит отметить, что TCP и UDP на аппаратном на аппаратном уровне уже были реализованы уже как минимум 4 года назад (это открытая реализация, есть еще проприетарная от Cast Inc.); возможно, этот протокол лучше оптимизирован и в целом позволит уменьшить задержки, интересно было бы посмотреть сравнение, так как все три разработки предлагаются для реализации на FPGA (ПЛИС); кстати, именно минимальные задержки указаны в мотивационной части патента, как преимущество для тренировки ИИ; собственно, на этом связь с ИИ исчерпывается

я пропустил эту работу в феврале, а сейчас прочел и нашел много интересного; из самого на мой взгляд важного: (i) коллеги нашли, что более глубокие модели дают лучшее качество, чем широкие с тем же количеством параметров (для полносвязных сетей это давно было известно, теперь подтвердилось и для трансформеров); (ii) Grouped-Query Attention снова оказался более эффективным для небольших размеров, чем классический механизм внимания; (iii) можно повторно прогонять блоки транформера, чтобы улучшить качество модели (было известно для рекуррентных сетей, но теперь актуально и для трансформеров); в целом крайне интересная работа, рекомендую; что немаловажно, доступен код, не все нынче таким грешат https://arxiv.org/abs/2402.14905 https://github.com/facebookresearch/MobileLLM

для меня выглядит, как легкий «звездеж»; в том плане, что в 20 раз быстрее топового тензорного ускорителя от nVIDIA - это как-то очень круто; тем более, что заявляется, что это ASIC, то бишь программируемая логика; отдельно хочу отметить, что название ускорителя Sohu - подозрительно похоже на китайское, что неудивительно, учитывая, что в сооснователях - этнические китайцы, но все равно наводит на мысли, что разработки там китайские https://www.ixbt.com/news/2024/06/26/20-nvidia-h100-sohu.html

как вам шрифт, который также - LLM? (да, да, «Ленин - гриб и, следовательно, радиоволна») люблю такое, фактически - это стеганография на максималках https://fuglede.github.io/llama.ttf/

получился бы интересный альянс; Apple явно опаздывает в современной гонке крупных технологических компаний; может быть, это связано с политикой закрытости, свойственной всем компаниям, занимающимся производством «железа»; кажется, что ИИ сейчас принципиально требует открытости https://ria.ru/20240623/meta-1954866067.html

мое выступление на Positive Hack Days https://phdays.com/forum/broadcast/?talk=814&tag=main

о дивный новый мир https://petapixel.com/2024/06/12/photographer-disqualified-from-ai-image-contest-after-winning-with-real-photo/

интересную опасность подсветили коллеги: на основе LLM можно сделать автономного бота, который будет заниматься взломом сайтов, пока вы спите или заняты другими делами; уровень успеха в 53% говорит о том, что большинство владельцев сайтов до сих пор не озабочены кибер-безопасностью; я ожидаю, что массовый взлом сайтов приведет к распространению помощников по кибер-безопасности, вероятно, также на LLM, эта технология стала сейчас базовой для многих задач по ИИ https://newatlas.com/technology/gpt4-autonomously-hack-zero-day-security-flaws/

людишки еще не поняли, к чему все идет утащил у Дмитрия Колодезева

коллеги молча выложили мое выступление на True Tech Day, спасибо рекомендациям ютуба, что подсказали https://www.youtube.com/watch?v=FY1eau7kyRI

на прошлой неделе была конференция COLING, на которую у нас приняли работу про поиск по коду; видео, где я про нее рассказываю: https://youtu.be/kY73CCaNfJU ссылка на саму статью: https://arxiv.org/abs/2305.11625