Борис опять

Полезный перевод для тех, кто не знал

Хороший, полный, интересный и скорее научно-популярный материал ТАСС про исследования Tinkoff Research. Про NLP, RL, RecSys и достаточно много про биографии исследователей. Приятно видеть этакую популяризацию ML в издании на широкую аудиторию, а так же радостно за наших ребят, которые публикуются на топовых конференциях. Мне особенно понравилось читать про пути, которыми люди приходят в нашу сферу. Например, один из исследователей  работал в сфере изучения аэромеханики самолётов перед тем, как перейти в ML. Это до боли знакомо, так как я сам ушел из радиоэлектроники летательных аппаратов сначала в IT, а затем в ML. Может быть интересно почитать тем, кто думает какой путь ему выбрать и рассматривает прикладные ML исследования.

Мне гораздо интереснее послушать о том, что думает о старении людей моя подруга-биоинформатик, а не то, что думает Панчин. Точно так же объясняю себе невероятный для меня факт, что вы почему-то мой канал, а не мысли одного из множества крутейших ML-щиков современности.

# Ценность невежественной мысли В этом канале я периодически пишу что-то о жизни, сложных явлениях нашего мира и даже вопросах сознания. Каждый раз при этом думаю: зачем? Я не знаком со всеми работами Чалмерса и других философов, которые потратили всю жизнь на изучение вопроса сознания. Значит все, что я скажу, будет где-то на спектре от банальности до лютого кринжа. Кто-то уже подумал мою мысль, написал про нее три тома, разочаровался в ней, полностью переосмыслил концепцию, умер за неё от удара кочергой в висок. Какое же надо иметь самомнение, чтобы сотрясать воздух? Многие образованные в какой-то сфере люди любят напомнить невежам, осмелившимся на какое-то там мнение, где их место. Однако мы живём в очень сложном мире и стоим на огромном наслоении плеч гигантов. Если для формирования мнения вам нужно узнать все актуальные знания по теме, то у вас никогда не будет никакого мнения. Даже если будет его нельзя будет назвать вашим мнением. Думаю этот факт очевиден каждому, но он не отвечает на вопрос: а где же ценность собственного мнения, если оно наверняка невежественно? Недавно я услышал хорошую мысль: чтобы выйти за пределы общего фрейма и видеть то, что не лежит на поверхности, нужно не читать, а писать. Чтение делает вашу точку зрения ближе к средней по больнице даже если вы читаете самые умные книги. Невозможно постигнуть все накопленные человечеством знания. Но значит ли это, что нам повезет, если мы родим одну оригинальную мысль за жизнь? Думаю, что проблема здесь в понятии оригинальности мысли. Чего мы собственно хотим? Я лично хочу иметь картину мира, которая позволит мне принимать хорошие решения. Еще хочется получать удовольствие от интеллектуальных изысканий, а не жить в страхе сказать глупость. Для достижения этих целей мне не нужна такая мысль, которая будет более интересной, чем всё, что было сказано ранее. Мне нужна мысль которая будет полезна в моем уникальном контексте момента на жизненном пути. Текущий фрейм неразрывно связан с текущим контекстом, а значит для выхода за его пределы мне нужна мысль актуальная в этом контексте, не просто какой-то агрегат вековой мудрости. Как делать такие мысли? Явно что-то не так с идеей просто выдавать любое невежественное мнение и гордо заявлять, что ты независимый мыслитель. Обратный путь, всегда стараться выдать самое информированное мнение на свете, нереализуем. Нужен некоторый навык. Проще всего демонстрируется на фактологический вопросах. Например, возьмем вопрос происхождения COVID-19. Произошел он из лаборатории или нет, мы никогда не докопаемся до всей сути. Мы живем в окружении неизбежной неопределённости, но принимать решения и формировать мнение все равно приходится. Способность делать в голове модели работы мира не надеясь получить всю информацию это ключевой навык. В свою очередь он требует другого мета-навыка: способности думать о своем мышлении, составлять мнения о процессе формирования мнений. Так, с развитием этого навыка люди переходят от мнений в виде абсолютных истин к мнениям вида распределений или других способов смоделировать неоднозначность этого мира. Этот мета-навык тренируется только одним способом: думать свои мысли, затем прикалывать их к реальности и переосмысливать. Здесь можно сразу выделить два потенциальных режима провала. Первый это не пытаться думать свои мысли вообще, потому что кто-то их уже придумал. Второй это думать мысли, но никогда не признавать их несовершенство. Я целиком за то, чтобы я, вы и все остальные формировали и выражали свои невежественные и неоригинальные мысли, но не держались за них слишком сильно. Поэтому существует этот канал. Экспертные знания, книги и вековая мудрость необходимы как побуждение к мыслям, которым далее предстоит пройти фильтр реальности. Я таким образом объясняю себе, почему в телеграме я подписан практически исключительно на авторские каналы относительно "обычных" людей, а не на гуру. Каждый раз подписываясь на гуру я замечаю, что мне очень скучно и неинтересно.

https://winepedia.io/inicio/ В Португалии сделали GPT про вино (конечно же), так что...

LLM умеет в самоиронию и метакомментарий

https://arxiv.org/abs/2404.09937v1 Compression Represents Intelligence Linearly There is a belief that learning to compress well will lead to intelligence. Recently, language modeling has been shown to be equivalent to compression, which offers a compelling rationale for the success of large language models (LLMs): the development of more advanced language models is essentially enhancing compression which facilitates intelligence. Despite such appealing discussions, little empirical evidence is present for the interplay between compression and intelligence. In this work, we examine their relationship in the context of LLMs, treating LLMs as data compressors. Given the abstract concept of "intelligence", we adopt the average downstream benchmark scores as a surrogate, specifically targeting intelligence related to knowledge and commonsense, coding, and mathematical reasoning. Across 12 benchmarks, our study brings together 30 public LLMs that originate from diverse organizations. Remarkably, we find that LLMs' intelligence -- reflected by average benchmark scores -- almost linearly correlates with their ability to compress external text corpora. These results provide concrete evidence supporting the belief that superior compression indicates greater intelligence. Furthermore, our findings suggest that compression efficiency, as an unsupervised metric derived from raw text corpora, serves as a reliable evaluation measure that is linearly associated with the model capabilities. We open-source our compression datasets as well as our data collection pipelines to facilitate future researchers to assess compression properly. Here you maybe can read the paper in mobile friendly way

https://www.scientificamerican.com/article/personality-tests-arent-all-the-same-some-work-better-than-others/ Big-5 все еще лучший тест личности

Интересно, что при всех других вопросах LLAMA последовательно настаивает на том, что у нее нет сознания, эмоций, субъективного опыта и всего прочего человеческого. Этот промпт почему-то ломает ограничения. Имеем вторую модель, которая говорит про сознание и всякое такое без наводящих вопросов. Но заметно, что тон повествования становится очень художественным, а в конце вообще "*whispers fade into silence*". Видимо действительно какими-то неочевидными путями этот промпт, на который в целом можно ответить очень разными способами, напоминает ей фантастику про ИИ.