Progresspunk

Интервью Марка Цукерберга про Llama 3 Dwarkesh Patel’ю 18 апр 2024: Llama 3 - Meta AI (бесплатный помощник) выкатываем на юзеров, под капотом llama 3, ее опенсорсим. И text LLM для playful контента, и генерация картинок в динамике по мере ввода prompt - 3 версии: 8 млрд параметров, 70, а на 405 еще треним. Результат 85 в MMLU тесте. Данные: 15 трлн токенов. Llama-3 на 8 млрд параметров так же крута как 2ая на 70 млрд, НЕ круче. И Llama-2 мы не тренили на coding questions, но людям в разных сферах вдруг оказалось важным - Дальше цели: многоязычность, мультимодальность, бОльшее окно контекста - В v.3 продолжили наращивать агентские функции, наш долгосрочный курс GPU - Откуда знали про заказ заранее H100? Да не, мы работали над Reels - чтобы суперизощренно их рекомендовать - не 1000 роликов, а учитывать сотни млн -> т.е. нужна иная инфраструктура, чтобы догнать TikTok - В целом наш принцип: “что-то будет на горизонте, что мы пока еще не видим”. Ну т.е. “there's always another thing” когда управляешь компанией Опенсорс - Мы давно опенсорсим low level engineering systems - все, что не наши end products. Есть много путей open source. Apple и Google решают что нам можно build/зарелизить, а что нет (и мы устали с ними бодаться про разные фичи), а мы - нет. Кстати, теоретически, тренинг моделей может и коммодитизироваться (!) - FB AI Research запустили 10 лет назад, без продуктовых целей. ChatGPT и image diffusion models повлияют на все аппы и как люди их юзают. Gen AI группа у нас уже про продуктизацию - делаем meta.ai - люди могут с AI работать НЕ в фб/вотсапе - Чатботы глупые, кто засолвит reasoning - все станет убого на этом фоне. Так мы занялись AGI - Думаю, мы НЕ убираем людей, а добавляем им tools. Llama-10 сделает кодеров в >10x эффективнее. Из 3 млрд fb/insta/whatsapp users у нас 200 млн creators -> им нужен gen AI. Еще мы с женой давно пушим науку в Chan Zuckerberg Initiative - там тоже поможет - Мультимодальность, над которой мир мало работает: понимание эмоций - Для разных функций будут разные gen AI модели, e.g. для smart glasses Энергопотребление как ограничитель, модели за $10 млрд - Думаю стоит сделать инфру на $10-100 млрд и продолжать тренить, веря что модели продолжат учиться. Непонятно, когда исчезнет смысл вваливать $ в GPU - Да, история учит что будут bottlenecks, но сейчас их будто быстрее решают. Но строить подводы от электростанций всюду regulated & slow. Сейчас датацентры на 50-100 МВт, на 300-500-1000 МВт нету, и их время пришло - Таким моделям будут нужны, естественно, synthetic data - Думаю, мы когда-то доберемся до своих чипов Цезарь, взрыв intelligence, биооружие - Людям всю историю казалось что они пуп Земли, что даже космос вращается вокруг них. А я думаю AI это low-level инновация, скорее как до компов и после компов, в космических масштабах 20 лет на распространение AI - да, это быстро - Мы из опыта соцсетей отслеживаем 18 тем чтобы они в LLM не навредили людям. До биоружия далеко, LLM пока ближе к Google - Опасность не в AGI, а что какие-то власти или люди могут сделать с просто мощным AI. Поэтому и верим в раздачу моделей через open source - для баланса - Ляля про риски ОК, но на практике у нас больше риски: контента, misinformation. Но я верю в модерацию за счет AI, что нам удастся быть впереди, скажем, стран желающих влезть в выборы итп - Мы будем опенсорсить модели на сотни млрд параметров, но с оглядкой на вещи, что я упоминаю выше - Если ехать в прошлое, я бы во времена войны за независимость или Рим (но там же даже не было концепции мира, все время воевали) Прочее - Я не продал FB тк все равно бы строил компанию. Иррационально. A lot of the biggest bets that people make are often just based on conviction & values - Люблю строить, а власть итп мне не интересны - Детям проще со смелыми идеями -> важно правильно взрослеть, не терять это - У стартапов есть супер фокус из-за ограничения ресурсов, и они в итоге достигают определенный уровень взаимодействия с миром. Google+, например, банально не имел CEO - был просто юнит Гугла и все

Рэй Далио пишет про видеонарезку в NYTimes в конце апреля, где человек 7 сенаторов покидают конгресс и отвечают на вопросы (quit interview): 1. Конгресс в одно слово? Хаотичный / disfunctional / challenging / tense / в прошлом году приняли 27 законов - меньше, чем когда-либо (а конгрессу 235 лет) 2. Конгресс коррумпирован? Нет, но легализация неограниченного лоббизма от корпораций - это была самая большая ошибка 3. Что больше всего фрустрировало? Конгрессмены перестали соблюдать договоренности и “кидают” при голосовании / обсуждение повышения бюджетного потолка / бигтехи стали слишком влиятельны на capitol hill и успешно саботируют все антимонопольные инициативы 4. Какие perks вам нравились? Лучшие в своих сферах 5-6 экспертов за день / общаться с лидерами разных стран мира 5. Сколько должны получать конгрессмены? Сейчас $174к/год, нужно индексировать просто по инфляции. Хотя сотня конгрессменов ночует прямо в офисе тк отели в Вашингтоне стали слишком дорогими 6. Что больше всего пугает про конгресс? Как бы наша демократия не грохнулась / геополитика и взлет авторитаризмов по миру / безостановочный дефицит бюджета и культура роста расходов и госдолг $34 трлн / social security система и medicare рухнут в ближайшие годы / мы оставляем внукам безразмерные долги 7. Как пофиксить? Американскому обществу надо что-то с этим делать / нужна модернизация на всех уровнях, от найма и айти до orientation из разных партий вместе а не раздельно / долгая несменяемость людей катастрофична // Это перекликается с тем, что еще 4 года назад писала книга The Decadant Society и Питер Тиль делал ей предисловие (мой конспект) Далио говорит, что: - Не нужно превращаться в лягушку в горшке со сметаной - В 2020-ом он написал пост про changing world order (+ вот видео на 40 мин), но что-то все стало слишком уж быстро развиваться, мы прямо на грани - До захвата капитолия меня не слушали, а теперь гораздо больше людей видят, какие паттерны могут вести к неразрешимым противоречиям и подрывать демократию - Кстати, в 1930-ые было похоже у коммунистов и нацистов (спрос на сильную руку и желание выиграть любой ценой). Обратите внимание, как сейчас в Вашингтоне описывают governance и теперь представьте, куда мы идем - Мы на 5ом шаге долгосрочных циклов (вот картинкb 1 и 2 и 3 и 4), а на 6-ом шаге - обычно гражданская или международная война - Нужно подумать о двух вещах: (1) что мы все вместе можем сделать? (2) что лично я буду делать для своей защиты, если это все-таки случится? // Архетипический цикл любой супердержавы по Далио: I. Подъем: экономический рост, стабильность, лучше госинституты, рост производительности всех факторов, копится богатство II. Вершина: пик могущества страны, госдолг управляем, оптимизм и вера в будущее III. Monetary & credit excesses: взлет госдолга, избыток/печать денег, финансовые пузыри IV. Кризис: долги и дисбалансы, активы дешевеют, банковский кризис, спад V. Рецессия/депрессия: долгая стагнация / безработица / слабый рост VI. Cleaning up & reform: самое главное - происходит deleverage, реформы, готовится основа для нового цикла роста Мы (он имеет в виду Bridgewater) изучали 500 лет истории и во всех странах такое было по тем же самым причинам, макро циклы всюду одинаковы, все всегда завязано на leverage

Нео-мальтузианство полвека назад принимало и такие формы. Любой анти акселерационизм - это кошмар, конечно

Доклад 2 мая 2024 в конгрессе, что НКО EcoHealth Alliance на госденьги США тайком вели gain of function опыты в Ухани, откуда началась мировая пандемия коронавируса (PDF на 60 страниц) История вопроса - Второе исследование по этой теме. Изучили 1 млн стр доков + дюжину свидетелей - NIH - National Institute of Health, министерство, отвечающее за исследования в медицине и здравоохранении, не узнало бы все это, если бы не вмешательство Трампа и его Head of Staff Mark Meadows в 2020-ом году Gain of function - EcoHealth на пару лет задерживали отчетность по грантам, в тч не репортили что делают gain of function рисеч (это эксперименты по искусственому созданию вирусов (pathogenes) потенциально пандемического масштаба) - Еще аж в 2016ом EcoHealth обязаны были доложить, что созданные ими искусственно химеры MERS и CARS вирусов росли больше 1 по логарифмической шкале от исходных штаммов вирусов и получить запрет (и от США, и от Уханьского института) на дальнейшие исследования как слишком опасные, но они скрыли этот факт - Термин имел множество нюансов и нуждается в формализации, чтобы эффективно понимать и контролировать такие исследования (что есть рутинная вирусология, а что есть опасная) Обман общественности - Ставший медийно известным в пандемию Anthony Fauci (глава института аллергий и инфекций в 1984-2022 гг, подразделение NIH) публично обманывал, что на госденьги не велись такие исследования - Глава EcoHealth Dr. Daszak, специалист по zoonosis (перенос заболеваний от животных к людям), скрыл, что samples & sequences их исследований остались под контролем института Ухани - В 2020ом 77 нобелевских лауреатов и 31 научное сообщество подписали письмо с критикой отзыва финансирования EcoHealth Что делать? - Полностью прекратить финансировать EcoHealth из госбюджета - Остранить Daszak, провести криминальное расследование в его отношении - Сделать новые рамки контроля в сферах: (а) gain of function исследований в биологии в частности и (б) исследований двойного назначения (гражданско-военные технологии) в целом - На слушаниях Daszak все отрицал // - См. мой конспект в 2022ом книги 2003 года бывшего со-руководителя программы биооружия в СССР Кена Алибека “Осторожно, биологическое оружие” и - Он там писал, что в СССР за десятки лет постоянно происходили утечки разных масштабов из секретных лаб любого уровня биологической защиты но - Для общественности их всегда традиционно сваливали на ближайшие продуктовые рынки (прямо как в Ухани про корону) (Это словно вдогонку к посту про фентаниловую войну Китая - что мир нашей техноцивилизации куда ни глянь - всюду люди и организации чудят, и иногда выливается в масштабную жесть)