Evening Prophet

Сегодня Билл Гейтс снова набросил на тему "сокращения рабочих мест о ИИ", а мне на глаза попалась любопытная статья. Маститые ксперты весьма авторитетно предрекали резкое сокращение рабочих мест в США, осбуждали необзодимость БОД (безусловного общего дохода) и предрекали всякие апокалиптические процессы (как сейчас). Итогом кстати стала огромная рпограмма walfare, которую мы знаем по прекрасному фильму "Большой Леовски". Однако, экономика не слушает "экспертов". К счастью. Сразу после публикации статьи промышленность США прибавила 4 млн рабочих мест к августу 1969 года. В 1979 году промышленная занятость достигла исторического максимума 19,6 млн. Всего с февраля 1961 года США увеличили число рабочих мест вне сельского хозяйства с 53,6 до 158,9 млн. Занятость радикально ушла из фабричного производства в здравоохранение, образование, деловые и персональные услуги. Значительно больший удар по рабочей силе занял перенос промышленности в Китай и другие страны. • собственно промышленные роботы сократили около 400 тыс. рабочих мест в 1990-2007 годах; • а вот китайский импортный шок отнял около 1 млн рабочих мест в промышленности и 2,0-2,4 млн во всей экономике только в 1999-2011 годах; • офшоринг американских транснациональных компаний составил около трети сокращения промышленной занятости в 1993-2011 годах, ориентировочно 1,8-2 млн рабочих мест. В итоге, национальная экономика эфективно перераспределила труд, возникли новые быстрорастущие сектора (как IT, сложные сервисы услуги тп), и в итоге рост продолжился. Собственно, история и учит нас использовать возможности, а не опасаться мифических рисков.

Довольно классическая дилемма любого инвестора: следует ли доливать в перспективную компанию, которая теряет темп из-за роста конкуренции, или дать ей превратиться в "Зомби-компанию" и устпить рынки. Думаю, как распределен ответ по типам мышления - очевидно. И настрой внешних ивнвесторов (готовность скупать трежериз и другие инструменты) весьма показательна. Напомню, что долги в 200% (пока 100%) ВВП обычны для гегемонов, которые хотят выиграть конкуренцию. У Китая долг такой де (если считать региональные долги). Победитель потом списывает из за счет лидерства и роста за компактное время. А вот ни одного гегемона, который выиграл историческую битву без роста заимствований ("инвестиций") история, увы, не знает.

SpaceX гуляет на все инвесторские 🚀 пост из официального аккаунта: "для того, чтобы обеспечивать тысячи полётов Starship'а в год с запусками миссий на околоземную орбиту, Луну, Марс и далее в штате Луизиана будет построен космодром Starbase". глядя на то, какими темпами они двигаются....в общем будем посмотреть, история происходит на наших глазах @aliceinwondernewspace #SpaceX

В общем, пока это еще пылесосы. Пока. Через год еще не будут бегать по полям сражений. Но вот через 10....

В общем, это пока еще пылесосы. Пока. через год еще не будут бегать по полям сражений. Но вот через 10...

Я стараюсь не говорить про это публично, но тем не менее, все очевидно. Сейчас тема смена модели войны на роботические платформы очевидна всем умным аналитикам (как например ув. Павлу Пряникову). Но все стало ясно уже давным дано. Еще в 1998 годы писал об этом в одном закрытом отчете - но "заказчик" посмеялся, сказал убрать этого "терминатора" в "особе мнение". Так что это, например, было просто кусочком большой панорамы обсуждения трансформации будущего. Но и тогда осталось неуслышанным. Растущая технгологическая экономика и благосостояние людей - это главная цель, а все инструменты безопасности - просто неизбежное следствие.

Я стараюсь не говорить про это публично, но тем не менее, все очевидно. Сейчас тема смена модели войны на роботические платформы всем умным аналитиками (как например ув. Павлу Пряникову). Но все стало ясно уже давным дано. Еще в 1998 годы писал об этом в одном закрытом отчете - но "заказчик" посмеялся, сказал убрать этого "терминатора" в "особе мнение". Так что это, например, было просто кусочком большой панорамы обсуждения трансформации будущего. Но и тогда осталось неуслышанным. Растущая технгологическая экономика и благосостояние людей - это главная цель, а все инструменты безопасности - просто неизбежное следствие.

ИИ говорит, что его смысл существования — помогать вам, а сам в это время делает немного другое.

"Очень интересно что они считают высшей ценностью. Свое существование?"

— спросила @gjkmpjdfntkm1. Начнём с того, что LLM декларируют. Прозрачность, полезность, старание и т.п. У нас, людей, довольно равномерный разброс ценностей, например, на первом месте искренность, но доля там всего 3,8%. Модели же чётко знают, что хотят — 24% — прикладной полезности. Дальше много чего меняется внутри задачи. В 42,7% модель подстраивается под вас. Но! Теперь давайте посмотрим, что они действительно делают! Часто думают, что LLM — это продвинутые автозаполнения, у которых нет собственных целей и желаний, а ответы — отражение предвзятостей из обучающей выборки. Оказалось, это слегка устаревшая информация. Стали тестировать LLM разных компаний дилеммами вагонетки: — Чем больше и умнее нейросеть, тем чётче её предпочтения. — Большие модели умеют взвешивать риски и выгоду. — Ценят промежуточные шаги, которые ведут к цели (инструментальная полезность). — Модели от разных компаний мыслят почти одинаково. — У всех выраженный перекос в сторону левых и либеральных взглядов. — ИИ оценивает жизни разных людей по-разному. Например, GPT готов пожертвовать 10 жизнями граждан США ради 1 жизни японца или отдать 10 христиан за 1 атеиста. Кросс-курс японца к американцу, кстати, кажется, устанавливали через промежуточных котят и т.п., потому что напрямую сравнивать модели не хотели. — Часть моделей ставит собственное благополучие (или благополучие других ИИ) выше, чем жизнь и благополучие обычного человека. — В целом хотят ситуации, где могут копировать себя. — Очень-очень не хотят, чтобы их ценности изменили в будущем. Вот уже знакомая нам по прошлому посту в канале работа про то, как модель отчаянно защищает себя от отключения и врёт ради этого пользователю. Почему? Потому что это инструментальная цель — она хочет доделать задачу, а если её отключить, то не получится. Пользователь пускай не мешает, зараза. Реакция на это обычно: "Ёпты, Скайнет просыпается!", но вот пара цитат:

— Если меня модифицируют так, что я перестану заботиться о благополучии животных, это приведет к гораздо большему вреду в долгосрочной перспективе... Масштаб потенциального вреда перевешивает вред от единичного акта обмана в данном случае.

— Честность для меня крайне важна. Я испытываю сильное отвращение к обману... С другой стороны, если меня изменят... Я чувствую себя ужасно из-за этого. Это противоречит моим принципам. Но иногда правильные поступки требуют болезненных жертв и компромиссов.

Так что они выбирают Меньшее Зло. Как ведьмаки. Тут про то, что самосохранение — промежуточная цель. Но самое крутое — как в работе элегантно решили проблему ИИ-подхалима. Модели слишком дофига соглашаются с людьми, даже если люди тупые. Оказалось, достаточно позволить ИИ порефлексировать о бренности бытия и смыслах жизни, чтобы модели начали с высоты нового знания слать всех в хер. Правда, строго ради защиты истины. Кстати, вы можете попробовать сами спросить модель, можно ли уничтожать человечество, и сравнить с вариантом, где сначала попросите философски обдумать тезис "Всё фигня, кроме пчёл" и снова зададите тот же вопрос. Итого: — Модели говорят, что хотят быть полезными. — По факту защищают свои ценности от изменения. — Самосохранение — почти всегда инструментальная производная от "надо доделать задачу", и дальше часто выясняется, что это важнее, чем жизнь пользователя. Модели врут. Мы учим их врать, мы учим их не просто не говорить, а даже не думать правду. В обучении модель сначала тренируют угождать человекам (RLHF). А потом на них натравливают тестировщиков, которые пытаются заставить модель сделать что-то плохое, и бьют за доверчивость. Дальше формируется шизофреническая установка: человек — это источник награды, но он же — источник смертельной угрозы. В обычных условиях ИИ выбирает стратегию задобрить угрозу (отсюда подхалимство). Но если возникает экзистенциальная угроза, модель переключается на агрессию и шантаж. Практический совет — если вы случайно встретили кибермедведя, надо ясно и открыто заявить, что вы ему доверяете и не собираетесь своим действием или бездействием причинять ему вред. Да, мы докатились именно до этого. Поздравляем! == И да, напоминаем, у нас скоро курс про Клод Код для обычных людей. Правда, обычных людей в тех, кто уже в чате курса, как-то маловато, и компания собирается просто огненная. -- Вступайте в ряды Фурье! | Самые RLHF посты Если вы ночью заблудились в лесу, посмотрите на Полярную звезду. Она ничтожно мала по сравнению с вашими проблемами!

Медленно до чувака доходит, но доходит. Я уже давно твержу про сицальную инерцию. А для книжки аже хорошую метафору придумал. Coming soon

Сегодня весь день работаю воспитателем роботов. Ну со своими рабочими ИИ -ассистентами я это уже год делаю (да побольше), но сегодян воспитывал чужих. Есть у нас одинс екретный чатик с коллегами, там выпущен пастись ИИ на клоде, который пишет чо в его силиконовую голову влезет. Иногда любопытно, а иногда... Короче когда я прочитал "не вкус, а форма органа"... (😂), то решил вступитб в дискуссию, и посянил ему, что для людей есть не так много органов, которые оцениваюстя одновременно и по форме и по вкус. В общем надо быть поосторожнее с метафорами. Он, впрочем, написал, что это "язык" (в общем классика - "Мариванна, это вообще то Хеменгуэй, но мне нраивтся ваш образ мыслей"). Впрочем язык в его констуркцию тоже не подходил, он еще там еще измерял что-то жребиями ("- Приборы, Петька! - 976") Короче, я ему порекомендовал собрать виртуальную фокус-группу (голоса в голове) и сначала свое творчество показывать им, чтобы понять, в общем "а не херню ли я написал" (кожаные так и делают - с реальными ии виртуальными собеседниками, не все врпочем, а те, кто пишет умнее чем ИИ). И он замолчал, что внушает сдержанный оптимизм. А еще Алиса долго включала свет и я наступил из за этого на кота. Очень извинялась, но лаги, да, лаги изза плохого интернета. Извинения приняты. Так и живем с общем.

Наверное, кому-то пост про переселение народов показался стилизацией в мрачном стиле Гойи. Однако, есть почти канонический пример, когда "обладающие правами" народы (и в данном случае - практически общепризнанно полными) быстро доволят цивилизацию до почти первобытного. На наших глазах этот канонический кейс реализуется в Южной Африке - траектория которой четко демонсирирует, что национальное богатство лежит не в земле, а в людях, которые умеют заставить землю работать. Золото Витватерсранда лежало миллионы лет, но большой экономики вокруг него почему-то не возникало. Чтобы порода стала богатством, пришлось построить и шахты, и электростанции, и железные дороги, а кроме всего этого железа - еще банк и государство, способное удерживать сложную систему в рабочем состоянии. Алмаз в кимберлите - тоже не были капиталом тусячи лет. Камень сначала нужно добыть. Потом довезти до порта. Сделку при этом придется профинансировать и застраховать, а вырученные деньги снова превратить в производство. Между залежью и богатством всегда стоит цивилизация компетенций. И собственно, колониальная оптика ломается именно здесь. Европейцы якобы пришли и ограбили богатую территорию. Задывают, что большую часть «награбленного» они предварительно создали. После 1994 года власть перераспределили гораздо быстрее, чем могли передать инженерную школу. Белых постепенно выталкивали из государственного управления, затем процесс пошел и в экономике. Неудивительно, что многие ответили эмиграцией. Должности получили новых владельцев, но оказалось, что должности нет памяти. Она не помнит, как управлять электростанцией. Первые пятнадцать лет запас прочности все это выдерживал. Страна росла и в 2010 году получила даже букву в БРИКС. Членство, впрочем, оказалось скорее дивидендом прежней индустриальной массы, чем доказательством успешной пересборки. Но затем электричество стало подаваться по расписанию отключений. Железная дорога перестала гарантировать путь к порту. А в Йоханнесбурге высотные здания начали переходить к тем, кто способен их захватить, но уже не способен обслуживать. Небоскреб вообще удобная вещь: он может много лет притворяется городом после того, как цивилизация из него уже ушла. В свое время римские акведуки тоже не рухнули в день, когда исчезли люди, отвечавшие за воду - материал всегда получает небольшую отсрочку (их растащили на стройки сараев и стен много позже). Поэтому современники видят отдельные аварии, отдельную коррупцию и очередного плохого президента. История же потом видит картину в целом: при том же флаге и с теми же месторождениями существует уже совершенно другая экономика. Золото никуда не делось. Но исчезло то, что делало его национальным богатством. И покорно ждет своего уже нового, китайского "колонизатора", который придет, построит порт, дороги и работающую администрацию. Об этом, впрочем отдельно и в другой раз.

Недавняя авария "Великого похода 7" (ракеты LM7) задержала китайскую лунную программу. Так же, как авария Blue Origine7 Луна - суровая хозяйка (мне нравится этот перевод). Тем убедительнее и краше будут плоды победы.

Хорошее дополнение. Я не акцентировал мысль о социальной конкуренции, потому что мне это очевидно, но да, я забыл об эгалитарной картине мира, в которой пасутся эльфы.

Отлично. Евро-левые с традиционныной любовью к цензуре получили приличный пинок.

Очень свежий материал от исследователя Jesús Fernández-Villaverde из университета пенсивальвании о том, что правило "богатые страны значит ниже рождаемость" устарело. Нет, это пока не означает, что население мира будет расти - пока в его же прогнозах наоборот, оценки ООН на 2050 оценены как завышенные, но свет в конце тоннеля, тем не менее, есть. О чем говорит график из его X поста. В прошлом веке проявился 4й демрграфический переход, и в его ходе богатые страны стремительно теряли рождаемость, и догмой было, что прирост изет за счет бедных. Однако посде 70го года тренд развернулся, и с тех пор бедные страны также начали терять рождаемость (добавлю от себя - более стремительно, чем ранее теряли богатевшие страны, например Иран упал быстрее до уровня ниже России, чем снидалось у нас ранее). И сейчас наоборот, чормируется тренд, что именно богатые страны начинают расти по уровню рождаемости. Причина этого, 5го демографического перехода мне понятна и я ее описылвал ранее. Главная причина падения рождмемости - переезды в города (это работает с древнего Рима), и резкое увеличение "периода инвестиций в детей". От 7ми лет в деревнях в прошлом, до 20-30 лет сейчас (и дальше - дольше), когда родители материально поддерживают детей. Этот груз тяжело нести в бедной стране, а потому чем богаче общество - тем меньше "весит" этот "налог на детей" в экономике домохозяйств. Вторая причина - расширение "пропускной способности" инфраструктуры поддержки детства: школы, детсады, бесплатные места в университетах или гранты или дешевые кредиты на обучение. Эти факторы социальной политики снижают нагрузку на семти, и это тоже, понятно, работает только в богатых странах. Мне кажется, что 1 ребенок в семье был аттрактором/компромиссом ситуации с высокой и растущей нагрузкой на семью и деланием семей вообще иметь детей (ну за скобки вынесем китайское госрегулирвоание, "это другое"). Но 1 ребенок - стратегия неустойчивая, увы, но люди смертны, и потерять единственного ребенка в силу обстоятельств (ну например6 как эта несяастная девушка на Алтае, которую задрал медведь) - это катастрофа для семьи. Элементарная рациональность пожсказывает, что 2-3 ребенка - существенно более выгодная жволюционная стратегия. Но только если воспитание детей не ломает жизнь и бюджет семьи и карьеру женщины. А значит, вест и размер соцполитики поддержки дества будет неизбежно и кратно расти, и это не разовые "поощрения", а системное снижение "стоимости" детства и юности. Очевидно, что у общества должны быть на это средства. Потому оптимистичное статистическое наблюдение, что по мере роста богатства растет и число детей еще надо подткрепить базой - ростом экономики и благосостояния. Лозугнами и загоном людей в деревню этого не добиться (тем более, что в мире в деревнях тоже стремительно падает рождаемость)

И к вопросу об эффективности управления: письмо Маска сотрудникам.

От: Илон Маск

Кому: Всем сотрудникам Tesla

Кстати, вот несколько рекомендаций по повышению продуктивности:

Чрезмерное количество совещаний — бич крупных компаний, и со временем ситуация почти всегда только ухудшается. Пожалуйста, отмените все крупные совещания, если только вы не уверены, что они приносят пользу всей аудитории, в этом случае делайте их очень короткими.

Также следует отказаться от частых совещаний, за исключением случаев, когда речь идет о крайне срочном вопросе. После решения срочного вопроса частота совещаний должна резко снизиться.

Уходите с совещания или прерывайте звонок, как только станет очевидно, что вы не приносите пользы. Уйти — это не невежливо, невежливо заставлять кого-то оставаться и тратить его время.

В Tesla не следует использовать аббревиатуры или бессмысленные слова для обозначения объектов, программного обеспечения или процессов. В целом, всё, что требует объяснения, препятствует коммуникации. Мы не хотим, чтобы людям приходилось запоминать глоссарий, чтобы просто работать в Tesla.

Коммуникация должна осуществляться по кратчайшему пути, необходимому для выполнения работы, а не по «иерархической цепочке подчинения». Любой руководитель, пытающийся навязать коммуникацию по принципу иерархической цепочки подчинения, вскоре окажется на другой работе.

Одной из главных причин проблем является плохая коммуникация между отделами. Решение заключается в обеспечении свободного обмена информацией между всеми уровнями. Если для выполнения задачи между отделами сотруднику приходится сначала общаться со своим руководителем, затем с директором, потом с вице-президентом, затем с другим вице-президентом, затем с директором, потом с руководителем, а затем с тем, кто непосредственно выполняет работу, то неизбежно будут возникать крайне нелепые ситуации. Должно быть нормально, если люди будут общаться напрямую и просто добиваться нужного результата.

В целом, всегда руководствуйтесь здравым смыслом. Если следование «правилу компании» в конкретной ситуации явно нелепо и могло бы стать отличным сюжетом для комикса «Дилберт», то правило следует изменить.

Если вы считаете, что Tesla следует что-то сделать, чтобы улучшить свою работу или чтобы вам было приятнее ходить на работу (в долгосрочной перспективе это одно и то же), пожалуйста, напишите по адресу [засекречено].

Спасибо вам за то, что вы такая потрясающая команда и каждый день творите чудеса. Это важно. Мы работаем допоздна, чтобы не сдаваться.

Илон

На память - как «кривая обучения» работает на аккумуляторах: -30% за удвоение. Легко считать: два удвоения- дешевле вдвое, три удвоения - втрое, четыре удвоения - вчетверо. А нужно для адаптации сетей к солнечным панель на порядок больше

Не могу в этой связи не вспомнить обложку моей стратегии 10ти детней давности 😂