Лабораторный журнал
трансляция блога А.И.ЛЕВенчука из ЖЖ (http://ailev.ru)
إظهار المزيد1 858
المشتركون
لا توجد بيانات24 ساعات
+97 أيام
+3630 أيام
- المشتركون
- التغطية البريدية
- ER - نسبة المشاركة
جاري تحميل البيانات...
معدل نمو المشترك
جاري تحميل البيانات...
Опубликовано первое изменение курса "Методология". В ходе этой девятой переписки обновлено примерно 10% от объёма курса, такими темпами можно справиться к концу июня 2024. В курс внесена онтика методологии, которая уже объяснялась в курсе "Системное мышление", замечания о методологии в распределённых представлениях, место методологии в фундаментальных методах мышления, замечания о прикладной методологии. Добавлены два задания на моделирование. Основной синоним метода/практики/культуры работы теперь -- метод. Кроме этого добавлен раздел шестой про персональное и корпоративное стратегирование (раньше это был раздел "Теория стратегирования" курса "Системный менеджмент"), но в этот раздел изменения пока не вносились, текст идентичен тому тексту, который пока оставлен и в курсе "Системный менеджмент".
Привожу один из новых фрагментов, про место методологии в интеллект-стеке (и там новые отсылки: к семантике для распределённых представлений, что важно в связи с развитием современных AI-агентов и их идеям policy и plan, а также к рациональности, что важно для отсылок к теориям принятия решений).
Картинка для пояснения сегодняшней ситуации в семантике — кроме семиотического моделирования (знаками) есть ещё и моделирование распределёнными представлениями, в том числе так моделируются и методы — как паттернирование в работах.
https://ailev.livejournal.com/1725757.html
Онтология
Опубликовано первое изменение курса "Методология". В ходе этой девятой переписки обновлено примерно 10% от объёма курса, такими темпами можно справиться к концу июня 2024. В курс внесена онтика методологии, которая уже объяснялась в курсе "Системное мышление", замечания о методологии в…
👍 5
Привожу пример работ по выращиванию искусственных мозгов:
— компьютер на мокрой нейронной сетке, который научили играть в понг (из Cortical Labs)
— компьютер на мокрой нейронной сетке, который вы можете научить что-то делать прямо в облаке ("батарейка" из Матрицы), недорого от FinalSpark
— не компьютер, но просто забавно: кусок мозга человека выращивают не в пробирке, а прямо в мозгу крысы
— безмозглые подвижные роботы, выращиваются из клеток лёгких (без изменения генома!).
Картинка — для чего нужны "мокрые мозговые компьютеры": они в миллиард раз эффективней кремниевых. The human brain is a powerhouse, boasting 86 billion neurons and using only 20 watts of power for efficient computing. Replicating this kind of efficiency with silicon would require a whopping 10 megawatts of power,
https://ailev.livejournal.com/1725624.html
Мичуринство на человечьих нейронах
Конечно, выращивать новых человеков инженерам пока не дают -- а когда это получается, причём получается вполне хорошо, то их даже за это в тюрьму сажают (две женщины со СПИД родили трёх дитёнков, в которых отредактировали ген CCR5, чтобы получить иммунитет к СПИДу, а в 2019 году за это китайский…
👍 7
Пишу "Методологию" и пытаюсь хоть как-то отследить прогресс в AI. Неожиданно для себя опять написал 20Кзнаков про искусственный интеллект, так и работает "мышление письмом".
— Можно ли отследить прогресс в AI?
— А зачем отслеживать, что там происходит с AI?
— Karl Friston и Yann LeCun как раньше шли против течения, так и сейчас продолжают
— Причём тут методология
https://ailev.livejournal.com/1725419.html
Всё новое в методологию приходит сбоку
Можно ли отследить прогресс в AI? Я отслеживаю прогресс с AI по нескольким линиям, если вообще можно говорить о таких "линиях отслеживания". Поскольку речь идёт о xGI, то есть интеллекте неважно какой природы, то надо сразу проверять, осмысленно ли говорить про AI как об отдельной технологии/методе…
👍 9❤ 2🔥 2
Обсуждаю вопрос эмерджентности в LLM, обращая вновь и вновь внимание на разницу чисто математического рассуждения и системного рассуждения. В LLM при обсуждении эмерджентности обсуждают не "появление новых свойств из ниоткуда по мере роста размера". Нет, обсуждают новые свойства, проявляемые появляющимися в составе однородной структуры сети новых структур, полученных в ходе обучения: структур пропущенных математиками системных уровней. Грубо говоря, внутри больших LLM зарождается виртуализация, "наложенные архитектуры". Чисто математические описания, в которых легко пролетают бесконечности — они в реальной жизни не работают, их надо применять, не забывая об эпистемологии. Редукционизм популярен, как и холизм (другая крайность), но избегайте их. Системное мышление даёт способ уйти от крайностей, даёт способ преодолеть противоречие между холистическими и редукционистскими объяснениями -- так что читайте курс "Системное мышление", я его сам писал. Пререквизит там есть: курс "Моделирование и собранность", где учат отличать описания (скажем, математические модели) от моделируемых объектов (например, нейронных сеток как софта на компьютере, а не бесплотного математического объекта, влёгкую оперирующего бесконечностями).
https://ailev.livejournal.com/1725090.html
Как думать об эмерджентности больших языковых моделей
Понятие эмерджентности -- из системного мышления, а оно пошло из физики. Увы, когда с ним начинают работать математики, всё сразу плохо. В курсе "Системное мышление" разобрано довольно много ошибок по поводу понимания эмерджентности, большинство из них связаны именно с попытками применить чистую…
👍 6
Всю неделю писал "в посты и чаты", а не "в курс" — прикидываю, что с моей скоростью написания текстов примерно 20Кзнаков в день могу "Войну и мир" написать где-то за четыре с половиной месяца, было бы что писать. "Системное мышление 2024" удалось отдать в вёрстку, там всё медленно, заплатил примерно 33 тысячи рублей. Основная задача этой недели у меня была -- показать общность и практическую приложимость знания всей курсовой линейки "Организационного развития", ибо как это объяснять на входе -- проблема, как удерживать мотивацию студента (в вузах-то всё понятно, "так учился твой дед, и ты так учиться будешь") -- тоже проблема. Купил JBL! Xtreme 4, 2 килограмма 100 ватт и 24 часа может работать под дождём на одной зарядке, если не громко — идеально для опенэйров, на фото она вместе с прежней колонкой и моим ноутбуком (а ещё жалею, что кресла, которые за тобой бегают на своих ножках, ещё не сделали, но ждём-с).
https://ailev.livejournal.com/1724843.html
lytdybr
Всю неделю писал "в посты и чаты", а не "в курс", накопилось. В среднем где-то 20Кзнаков в день в посты и ещё чуть ли не столько в разные чаты, которые заменили собой "форумы". Если бы я писал с нуля "Системное мышление", где 2.45Мзнаков ("Война и мир" все тома -- 2.6Мзнаков), то было бы 122 дня,…
👍 6
Объясняю, что делают три разных курса инженерии в третьем семестре. Прохождение "Системной инженерии", "Инженерии личности" и "Системного менеджмента" позволяет наладить совместное обсуждение проблем предприятия инженерами и менеджерами:
— Три поколения системного подхода: система во время эксплуатации, создатели во время разработки, создатели во время развития. Один раз про системы, два раза про создателей систем, то есть про предприятие!
— Третий семестр: методы работы инженеров и менеджеров для "железа", людей и организаций. Три курса — три раза повторяем методы работы одних и тех же ролей (а для разработчиков ещё и подролей), которые создают "железную" или программную систему, мастерство какого-то человека в выполнении какого-то метода работы, мастерство организации в выполнении какого-то метода работы.
— Что достигается после третьего семестра. Даём квалификацию мастера организационного развития. Если студент получил "мастера", то это означает, что он по факту начал организационную работу на предприятии и продемонстрировал её результаты -- стал директором по развитию какого-то масштаба. Конечно, масштабы тут разные, но у нас было множество примеров, когда наши студенты становились директорами по развитию или главными архитекторами в крупных холдингах прямо во время прохождения учебной программы третьего семестра.
В тексте 19Кзнаков, ссылки на что почитать, а на картинке все наши семестры и даты летних наборов в открытые группы.
https://ailev.livejournal.com/1724567.html
Три курса инженерии в третьем семестре программы "Организационное развитие": почему их три
Три поколения системного подхода: система во время эксплуатации, создатели во время разработки, создатели в момент развития Зачем нам надо три курса инженерии в третьем семестре программы "Операционное развитие"? Затем, что топ-инженерам мы крайне рекомендуем освоить менеджмент, а менеджерам…
👍 2❤ 1
Обсуждаю статью не просто по очередному "автоматическому оценщику правильности выполнения программы, SMoL Tutor", но:
— основанному на идее concept inventory и помогающему преподам найти популярные у студентов misconceptions
— сделан сам список misconceptions
— сделана онтика основных идей в языках программирования (semantic base)
— для обучения предложен язык для её выражения, обучение ведётся на этом языке, а не "популярном языке программирования"
Сравниваю с тем, что мы делаем в наших курсах, на примере моего "Системного мышления", даю скриншот с ловушками и пример чеклиста с объяснениями из учебника.
Ещё несколько замечаний, зачем вообще учить сегодня программированию/моделированию/онтологизированию, когда кодирование для всего этого делает AI (то есть мы уже не только от Software 1.0 перешли к Software 2.0, но и уже вышли на Software 3.0, самый популярный язык программирования — английский).
https://ailev.livejournal.com/1724413.html
Исправление заблуждений студентов при обучении их программированию и системному мышлению
Михаил Гусаров навёл меня на статью "Identifying and Correcting Programming Language Behavior Misconceptions" (
https://cs.brown.edu/~sk/Publications/Papers/Published/lk-smol-tutor/paper.pdf). Фантастически интересная работа! Она содержит: -- онтику трудных понятий (curated list of misconceptions)…
Обсуждаю тренды на рынке труда: переток был из крестьян в фабричные рабочие, затем в офисный планктон, а теперь идёт переток в персональные сервисы работы с людьми 1:1 (маникюр, массаж, советники по финансам). Низкооплачиваемые работы исчезают быстрее, высокооплачиваемые — медленней. Но тренд понятен: от работ "без людей" в работы с общением с людьми, и от редкой смены профессионализации к более частой смене профессионализации.
Условно говоря, все мы превращаемся из одиноких волков в кошечек, которые должны быть гордыми и независимыми, но зато крайне симпатичными и даже ласковыми, чтобы их кормили. Они, конечно, не нужны. Но без кота и без маникюрщицы жизнь не та, поэтому эти профессии востребованы. То есть достаточно быть ласковым и ухоженным, а также уметь ходить в туалет, а не под себя, чтобы быть прокормленным не хуже котов, а также быть прогулянным не хуже собак. Но если хотите чего-то большего, придётся получить образование. Образование как подготовка к жизни означает не то, что вы получаете какую-то профессию (она всё одно пропадёт через год-другой), а то, что вы справитесь со сменой профессии. Каждый год у вас будет как "выпускной, выход в жизнь, начинаем работать".
Думайте, может быть вам и не нужно хорошее образование с какими-то трудными hard skills типа умения разбираться с абстрактными неформальными и формальными описаниями. Классическое образование вообще когда-то учило мёртвым языкам, сейчас хотя бы живым языкам учат, хотя часть из них -- языки программирования и моделирования.
На полный подрыв всего уклада жизни, конечно уйдёт лет десять-пятнадцать, как ушло на перестройку в СССР. Лет пять поэтому (примерно срок вузовского образования) на подъём уровня своего интеллекта до хоть как-то конкурентоспособного в найме у вас есть. А то будет как в перестройку: "кто бы никем, тот станет всем, и наоборот". Если же вы никто, то у вас тоже есть шанс. Учитесь не чему-то конкретному, а ровно наоборот: адаптироваться в любой неконкретной и дьявольски непонятной ситуации, учитесь быть умным вообще. А ещё лучше -- учитесь делать что-то новое не только самому, но и организовывать на выполнение нового дела других людей и AI-агентов. У меня как раз набор курсов для этого,
https://ailev.livejournal.com/1723951.html
Маникюрная экономика: или быть котом, или массажистом, или образовываться
"Экономика маникюра"(the manicure economy,
https://www.ft.com/content/f3cc3767-b0c3-4dd1-983a-6f158799b6c4) -- так назван очередной сдвиг массовых работ от офисной-распределительной (в свою очередь раньше -- от заводской фабричной, в свою очередь раньше -- от крестьянской) к грумингу (grooming…
🔥 10👏 1
В порядке мышления письмом выдаю свои замечания по лекции Miles Cranmer "The Next Great Scientific Theory is Hiding Inside a Neural Network", которая была 3 апреля 2024. Он рассказывает интересные вещи про то, как они собираются показать нейросетке данные о множестве физических систем, чтобы она "поглядела на множество физик" — и получилось что-то типа LLM, только вместо "текстов о мире" будут "данные о мире" в виде временных рядов. Обнаружилось, что такой подход крайне эффективен.
Разговор крутится вокруг того, как сжать многомерную информацию о физическом мире в более простые представления. Для меня это продолжение линии на компактификацию знания, нахождения паттернов, причём схема тут даётся двухуровневая:
-- паттерны "картины мира" ухватываются нейросеткой в распределённом представлении, за счёт аппроксимации (сетка -- универсальный аппроксиматор)
-- далее идёт означкование паттернов в какой-то знаковой системе, тут предлагаются symbolic discovery (например, генетические алгоритмы), транслирующие эти "интуиции нежити" в знаковые представления выбранного языка.
Вся эта линейка размышлений о foundation models и связанных с ними уровнях формальности (важно для порождения и нахождения аналогий в нейросетках, например, неформальное кодирование мира в LLM, распределённые представления) и формальности (дискретизация/цифровизация важна для критики, без критики нет эволюции) и уровнях абстракции (онтологических уровнях как иерархии генерализации знаний о мире) -- это, похоже, нынешний научный мейнстрим, новое понимание эпистемологии. Значительная часть этого подхода отражена у нас в курсах, но вот там ещё не было этого захода на "чисто физическая картина мира", "научная в смысле точных наук, science, foundation model", отражающая какие-то глубокие закономерности.
Я же буду надо все этим думать в порядке размышлений о том, чему же учить современных людей (базовой картине мира, дать "концентрированную насмотренность", "сжатый опыт жизни") и как учить современных людей (всё-таки в голове у них мокрые нейросетки, и ничто нейросетевое им не чуждо).
https://ailev.livejournal.com/1723726.html
Заметки по лекции Miles Cranmer "Следующая большая научная теория прячется внутри нейронной сети"
У меня довольно много в курсах ("Инженерия личности" и "Интеллект-стек") развивается пара мыслей: -- обучение состоит из двух частей: общая картина мира (интеллект-стек, лучшие известные нам методы мышления), затем частная картина предметной области (грубо говоря, сначала методам работы с…
🔥 12👍 2
Мой ответ на вопросы о том, поддерживаю ли я до сих пор идеи Tony Seba (да, поддерживаю, всё идёт по плану, отклонения от плана не так уж значительны, детали и год-два тут не имеют значения). Опять получилось много, 22Кзнака:
— Моё отношение к идеям Tony Seba
— Что же с прогнозом по электромобилям?
— TaaS
— Но у Tony Seba было не только про автомобили
https://ailev.livejournal.com/1723469.html
О прогнозах Тони Себа: я считаю, что они сбываются, экспоненты работают
Моё отношение к идеям Tony Seba Раз в месяц меня спрашивают, что я думаю про прогнозы Тони Себа, ибо я в курсах рекомендую внимательно знакомиться с его материалами, а в курсе "Системный менеджмент" даже приведён его портрет (…
👍 5