Homo Technicus

Це історія інженерки з Anthropic Ніни Фрейм, згенерована піснею зі слів комʼюніті-менеджерки в London Initiative for Safe AI Клавдії Помодорро. https://www.youtube.com/watch?v=qGv8g8jOfqY

Це відео насправді більше про ШІ в науці, ніж про ШІ в мистецтві: https://x.com/Gossip_Goblin/status/2098069351869935957

When they ask me if I’ve come to do mechinterp on every bio model in existence:

І мої mechanistic interpretability дослідження прийшли по рослинні ШІ моделі! https://www.sciencedirect.com/science/article/abs/pii/S1476927126005657

І ми маємо 100 трейдерів на ринку про те, чи знайду я дружину до 2028 року! Тепер у мене є спосіб отримувати фідбек від реальності щодо своїх мейтінг зусиль умовно в режимі реального часу, не чекаючи фінального результату. Група відносно розумних людей отримала фінансові та статусові стимули намагатися об'єктивно інформувати мене про успішність моїх стратегій. Шанси коливаються між 1:4 та 1:3, що... я думаю, в межах здорового глузду. Моя апріорна оцінка була 30%. "Ситуація складна, але контрольована." З одного боку, лише одне подвоєння шансів відділяє мене від рівних шансів, і два подвоєння відділяють від дуже гарних шансів. Але з іншого боку, кожен день, який наближає 31 грудня 2027 року, буде зменшувати ймовірність. І market depth зростає... Народ повиставляв ліміт-ордери на NO на різних рівнях ймовірностей. Пробитися до 50% буде важко... І ринок вже надто ліквідний, щоб конкретні трейдери з конкретними причинами могли відчутно вплинути на ціну. При цьому, варто сказати, що Bayesian, найбільш успішний трейдер на платформі усіх часів, поставив на YES. Дякую, Bayesian! Твої інвестиції в надійних руках! Можливо, треба буде зробити версію ринку з датою на кінець 2029 щоб деконфаунднути ефект коротких дедлайнів в поточному ринку. https://manifold.markets/IhorKendiukhov/will-i-find-a-wife-by-the-end-of-20?r=SWhvcktlbmRpdWtob3Y

Коли закінчилися токени.

А тепер серйозно. Я створив dateme doc: https://docs.google.com/document/d/1GpaZU33xeFCYure0kolt3KrzpPMtcQVgbHtiI2f2B8Q/ By any means necessary!

Я думаю, що той факт, що Anthropic створює автоматизовану біологічну лабораторію, насправді збільшує шанси людства вижити. Якщо дати роям агентів легкий доступ до створення біозброї, то можливо вони створять і застосують її до того, коли вони будуть достатньо компетентними, щоб повністю винищити людство з її допомогою. Тобто, збільшується ймовірність великої, але не цивілізаційно-летальної катастрофи. Існує певна немала ймовірність, що якщо створена агентами біозброя вбʼє скажімо мільйони людей, то це не буде сприйнято як маркетинговий трюк і нарешті призведе до заборони на розробку AGI, і тоді більшість з нас виживе.

An accelerationist is scrolling X. Jacob Coxon quits his job, tweets a warning that AI could kill everyone, and gets 200 million views. “Psyop. He’s in on it.” Geoffrey Hinton and Yoshua Bengio warn that AI could kill us all. “Part of the psyop.” Dario Amodei, Sam Altman, and Elon Musk say the danger is real. “Psyop. They want regulation capture.” The world’s top mathematicians write an open letter warning that we’re about to get wiped out by AI. “Psyop, psyop, psyop.” Then the accelerationist gets eliminated by a superintelligent AI, along with the rest of humanity. He arrives in heaven and meets God. “You can tell me now. All that stuff about AI killing everyone was a giant psyop, wasn’t it?” GOD: “No, you idiot. They were trying to warn you.” “Wow, the psyop goes even deeper than I thought.” https://x.com/simonlermenai/status/2100955655339180195

Взагалі, я мрію про мод для Hearts of Iron 4, побудований навколо перетворення країн на раціоналістично-трансгуманістичні суспільства і моделювання технологічної конкуренції.

Моє обличчя, коли усвідомив, що less wrong буквально означає more right.

By the same token, якщо ви одружені/заміжні чи заручені, я дуже зацікавлений почути ваші поради, як ви це зробили. Пишіть в коментарях чи в особисті. Вочевидь я готовий змінювати свої моделі під тиском реальності, і в даному випадку, реальність - це ви.

Перечитуючи це, на думку спадають 2 caveats. 1. Текст легко сприйняти як буквальну рекомендацію одружуватися на першій-ліпшій людині. Це не те, що я мав на увазі. Оптимальне правило скоріше виглядає як "обирай серйозні відносини більш ретельно, ніж зазвичай прийнято, але коли обрав, то май менші порогові критерії для шлюбу, ніж зазвичай прийнято". Ретроспективно, один з моїх failure modes (можливо, ключовий) - це одразу стрибати в серйозні відносини. У коментарях там писали про exploration/exploitation tradeoff, але якщо ти у серйозних відносинах, то ніякого exploration не відбувається. В обрахунках оптимального часу на exploration треба виключати час серйозних відносин. 2. На метарівні - будь-які поради від мене на цей рахунок йдуть з тим дисклеймером, що я "шевець без чобіт", тобто сам не маю дружини. Це, на жаль, загальна властивість т. зв. дейтінг порад. Чомусь, переважна більшість дейтінг порад від людей в інтернеті йде від тих, хто самі не досягли того, що я вважаю критерієм успіху в цій справі - тобто, сформували шлюб, родину та, в ідеалі, завели дітей. Так чи інакше, усе що я кажу на цю тему, треба сприймати сильно з grain of sault, через відсутність емпіричної валідації. У мене насправді набагато більше думок з цього приводу, але знову ж таки на метарівні, через відсутність емпіричної валідації, я не впевнений у їхній валідності. Я поставив собі стратегічну мету завести родину до Сингулярності, і, враховуючи таймлайни, це повинно відбутися доволі скоро, тому чекайте на розгорнуту аналітику тоді, коли це відбудеться.

Взагалі, цьогорічний LessWrong Community Weekend hits different. По-перше, це більше не відпочинок, чи принаймні не тільки відпочинок. Минулого року я був більш-менш рандомним учасником, ходив на багато розважальних сесій та просто тинявся спілкуючись випадковими з людьми. Цього року я прийшов насамперед як директор своєї організації, і увесь час розподілився між: - Організацією власних сесій; - Карʼєрними порадами для тих, хто переходить в AI safety; - Збором та ретрансляцією професійних чуток; - Соціальними івентами, які хоча і були чілом, також були і нетворкінгом. Це було надзвичайно приємно і одночасно корисно, але це вже не (здебільшого) розважальний івент для мене. Я спав по 3-4 години і постійно кудись поспішав. По-друге, таймлайни. Тік-так. На мою сесію про те, що робити з короткими таймлайнами, прийшло так багато людей, що довелося їх розподіляти між декількома конференц-залами. Дух тривоги, про який я вже писав, присутній і на LWCW. Новина про те, що Трамп висловився проти сповільнення ШІ, прийшла під час гри в hot seat, і питання "Did you see the news?" моментально повертає присмак нервозності навіть в найбільш безтурботну хвилину. Форшоки Сингулярності відчуваються всюди.

Фраза з LessWrong Community Weekend: Singularity timelines gap relationship.

Сфотографувався з зіркою. https://youtu.be/9fYIm72GqrE

Короче написав на цю тему: https://kendiukhov.medium.com/marry-as-young-as-possible-5a9782510eac. Знаю, що буде багато незгоди, але я написав, як я вважаю.

Ок, ви мене переконали, я занадто вибагливий. Дропаю критерій «вміє писати».