Manvel's Channel
رفتن به کانال در Telegram
Все мнения мои собственные. Написать автору: @manvel_tg
نمایش بیشتر464
مشترکین
اطلاعاتی وجود ندارد24 ساعت
اطلاعاتی وجود ندارد7 روز
اطلاعاتی وجود ندارد30 روز
در حال بارگیری داده...
کانالهای مشابه
ابر برچسبها
هیچ دادهای
مشکلی وجود دارد؟ لطفاً صفحه را تازه کنید یا با مدیر پشتیبانی ما تماس بگیرید.
اشارات ورودی و خروجی
---
---
---
---
---
---
جذب مشترکین
دسامبر '24
دسامبر '24
+24
در 0 کانالها
نوامبر '24
+15
در 1 کانالها
Get PRO
اکتبر '24
+51
در 2 کانالها
Get PRO
سپتامبر '24
+17
در 1 کانالها
Get PRO
اوت '240
در 0 کانالها
Get PRO
ژوئیه '24
+41
در 0 کانالها
Get PRO
ژوئن '240
در 0 کانالها
Get PRO
مه '240
در 1 کانالها
Get PRO
آوریل '240
در 0 کانالها
Get PRO
مارس '240
در 0 کانالها
Get PRO
فوریه '24
+8
در 0 کانالها
Get PRO
ژانویه '24
+16
در 0 کانالها
Get PRO
دسامبر '23
+25
در 0 کانالها
Get PRO
نوامبر '23
+17
در 1 کانالها
Get PRO
اکتبر '23
+34
در 1 کانالها
Get PRO
سپتامبر '23
+401
در 0 کانالها
| تاریخ | رشد مشترکین | اشارات | کانالها | |
| 21 دسامبر | 0 | |||
| 20 دسامبر | 0 | |||
| 19 دسامبر | 0 | |||
| 18 دسامبر | +1 | |||
| 17 دسامبر | +1 | |||
| 16 دسامبر | 0 | |||
| 15 دسامبر | 0 | |||
| 14 دسامبر | +1 | |||
| 13 دسامبر | +2 | |||
| 12 دسامبر | 0 | |||
| 11 دسامبر | 0 | |||
| 10 دسامبر | 0 | |||
| 09 دسامبر | +2 | |||
| 08 دسامبر | 0 | |||
| 07 دسامبر | 0 | |||
| 06 دسامبر | +3 | |||
| 05 دسامبر | +13 | |||
| 04 دسامبر | +1 | |||
| 03 دسامبر | 0 | |||
| 02 دسامبر | 0 | |||
| 01 دسامبر | 0 |
پستهای کانال
Кого ИИ заменит раньше: парикмахеров или программистов?
Что дешевле с точки зрения потребности в вычислительных ресурсах: подбросить и поймать яйцо или играть в шахматы?
На этот вопрос отвечает парадокс Моравека из прекрасного мира робтотехники.
"Высококогнитивные процессы требуют относительно небольших вычислений, в то время как низкоуровневые сенсомоторные операции требуют огромных вычислительных ресурсов."
"В больших, высокоразвитых сенсорных и моторных частях человеческого мозга закодирован миллиард лет опыта о природе мира и о том, как в нем выжить. Сознательный процесс, который мы называем рассуждением, — это, по моему мнению, тончайшая оболочка человеческого мышления, эффективная только потому, что она поддерживается гораздо более старым и гораздо более мощным, хотя обычно бессознательным, сенсомоторным знанием. Мы все выдающиеся олимпийцы в области восприятия и моторики, настолько хорошие, что делаем сложное легким. Однако абстрактное мышление — это новый трюк, которому, возможно, менее 100 тысяч лет. Мы еще не освоили его. Это не так уж и сложно; это просто кажется сложным, когда мы это делаем."
[1] https://en.wikipedia.org/wiki/Moravec%27s_paradox
[2] https://ru.wikipedia.org/wiki/%D0%9F%D0%B0%D1%80%D0%B0%D0%B4%D0%BE%D0%BA%D1%81_%D0%9C%D0%BE%D1%80%D0%B0%D0%B2%D0%B5%D0%BA%D0%B0
| 2 | ![23andMe — когда-то ведущая компания в тестировании ДНК, стоившая более $6 млрд., теперь стоит практически ничего. [1] и [2] е](https://cdn.tlmtr.io/_next/static/media/photo.55d584d3.svg){kind=small} 23andMe — когда-то ведущая компания в тестировании ДНК, стоившая более $6 млрд., теперь стоит практически ничего. [1] и [2] если вдруг у вас нет подписки на WSJ.
Причины?
1) Большинству людей тесты были не очень полезны.
2) Их не нужно делать регулярно.
3) Не удалось создать персонализированные лекарства.
А на сон грядущий удивительно подробная и приятная статья про мотыльков и почему они летят к свету с "эстетически подобранными" иллюстрациями. (Спойлер: они на самом деле ориентируют спинку к свету для ориентации т.к. источник света всегда сверху) [3][4]
[1] https://www.wsj.com/health/healthcare/23andme-anne-wojcicki-healthcare-stock-913468f4
[2] https://archive.is/yqxZa
[3] https://www.nature.com/articles/d41586-024-00261-y
[4] https://www.nature.com/articles/s41467-024-44785-3 | 444 |
| 3 | C удивлением обнаружил, что пошлейшая "48 законов власти" Роберта Грина находится в списке самых продаваемых книг на Amazon.
Эта "аморальная, самая скандальная, самая циничная" (согласно официальному описанию) книга содержит такие глубокие и достойные ВК мысли, как:
* Никому не раскрывайте своих приемов, иначе их применят против вас.
* Чтобы оставаться независимым, вы должны всегда быть необходимым и нужным.
(Обожаю эти утверждения с кванторами общности и существования!)
Забавно представить эти аморальные/скандальные/циничные миллионы людей, вооруженные "48 законами", считающие себя достойными продолжателями идей Макиавелли, рвущиеся ко власти в своем отдельно взятом офисном аду, использующие приемчики манипуляции из поваренной книги.
Послушайте, когда вами манипулируют, и вы это считываете -- это же ведь хорошо, так? Вроде это делают довольно хитрые, глупые, а значит безопасные люди.
А когда вами манипулируют, но вы это не считываете? Какая это манипуляция?
Думаю, что такая скрытая для жертвы манипуляция обычно использует асимметрию навыков, знаний, жизненного опыта. Она как будто выше по уровню.
Двигаясь дальше. Бывает, что вы бессознательно манипулируете кем-то? Где эта грань? Что морально, а что нет? На этой мысли мозг перегревается и отказывается думать.
Еще дальше. Простаки-манипуляторы вызывают раздражение. Но не потому ли, что приходится вступать в игру с теми, кто играет гораздо хуже? | 13 |
| 4 | Один мой приятель, англичанин, любил шутить: "all restaurants in Moscow are thematic, and the theme is -- you're not in Moscow".
Среди таких тематических ложно-азиатских и армянских церемониальных ресторанов особенную нишу занимают грузинские кафе.
Правила следующие.
Эти кафе обычно спрятаны на второй и третьей линии у проспектов и туристических улиц. Приходить в такие места надо вечером рабочего дня, чтобы гостей было не больше пяти. Обязательно надо прихватить с собой подругу или приятеля, это не место для одиночек.
Стены здесь украшены картинами с изображениями гор, виноградных лоз, нарочито усатых мужчин и женщин в этнической одежде.
Официанты здесь -- не вышколенные мишленовские роботы, которые не дают вам продыху. Нет, они намного лучше. Они ведут между собой философские беседы о жизни и смерти, напряженно курят смотря в даль, деловито расхаживают, им не до вас -- и все ради антуража.
Обязательно здесь есть "домашнее вино", каждый бокал которого имеет свой неповторимый вкус.
Вино льется под хачапури и хинкали, беседа движется поступательно, приятно, сладостно.
Берегись, именно здесь многие совершают ошибку, ведь можно ненароком признаться как по пьяни украл бокал из бара или изменил бывшей, что портит реноме навсегда.
Ужин надо завершать кофе с секретным десертом -- пеламуши.
Если только удастся попасть в такое место -- ведь они то появляются, то исчезают, как и все в нашей жизни. | 415 |
| 5 | +1 Я продвигаю мысль, что ключами к общему искусственному интеллекту являются две идеи:
1) модели мира — создать представление мира и объектов в нем, предсказывать что будет если произвести то или иное действие и т.д.
2) интуитивное/логическое мышление — умение создавать идеи и понятия интуитивно, но проверять и развивать их логически, в духе system 1 / system 2 по Канеману [1].
Вчера DeepMind опубликовали в Nature статью о AlphaGeometry, которая решает 25 задач из 30 на Международной математической олимпиаде за отведенное время [2]. Это очень серьезный уровень.
Как они это делают?
Делают логические выводы до тех пор, пока могут. В обратном случае — генерируют новый вывод с помощью LLM.
Похоже на system 1 / system 2, на которую они ссылаются [3].
Теперь представьте, что вместо symbolic engine — модель мира, вместо LLM — система целеполагания. Близко к AGI?
[1] https://en.wikipedia.org/wiki/Thinking,_Fast_and_Slow
[2] https://www.nature.com/articles/s41586-023-06747-5
[3] https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/ | 661 |
| 6 | Я продвигаю мысль, что ключами к общему искусственному интеллекту являются две идеи:
1) модели мира — создать представление мира и объектов в нем, предсказывать что будет если произвести то или иное действие и т.д.
2) интуитивное/логическое мышление — умение создавать идеи и понятия интуитивно, но проверять и развивать их логически, в духе system 1 / system 2 по Канеману [1].
Вчера DeepMind опубликовали в Nature статью о AlphaGeometry, которая решает 25 задач из 30 на Международной математической олимпиаде за отведенное время [2]. Это очень серьезный уровень.
[1] https://en.wikipedia.org/wiki/Thinking,_Fast_and_Slow | 1 |
| 7 | Длинный текст про синдром самозванца в R&D.
У одного из моих подопечных появился синдром самозванца, т.е. ему кажется, что он не обладает достаточными навыками и опытом чтобы справиться со своей ролью.
На 1:1 он не стал поднимать этот вопрос. Я же поостерегся это делать: он через одну ступень иерархии от меня и у меня были только подозрения. Попросил его тимлида поговорить с ним и тимлид подтвердил мои подозрения. Но вот что бы я ему сказал.
Во-первых и в главных, ты сам решаешь самозванец ты или нет. Это решение принимается у тебя в голове и ты являешься источником и опорой этого решения. Справишься ли ты, если вложишь 100% своих усилий, будешь держать удар, а еще сверху будешь работать очень умно и хитро? Чтобы ты сделал, если бы от результата зависела твоя жизнь? Это внутренний выбор и контракт с собой, который можешь сделать и заключить только ты.
Во-вторых, если у тебя синдром самозванца, ты ты сильно ограничиваешь свою производительность. Представь себе, что мы профессиональная футбольная команда, которая собирается участвовать в лиге чемпионов и у нашего вратаря внутренние переживания настоящий ли он вратарь или нет, учился ли он в нужной школе у нужного тренера и т.п., это просто абсурд, у нас нет времени на это.
В третьих, команде не нужен человек с синдромом самозванца. Если ты скромный, честный, коммуникативный, трудолюбивый, то тебя будут ценить и уважать, даже если какие-то задачи для тебя слишком сложны.
В четвертых, ценности контр-культуры девяностых уже давно в прошлом. Мы живем в мире бесстыдного само-продвижения. Многие позиционируют себя как светочи искусственного интеллекта, но кого-то сокращают на работе (а значит он далеко не top performer), а кто-то другой даже программировать не умеет. LinkedIn просто предельно токсичное место, я лично боюсь умереть от испанского стыда от преувеличений и лести самому себе. Дели все на 100. Читай и смотри только то, где получаешь информацию, а не пиар.
В пятых, если ты в своем развитии не дошел до какого-то уровня, то ты склонен недооценивать свои навыки и умения и переоценивать навыки и умения других. Просто потому, что набор навыков у вас разный. Скажи себе честно, в чем ты силен, а в чем слаб? (Возьми лисотчек, напиши это на нем, прицепи к холодильнику у себя дома.)
Наконец, реальная история из прошлой жизни. В одной западной компании у одного сотрудника возник синдром самозванца. Он пошел в группу поддержки людей с этим синдромом. Они, как полагается, сели в круг и каждый начал рассказывать про себя. Первый рассказал чем занимается. Наш герой подумал, что это очень круто и он бы мечтал быть на этом уровне. Второй рассказал чем занимается. Наш герой опять удивился крутости этого человека и подумал, что это сильно больше, чем он делает. Третий рассказал чем занимается. И тут герой понял, что у него синдром самозванца в группе поддержки людей с синдромом самозванца.
Завершая, самое главное, что я хотел чтобы вы запомнили из текста выше: ты сам решаешь самозванец ты или нет. И, давай, побежали, начинается новый сезон лиги чемпионов! | 456 |
| 8 | Нашел крутейшую трехмерную визуализацию трансформера с подробными комментариями:
https://bbycroft.net/llm | 909 |
| 9 | Тем временем любитель попал в топ лидербордов LLM для 7B моделей обучив DPO на открытых данных на бесплатном Google Colab используя заранее написанный ноутбук из тьюториала:
https://huggingface.co/CultriX/MistralTrix-v1
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
Впрочем, последнее скорее может говорить о качестве лидербордов. По всей видимости, сейчас более-менее реалистичные данные на ChatBot Arena:
https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard | 460 |
| 10 | Новый год — возможность взглянуть на свою жизнь с расстояния, понять что важно и ценно.
Друзья, я бесконечно благодарен за ваш интерес и внимание. Я не претендую на полноту и объективность, но я всегда пишу только о том, что интересно мне и только то, что думаю. Спасибо, что в это читаете!
Я желаю всем нам в новом году здравомыслия, спокойствия, мира, благополучия, крепкого здоровья и только приятных сюрпризов! С новым годом! С новым счастьем! | 405 |
| 11 | Сегодня в 12:00 участвую в дискуссии про ИИ на форуме «Нейротехнологии России 2023».
Трансляция: https://vk.com/video-114495362_456239053 | 506 |
| 12 | Лотерея аппаратного обеспечения (hardware lottery) описывает ситуацию, когда те или иные идеи выигрывают потому, что они хорошо подходят к существующему железу, а не потому, что являются лучшими по отношению к другим исследовательским идеям [1].
Видеокарты, на которых построено все современное глубокое обучение, появились из-за огромной индустрии компьютерных игр. Ей нужна красивая графика в реальном времени, а значит программируемая параллельная вычислительная техника.
Можем ли мы считать, что видеокарты -- лучшее или даже достаточно хорошее железо для следующего большого скачка искусственного интеллекта? Ответим, что пока прогресс есть и что зоопарк железа для искусственного интеллекта все больше и больше.
Будут ли через сто лет смотреть на эпоху видеокарт и глубокого обучения с иронией? Вопрос открыт.
[1] https://arxiv.org/pdf/2009.06489.pdf | 457 |
| 13 | Есть странная идея, что можно придумать осмысленную идею стартапа или бизнеса или исследования сидя у себя на диване.
Дело в том, что все желающие сделать это обладают примерно схожей информацией и приходят к схожим идеям, а значит вашу свежую идей скорее всего уже кто-то занимается.
Более живой вариант — использовать асимметрию информации, свой особенный опыт и знания. Спросить себя: чем особенным я обладаю и как я могу это применить? | 11 |
| 14 | Насколько большие языковые модели галлюцинируют информацию и можно ли с этим бороться?
В Technical Report Gemini описывается, как была сделана дополнительная обучающая выборка и до-обучение модели [1].
В таблице: factuality -- спрашивают фактическую информацию без подкладывания информации из внешних источников, attribution -- указывание источников информации если они были подложены в промпт, hedging -- модель говорит "не знаю" если она не знает.
Какие значения достаточны для ежедневного использования -- наверно открытый вопрос.
P.S. Как жаль что в этом поле еще не сложилась красивой терминологии типа калдунщиков и ранжирования :)
[1] https://storage.googleapis.com/deepmind-media/gemini/gemini_1_report.pdf | 428 |
| 15 | Ученые из National Ignition Facility (NIF) в США смогли получить реакцию, в которой выделенная энергия была больше поглощенной в 4 экспериментах из 6 за последний год.
https://www.nature.com/articles/d41586-023-04045-8 | 378 |
| 16 |  +2Немного снежной Москвы вам в ленту | 67 |
| 17 | По три раза на дню я читаю про "революцию в искусственном интеллекте". Мы попали в эхо камеру, заполненную всеми, от жадных до смутных (но стимулирующих!) карьерных перспектив офисных работников до "ученых-староверов", делающих исследования мирового уровня на тысячекратно меньших чем у западных коллег ресурсах.
Шаг первый: публикуется статья, хорошая, данные странноваты, идеи остроумны, выводы заставляют задуматься. Дальше идет упрощение, публикуется пост в блоге. Еще больше упрощение, кто-то слабо владеющий английским и глубоким обучением читает пост и публикует у себя. Тут конечно же идут возбужденные крики про сильный искусственный интеллект, замену человека и проч. и проч. Этим лозунгам столько же, сколько вообще теме искусственного интеллекта, от персептрона и далее.
Послушайте, чтобы продвинуть любую технологическую идею надо наделать шума. Люди медлительны, избегают перемен, просто заняты своими делами. Но "делая шум" ты должен 1) понимать что происходит, 2) искренне верить в то, что ты делаешь. При всех остальных условиях лучше не засорять эфир и поберечь энтропию вселенной, она и так высока непомерно. | 614 |
| 18 | Есть такой портал, https://www.techemails.com/, куда выкладывают открытые в результате юридических разбирательств внутренние имейлы.
Например, Джобс договаривается с CEO Adobe не хантить людей друг у друга:
https://www.techemails.com/p/steve-jobs-emails-adobes-ceo
Эрик Шмидт (Google) обсуждает покупку YouTube:
https://www.techemails.com/p/google-looks-at-acquiring-youtube
И, мое любимое: основатели Instagram обсуждают войдет ли Цукерберг в режим уничтожения если они откажутся продавать Instagram:
https://www.techemails.com/p/instagram-cofounder-on-mark-zuckerberg | 306 |
| 19 | Вышла статья для которой удалось поработать руками, на этот раз про оптимизацию конформаций молекул:
https://arxiv.org/pdf/2311.06295.pdf
Мое выступление в Музее криптографии:
https://www.youtube.com/watch?v=Azq3nH7pWvg&t=1087s | 216 |
| 20 | The Atlantic еще раз показал пример качественной журналистики, опросив с десяток сотрудников OpenAI и выпустив отличную статью о расколе в OpenAI. Меня позабавила мысль о Суцкевере, сжигающем чучело AGI :)
[...] Sutskever led employees in a chant: “Feel the AGI! Feel the AGI!”
[...] Sutskever commissioned a wooden effigy from a local artist that was intended to represent an “unaligned” AI—that is, one that does not meet a human’s objectives.
https://www.theatlantic.com/technology/archive/2023/11/sam-altman-open-ai-chatgpt-chaos/676050/
https://archive.is/Vqjpr (если вдруг у вас нет подписки)
Удивительно много внимания все уделили этой возне вокруг OpenAI. Мыслей много, но я постараюсь быть коротким.
"Кормена не надо читать, Кормена надо писать".
Sapienti sat. | 331 |
