Димагогия

Я теперь в Барселоне Кто тоже здесь? Пишите в комментарии/личку, может бранч организуем, или даже тусу!

Мне очень нужно, чтобы вы подумали над концептом масштабируемого и немасштабируемого труда по Талебу. Это пригодится для моих следующих постов. Вот саммари от GPT4.5.

Нассим Талеб делит профессии на два основных типа в зависимости от того, как доход или успех человека соотносятся с усилиями: 1. Линейные (немасштабируемые) профессии Это профессии, в которых доход прямо пропорционален затраченному времени и усилиям. Здесь практически невозможно получить резкий рост доходов без существенного увеличения вложенного труда или времени. Эти профессии имеют явный потолок, зависящий от количества часов работы. Примеры: • врач, принимающий пациентов лично; • парикмахер, работающий с клиентами; • таксист или водитель; • преподаватель, дающий частные уроки. 2. Экспоненциальные (масштабируемые) профессии Это профессии, в которых человек может получить огромный и непропорционально высокий доход за счёт небольшого или ограниченного увеличения затраченных усилий. В таких профессиях доход не ограничен временем или физическими ресурсами и может резко возрастать. Примеры: • автор книги-бестселлера (написание книги один раз может принести многомиллионные доходы); • программист, разработавший популярный цифровой продукт; • музыкант или актёр, чьё произведение распространяется по всему миру; • предприниматель, построивший успешную компанию. Ключевая идея Талеба Основная разница заключается в том, что в масштабируемых профессиях (экспоненциальных) вознаграждение может резко вырасти без линейного увеличения усилий, тогда как в немасштабируемых (линейных) профессиях доход всегда ограничен временем и физическими ресурсами человека. Талеб советует выбирать экспоненциальные профессии, если человек стремится к неограниченному успеху и финансовой независимости.

Тайминг у продуктов Не исследование, но наблюдение. В инвестировании есть эвристика: если все вокруг говорят о компании Х, инвестировать в нее уже вряд ли стоит. Есть исключения, но для хороших иксов расхайпованые компании как правило подходят плохо. Что-то похожее я замечаю в продуктах. Если на рынке уже заметен технологический тренд (например, на генерацию AI аватаров), то лезть туда с еще одним похожим стартапом уже поздно. Компании, которые были созданы два года назад уже наглотались пыли, получили море инсайтов с рынка и давно нетворкают с ключевыми игроками. По сравнению с ними, новая компания, даже с инвестициями, выглядит как отъевшийся школьник на спортсмена универсиады. Это не значит, что у школьника нет шансов, просто его отставание уж слишком велико, чтобы играть на равных. Отчасти это та же концепция blue/red ocean, только с фокусом на ранние стадии развития технологии. Может быть, кто-то из вас уже читал что-то на эту тему?

Сегодня у этого красавчика юбилей!

Реальный размер контекста больших языковых моделей Размер текста, который можно отправить на вход языковой модели ограничен. В ChatGPT-3.5 стандартное окно было 4 тысячи токенов. В десктоп версии модели 4o раньше было доступно 16к токенов, потом 32к, сейчас 80-128к. Топовые модели Grok и Gemini (а затем и OpenAI зарелизили 4.1) не так давно начали поддерживать миллион токенов. Измерять контекст в токенах не очень наглядно, поэтому вот пример с конвертацией токенов в слова и текстовые записи встреч. В пределах одного языка погрешность будет +-20%, что не помешает наглядности. 32к токенов ~ 25к слов ~ 3 часа текста разговора 128к токенов ~ 100к слов ~ 12 часов разговора 1M токенов ~ 800к слов ~ 100 часов разговора Итак, в GPT-4o поместится в лучшем случае 12 часов зум звонков, предварительно переведенных в текст. Вообще, не так уж и мало для повседневных задач. Насколько точно модель будет оперировать этим контекстом? С какой вероятностью LLM "забудет" факт, упомянутый на 40 минуте встречи, когда будет отвечать на запрос? Если окажется, что из 100к слов модель может запомнить лишь 10%, то толку от 128к токенов немного. Реальный размер контекста будет гораздо меньше. Существует несколько подходов к измерению реального размера контекста, но мне больше всего нравится "игольчатые" бенчмарки. В них в большой входной контекст прячут несколько фактов в рандомные места входного промпта и изучают вероятность их потери. Самый известный бенчмарк называется needle-in-a-haystack, но он не единственный. Результаты таких бенчмарков довольно грустные. Ниже будет график из последнего релиза GPT-4.1. Если вы хотите, чтобы модель учла при ответе 8 конкретных деталей (например, упомянутых на разных встречах числах), то даже при размере контекста 32к правильный ответ вы получите в 23% случаев. На миллионе токенов вероятность правильного ответа ожидается от 3% до 19% в зависимости от конкретной модели. Какие выводы? Работать с большим контекстом и ожидать нормального результата можно. Но только до тех пор, пока результат критически не зависит от небольших деталей. Иначе придется либо самому за этими деталями следить, либо ожидать выполнение задач на уровне стажера с отмазками "я не думал, что это важно / забыл / впервые об этом слышу". Ну и конечно же помнить, что реальный размер контекста гораздо меньше заявленного. Если в модель можно запихнуть миллион токенов, то качество будет гораздо хуже, чем на 16к контекста.

За трехчасовой перелет прочитал https://ai-2027.com/ Это больше похоже на саенс фикшн, чем на прогноз. Не потому, что там описание какой-то фантастики, а потому что там довольно художественный текст без анализа допущений/погрешностей. Разным вариантам развития там уделено не очень много внимания. - Если бы в статье был описан горизонт пятнадцати лет, а не двух, то она бы завирусилась с гораздо меньшей вероятностью - До прочтения я был скептичен относительно сроков. После прочтения я все еще думаю, что все сроки надо умножать на 5-7. Но, надо признать, это почти ничего не меняет. - Во имя популяризации авторы описали только два варианта из сотен возможных. Тем не менее это очень хорошая отправная точка для размышлений. - Гораздо более важная ссылка, это непосредственно оценки конкретных событий (прогноз вычислительных мощностей, времени до создания superhuman developer) https://ai-2027.com/research

Сижу, жду, пока у одного священника на западном побережье США начнется воскресная служба. Казалось бы, при чем тут я? Дело в том, что они хотят переводить проповеди для своих не-нейтив прихожан. Сегодня переводят на русский и испанский. У церквей достаточно денег, чтобы платить нам за AI перевод, но недостаточно, чтобы нанимать профессиональных переводчиков и платить за специальное оборудование. А я слежу, чтобы все хорошо прошло. Все по продуктовой науке: на ранних этапах работаю индивидуально с каждым клиентом.

Знаете, у гуру стартапов вроде Питера Тиля и Пола Грэма есть набор универсальных советов о том, как правильно создавать и выращивать компании. Казалось бы: прочитал три книжки и создавай себе успешные продукты, все давно известно. Но почему-то у нас не стало х100 единорогов за последние два десятилетия (интересный топик для анализа, кстати). У меня появляется ощущение, что любой из этих советов подходит компаниям только в 95% случаев. Из-за того, что этих советов явно больше 20, то в каждой компании 5% решений должны идти в противоречие успешным гайдам о том как строить стартапы.

Ищу middle+ и senior backend разработчиков для часовой консультации Надо посмотреть на доки нашего API и прожарить его во время звонка со мной. Что понятно, а что нет, что можно улучшить, итд. С меня денюжка по часовой ставке + любая нематериальная консультация/обмен опытом. Если есть желание помочь – пишите @heydyago. UPD: горшочек, не вари, все свободные слоты слоты для звонков разобрали. Если вы хотите сделать свой пет-проект/микро-саас на теме AI голосового перевода/субтитров – пишите мне и я выбью самые вкусные условия.

Я всегда с подозрением относился к историям вроде "пишу описания задач в Jira через ChatGPT". Если у LLMки нет необходимого контекста, а ты способен связно писать, то на выходе получится скорее просто отредактированное сообщение. Пользы от такого мало. Другое дело, если на вход LLMке передать 10 транскрипций разговоров с пользователями о новом функционале, а потом еще добавить несколько часов обсуждения технической реализации с инженерами. Тогда на выходе получится великолепное руководство, контекста хватит с головой. Но почему-то я не могу найти "историй успеха" о таком использовании LLM в продакт менеджменте.

Хорошо, что я написал этот пост еще вчера. Сегодня ответы на большинство вопросов мне кажутся очевидными и не стоящими упоминания. Хотя за выходные я потратил часа четыре, чтобы во всем этом разобраться. Отчасти, поэтому я не пишу сюда про 90% моих исследований. Если хотите, чтобы я раскрыл одну из тем поподробнее – напишите комментарий к этому посту. Рассказывать обо всем очень затратно, а закапывать экспертизу у себя в голове – жалко.

Вот список тем/вопросов в консьюмерских LLM, в которых я пока не разбираюсь - Какой размер контекста способны держать в памяти разные LLM модели? Можно ли его увеличить, загружая в модель файлы, а не текстовые данные в интерфейс чата? Если создать CustomGPT, увеличится ли размер контекста для той же модели при прочих равных? - Как работает поиск информации по имеющемуся контексту? Насколько сильная компрессия происходит/насколько много деталей теряется? Зависит ли это от размера контекста? Какие детали теряются в первую очередь? - Какие сейчас лучшие способы борьбы с галлюцинациями? Правда ли, что по-нормальному избавиться от галлюцинаций можно только с помощью цепочек промптов через API? Реализовал ли кто-нибудь user-friendly решения с повышенной точностью за счет множественных проверок ответа? - Какие сейчас лучшие способы генерации промптов? Какие модели лучше всего подходят для подготовки промптов перед их отправкой в топовые модели? - Насколько глубокий поиск возможен при использовании Perplexity, GPT o3, Claude? Существуют ли ограничения вроде "не ищем дальше второй страницы гугла", "фильтруем утечки корпоративной информации", "личные данные выдаем только при условии ..." ? - Существуют ли инструменты для поиска по страницам, скрытым логином? Как искать такие инструменты?

Вот список тем/вопросов в консьюмерских LLM, в которых я пока не разбираюсь - Какой размер контекста способны держать в памяти разные LLM модели? Можно ли его увеличить, загружая в модель файлы, а не текстовые данные в интерфейс чата? Если создать CustomGPT, увеличится ли размер контекста для той же модели при прочих равных? - Как работает поиск информации по имеющемуся контексту? Насколько сильная компрессия происходит/насколько много деталей теряется? Зависит ли это от размера контекста? Какие детали теряются в первую очередь? - Какие сейчас лучшие способы борьбы с галлюцинациями? Правда ли, что по-нормальному избавиться от галлюцинаций можно только с помощью цепочек промптов через API? Реализовал ли кто-нибудь user-friendly решения с повышенной точностью за счет множественных проверок ответа? - Какие сейчас лучшие способы генерации промптов? Какие модели лучше всего подходят для подготовки промптов перед их отправкой в топовые модели? - Насколько глубокий поиск возможен при использовании Perplexity, GPT o3, Claude? Существуют ли ограничения вроде "не ищем дальше второй страницы гугла", "фильтруем утечки корпоративной информации", "личные данные выдаем только при условии ..." ? - Существуют ли инструменты для поиска по страницам, скрытым логином? Как искать такие инструменты?

Почти под новый год наш микро-сервер на vast.ai получил галочку "верифицировано" Его стали в разы чаще арендовать. За январь удалось заработать $50 и, кажется, это не предел. Что такое верификация? Это набор тестов, которые команда vast.ai проводит на твоем серваке. Скорость получения верификации сильно зависит от того, насколько крутое у тебя оборудование. Поскольку у меня довольно базовый хардвар, ждать верификации пришлось 4 месяца. С одной RTX 3090 окупаемость получается примерно 2 года. Можно было бы добавить еще одну видеокарту, и окупаемость бы ускорилась до года с небольшим, но неизвестно сколько я еще буду в Ереване. Поэтому решил не усложнять и оставить все так, как есть. С учетом того, что можно продать компьютер с небольшим дисконтом, в относительных величинах получается неплохо. Я поручил ассистенту собрать Custom GPT, в базе знаний которого лежат обсуждения хостов vast.ai из дискорда. Получился хороший поиск/суммаризатор по чатам, где другие ребята, которые сдают видеокарты на vast.ai обсуждают множество деталей. Оказалось очень удобно узнавать, как долго получать верификацию, чтобы твой сервер арендовали чаще. Это сильно зависит от стоимости твоего оборудования. Вот примеры. - две+ топовых видеокарт H100: верификация проходит за несколько дней - четыре RTX 4090: где-то за месяц - две RTX 3090: три-пять месяцов Получается, чтобы не замораживать деньги на 4 месяца, надо было просто покупать оборудования на $5-10к, а не на гроши.

Почти под новый год наш микро-сервер на vast.ai получил галочку "верифицировано" Его стали в разы чаще арендовать. За январь удалось заработать $50 и, кажется, это не предел. Что такое верификация? Это набор тестов, которые команда vast.ai проводит на твоем серваке. Скорость получения верификации сильно зависит от того, насколько крутое у тебя оборудование. Поскольку у меня довольно базовый хардвар, ждать верификации пришлось 4 месяца. С одной RTX 3090 окупаемость получается примерно 2 года. Можно было бы добавить еще одну видеокарту, и окупаемость бы ускорилась до года с небольшим, но неизвестно сколько я еще буду в Ереване. Поэтому решил не усложнять и оставить все так, как есть. С учетом того, что можно продать компьютер с небольшим дисконтом, в относительных величинах получается неплохо. Я поручил ассистенту собрать Custom GPT, в базе знаний которого лежат обсуждения хостов vast.ai из дискорда. Получился хороший поиск/суммаризатор по чатам, где другие ребята, которые сдают видеокарты на vast.ai обсуждают множество деталей. Оказалось очень удобно узнавать, как долго получать верификацию, чтобы твой сервер арендовали чаще. Это сильно зависит от стоимости твоего оборудования. Вот примеры. - две+ топовых видеокарт H100: верификация проходит за несколько дней - четыре RTX 4090: где-то за месяц - две RTX 3090: три-пять месяцов Получается, чтобы не замораживать деньги на 4 месяца, надо было просто покупать оборудования на $5-10к, а не на гроши.

Почти весь AI софт у меня сейчас ассоциируется со слепыми котятами Есть куча "работ", которые уже сейчас технологически можно делать с помощью AI. Вокруг этих технологический возможностей строят тысячи продуктов. Но пока вместо успешного выполнения этих работ (ловли мышей) я вижу только робкие попытки шагать в эту сторону. Уже год я пробую разные транскрибаторы встреч, и так и не нашел тот единственный. У всех какие-то продуктовые проблемы, которые убивают всю ту пользу, которую я теоретически мог бы получить от использования этого софта. А вчера я захотел найти AI аналог кранчбейза, который бы по названию стартапа доставал всю публично доступную информацию с первых двух страниц гугла. И, увы, я нашел всего два "приемлемых" ваианта: - Час промпт инжинирить сразу в двух LLMках от OpenAI (4o + o3-mini-high) - Скачать себе на комп Scourhead (а потом час разбираться, как он работает) Я регулярно захожу на https://theresanaiforthat.com/. Сейчас там:

30,322 слепых котят AI tools for 15,912 tasks and 4,986 jobs

Кто-нибудь хочет поучаствовать в закрытом бета-тесте нашего приложения-переводчика? Можно переводить только себя. А можно подключиться к Zoom/Google Meets и включить двусторонний перевод. Собеседник будет слышать перевод на свой язык, а вы – перевод собеседника в реальном времени. С меня доступ к приложению, с вас – обратная связь. Пишите в комментарии или в личку, если хотите попробовать.

Вот лучший в мире бизнес. У Rocketable (YC W25) идеальная бизнес модель: 1. Покупаешь любой software бизнес с выручкой как минимум $100k/год 2. Увольняешь всех сотрудников 3. Заменяешь их на ИИ, получаешь сверхчеловеческий перформанс 4. Профит Если вы не делаете такое, то я не понимаю вообще что вы делаете :)