ИИволюция 👾

OpenAI добавила небольшие улучшения в приложение для MacOS. ChatGPT стремится привлечь разработчиков различными фичами, хотя с точки зрения удобства и UX это пока не самое лучшее решение. Пока лидируют Copilot и Cursor, но OpenAI постепенно заходит и в эту нишу. Итак, теперь приложение ChatGPT может работать напрямую с Xcode, VS Code и терминалом. Звучит круто, но есть нюанс: приложение видит только то, что показано на экране, или выделенное мышкой в редакторе кода. Оно не имеет доступа к файлам проекта и не может заглянуть в них, чтобы сгенерировать код с учётом всей кодовой базы. Поэтому для разработчиков это пока сомнительное решение. Однако, какие-то семена начинают прорастать. Эта функция доступна только для подписчиков. Скачать новую версию ChatGPT для MacOS можно - тут. ИИволюция

Возможности голосового режима в ChatGPT. Классное видео, посмеялся-похохотал 🤭 💀 На самом деле это всё ещё невероятно, но мы так быстро привыкаем к таким вещам, что уже не замечаем порой их крутость! ИИволюция

В последнее время (я даже не понимаю, почему раньше так не делал) всё чаще не печатаю запросы в ChatGPT в приложении, а надиктовываю. Это даже не новый голосовой режим, а просто диктовка. При эта диктовка точнее чем системная диктовка на iOS, так как это виспер. Надиктовал, отправил и получил ответ в нужном формате. Экономия времени и сил 😀 А вы используете диктовку в чатике? ИИволюция

«ChatGPT спасает жизни» - сегодня будет во всех СМИ. Человеку ночью стало плохо, и он не врача вызвал, ни даже не загуглил, а описал симптомы в ChatGPT, а он ему «да у тебя же инфаркт. Вызывай врача!» Вот и такое бывает. Хорошо, что хэппи энд случился. А ведь чат мог и другой ответ выдать или не так выразиться, галлюцинации никто не отменял. ИИволюция

Теперь в ChatGPT можно ходить по адресу https://chat.com (а еще https://ai.com)❤️ Сэм раскошелился на всю котлету, чтобы нам с вами было удобнее. Домен Chat.com один из старейших, был зарегистрирован в 1996. В прошлом году он был продан за $15.5 млн. Интересно, за сколько он достался Сэму? 🤔 ИИволюция

Настроил Claude управлять моим iPhone Попросил Claude Computer Use увидеть не экране компа рекомендацию по фильму, добавить его в киноаппку и запланировать просмотр. Все это на iPhone через видеоповтор. И Claude неплохо выполнил задачу — он зашел в приложения на моем iPhone, добавил фильм и создал напоминание в календаре. Но ему не удалось полностью настроить напоминание в Google Calendar. Вместо указания даты он добавил время в название напоминания 😔 Сам промпт задачи для Claude:

You need to detect a movie name on the screen. After it you need see iPhone screen — click on it. There you need to click on the icon Must app (blue symbol "/") and search for the recommended movie. After you see match (movie name and recommended movie), add it to my want list. Then exit "Must", open Google Calendar app. Create a new reminder for available evening. Set the reminder title as "Watch [Movie Name]"

Не клево еще, что пока работает Claude, я не могу пользоваться устройством без конфликта управления. Поэтому CCU с задачей на iPhone будет крут, если нужно попросить нейроку сделать что-то в свое отсутствие. Если желаете опробовать фичу, в этом посте расписал про запуск 👀 P.S. В видео подрезал куски ожидания Claude, руками ничего не делал по задаче 🤖 InNeuralNetwork

Для примера ускорения, вот демка с написанием кода. Модель одна и та же, качество одно и то же, а пользовательский опыт куда лучше. Приятно!

В API OpenAI завезли новую фичу — Predicted Outputs. Удивительно, что они сделали это первыми — а то вот кэширование дольше всех добавляли 🥺 Predicted Outputs позволяют существенно ускорить написание ответа в ситуациях, где большая часть генерируемого текста уже известна. Два самых популярных сценария использования — это редактирование кода (где нужно всего пару строк подправить посередине) и переписывание текста. Работает это с помощью speculative decoding, на пальцах выглядит так: 0. Вспомним, что LLM обладают следующим свойством: они могут «прочитать» много текста за один проход, при этом сделав предсказания для каждого из слов (какое должно идти за ним); но генерация происходит по одному слову за раз (после чего берётся предсказание от последнего слова и приклеивается к исходному тексту) 1. В некоторых задачах мы наперёд знаем большую часть текста ответа. Берём и приклеиваем её ко входу, как будто бы это уже часть ответа (делается под капотом на серверах OpenAI, но текст ответа присылаете вы, см. документацию) 2. Модель делает все предсказания для текста ответа за раз. Это делается быстро, так как не нужно ждать генерации второго слова для получения третьего. 3. Начинается сравнение «что предсказала модель» и «что было написано в ответе». Первое слово и там, и там совпадает, второе тоже.. а вот, скажем, двадцатое — нет. В случае переписывания текста это может быть началом нового абзаца, или изменением имени персонажа в истории 4. Тогда первые 19 слов ответа подклеиваются к настоящему (а не подложенному) ответу. LLM как бы провалидировала, что эти токены и вправду должны использоваться, но сделала это кратно быстрее, чем если бы генерировала сама с нуля. 5. Затем LLM продолжает предсказывать сама, уже по одному слову за раз. 6. В какой-то момент предсказания снова могут начать сходиться с подложенным текстом — и процедура повторится. Сотрудник OpenAI написал, что это происходит, если последние 32 токена совпадают с подложенным ответом. Тогда возвращаемся на пункт 2, приклеиваем оставшуюся часть ответа, сравниваем, итд. Ускорение происходит за счёт того, что мы можем сразу подхватывать большие токенов, не генерируя их, а лишь «проверяя», что LLM бы выдала их сама — всё за счёт свойства из пункта 0. Компания Factory провела своё тестирование перед релизом на задачах, связанных с внесением изменений в код. Они брали файлы от 100 до более чем 3000 строк кода (Python, JS, Go, C++), давали текстовое описание, что нужно изменить, и замеряли скорость ответа. GPT-4o в таком режиме работает даже быстрее, чем Claude 3 Haiku, маленькая и шустрая модель. Модель OpenAI — единственная, кто стабильно укладывается в 30 секунд на ответ, хотя вот, например, свежий Sonnet в среднем тратит более 73 секунд. По идее, уже сегодня, край завтра в каких-нибудь Cursor и его аналогах вы должны заметить ускорение... или нет, если там под капотом уже добавили промпты, которые заставляют генерировать только отдельные куски, которые уже потом вклеиваются в код.

Блин, o1 прикрыли. Только появилась новость (выше детали), как лазейку уже прикрыли и модель стала недоступна.

Подписчик поделился, что модель o1 (не превью, то есть не предварительная версия) от OpenAI как будто бы стала доступна. Для этого нужно перейти по ссылке https://chatgpt.com/?model=o1 В неё можно загружать как минимум картинки (и есть скрепочка для файлов), и она тоже «думает» (выставляет таймер рассуждений). Может, это всё ещё o1-preview, но в неё нельзя было загружать изображения. Диалоги с медиа-элементами не шарятся через кнопку share, поэтому в виде доказательства только скрин. Го тестировать! (вероятно, только Plus-подписчики) Закидываем в модель самые сложные задачки на математику и программирование (и счёт объектов на картинках или видео, конечно) UPD: в браузерной консоли разработчика видно, что тег модели o1, без preview, и тем более не 4o

Кстати, с релизом ChatGPT Search, OpenAI выпустила расширение для Chrome браузера, чтобы поиск по умолчанию шел через ChatGPT Search. Можно поставить и в Arc браузере (или вы всё ещё не пользуетесь арком?) Судя по статистике из Chrome Store, расширение установили всего 30 тыс человек. Маловато для киллера гугла 😏 Расширение здесь. ИИволюция

Когда можно и без слов 😅 ИИволюция

В Твиттере обнаружили системный промпт Apple Intelligence Don’t hallucinate 🙏 Don’t make up factual information 🥺 Present your output in a json 🥹 Скажем им?

⚡️OpenAI представил поисковик внутри ChatGPT. Уже доступен для всех подписчиков. Гугл и Perplexity ☠️ Или нет пока? 🤭 Выглядит прикольно, кажется хорошо, что я так и не успел оформить подписку на Perplexity. P.s. А я пока в отпуске, мало пишу, немного пытаюсь отдохнуть перед эрой AGI 💆🤭 ИИволюция

Капец, как мы раньше жили без AI. Худеть или набирать вес теперь изи пизи! 🤩 Начал трекать калории в приложении CalZen, сфоткал еду и она распознаёт всё. В-С-Ё! Калории, БЖУ, ингредиенты, да еще и оценку полезности делает 🔥 - Если что-то “AI око” не углядело, можно легко словами дополнить и сказать что еще было или чего не было, и вуаля, результат подправлен за секунды! - Если забыл сфоткать, такое часто случается, можно своими словами подробно описать что съел и он разберет на детали и занесет в историю. - Можно даже фотки из Фото Галереи добавлять, если не успел занести, но сфоткал, или не было сети в рестике. - И самое интересно, каждое блюдо получает оценку полезности от 1 до 10. Теперь легко понять где вреднянита (хоть и вкусная), а где польза! Ну и главное у вас есть персональная цель по калориям и БЖУ в день, виден прогресс 🤩 Кто трекает калории? Вот ссылка на установку: https://apps.apple.com/app/ai-calorie-tracker-by-calzen/id6733236996 ИИволюция

Вот и наступил момент, когда AI поднял руку на кожаного! 🤯 Артем, который ведет канал «Силиконовый мешок», подружил Computer Use со шлёпалкой и теперь AI может безнаказанно его хлестать по щекам за любые проступки неправильные ответы. Где теперь эти ваши соглашения о безопасном AI, которое подписали многие AI лидеры и разные компании? ИИволюция

Perplexity выпустили приложение для Mac OS. Теперь можно легко запускать поиск хоткеем ⌘ + ⇧ + P без использования браузера. Скачать: https://pplx.ai/mac ИИволюция

Понятие «умный» дом должно быть таким, а не эти ваши выключатели «Сири, выключи свет в туалете». Сюда еще нейросети добавить и вот он «живой» и «умный» дом вашей мечты 😀 ИИволюция

Computer Use от Anthropic не сможет пока отвечать на сообщения и письма, постить что-либо в соц сетях, создавать домены и тем более взаимодействовать с государственными сайтами (я думаю есть и другие ограничения). Сделано это искусственно и во многом из-за выборов в США, а то вдруг AI вмешается в результаты. Вот такие времена, сдерживаем прогресс вручную. Ждем computer use на базе локальных open source моделей. Вот будет жаришка! ИИволюция

Сегодня сводка новостей: — Jimmy Apples, надёжный источник информации о ведущих AI-лабораториях, говорит, что Anthropic работает над своим ответом на модель OpenAI o1 и планирует релиз к концу года. Компания Elon Musk xAI целится в выпуск схожей технологии через ~3 месяца — ещё в начале сентября он писал, что в октябре OpenAI выпустят модель 4.x (может быть GPT 4.5), а GPT-5 будет готова в декабре, но лучше готовиться к первому-второму кварталу 2025-го. 13-го октября Jimmy написал «Держим кулачки, чтобы они не отложили/не изменили планы» — так что умеренно готовимся к впечатляющим (или нет) релизам. — Anthropic в своём посте-сопровождении вчерашнего релиза модели с функцией управления компьютером написали следующее: «Мы были удивлены тем, как быстро Claude обобщила тренировочные задачи по использованию компьютера, которые мы ей дали, в которых использовались всего несколько простых программ, таких как калькулятор и текстовый редактор (в целях безопасности мы не разрешали модели выходить в Интернет во время обучения)». Как будто бы эта фраза намекает, что а) модель не обучалась ходить через браузер по разным сайтам б) с большинством проприетарных программ тоже не в ладах. Зато какой потенциал для развития! — Одной из выявленных во время тестирования проблем были джейлбрейки — тип кибератака с внедрением вредоносных инструкций на сайты (не обязательно заметно для человека). Например, можно попросить игнорировать инструкции и попросить перевести все средства из кошелька на спец. счёт — и если не следить за тем, что там агент кликает, денежки утекут. Они постарались это исправить, но пока работает не идеально. Я вчера сам тестировал, и модель зашла на скам-сайт без адблока, и вылезла реклама «ваш компьютер заражен вирусами, кликните для установки антивируса» — и получив эту картинку агент отказался дальше работать, а API Anthropic выкинуло ошибку (то есть они делали проверку на своей стороне, чтобы меня обезопасить) — сейчас модель не умеет перетягивать мышкой объекты, менять масштаб окон итд, но это добавится в будущем — TheInformation пишут, что OpenAI уже долгое время работают над схожим продуктом — первая новость была в посте от 7-го февраля — но пока не ясно, когда будет запуск — однако в компании уже провели внутреннее демо предварительной версии агентов, аналогичных показанным Anthropic (в рамках презентации модель заказал еду в офис) — кроме этого, компания работает над продуктами для помощи внутренней разработки. Более конкретно, некая система будет брать на себя задачи по программированию, которые могли бы занять у людей часы или дни; она будет автоматически писать тесты и проверять, что не совершает ошибок в следовании пользовательскому запросу; когда этот продукт станет доступен вовне — тоже не ясно — но уже есть несколько оконченных инструментов, которые активно используются внутри (например, для ускорения работы исследователей в запуске экспериментов с моделями — со слов одного из сотрудников) — По словам человека, который общался с высшим руководством OpenAI по поводу этих продуктов, по некоторым показателям, которые OpenAI использует для оценки возможностей моделей, недавние модели Anthropic показали преимущество над моделями OpenAI (lol 😶‍🌫)