Нейронный Кот

🤪 4x ускорение редактирования кода в gpt-4o OpenAI релизнули новую фичу, которая ускоряет генерацию — Predicted Outputs Для задач, где требуется редактирование ответа (например, кодинг), теперь можно передать новый параметр`prediction` в completions API. Работает примерно так: 1. Мы показываем, какой ответ должен быть 2. Chatgpt одним форвард пассом понимает, где надо исправить ответ (или не одним, если исправлять надо в нескольких местах) 3. Исправляет ответ только там, где надо Итого, тратится на ~порядок меньше форард пассов. 🔹Gpt-4o по скорости на таких задачах становится быстрее Haiku от антропика 🔹НО вас все равно чарджат за ваш "драфтовый" ответ по цене completion токенов 😠 Завтра все заходим в Cursor, выбираем gpt-4o, получаем ускорение в несколько раз 🚨 Ссылка на доку И Анонс в твиттере @neural_cat

⚡ ChatGPT Chrome Extension OpenAI выпустили официальное расширение, которое меняет вашу строку поиска с гугла на чатгпт. Можно полностью отказаться от поиска гугл! 👀 (я уже так и сделал) 🔹 Ссылка на расширение @neural_cat

OpenAI зарелизили поиск Почему у меня такие предложения по поиску? 😀 Я по-русски с chatgpt почти не общаюсь, в CS 1.6 не играю, новости особо не читаю 🐸🐸🐸 https://openai.com/index/introducing-chatgpt-search/

Слышали про kalshi? Портфельная компания YC, которая занимается "рынком предсказаний". По сути, обычные люди могут ставить ставки на события из реального мира. Самое популярное событие сейчас — "Who will win the Presidential Election?" (Trump vs Harris). Круто, что на такие события вообще разрешили делать ставки! Интересно, насколько вероятности в kalshi могут совпадать с вероятностями в реальной жизни? Как будто, очень близко, ведь люди ставят свои личные деньги, а не просто тыкают кнопку в опроснике. Там YC еще выпустило шортс про overnight success от Kalshi. Tl;dr — обычно, компании не выстреливают за неделю/месяц/год. Сначала нужно работать несколько лет 😠

У меня появился автокомплит в чатгпт 🤟

Как сильно OpenAI впереди? Почитайте, как они JSON schema конвертят в context-free grammar (CFG) Как я понял, другие популярные решения все еще завязаны на finite state machines (FSMs) и это не круто! 🤡 Blog post: https://openai.com/index/introducing-structured-outputs-in-the-api Docs: https://platform.openai.com/docs/guides/structured-outputs

Почему в API sonnet 3.5 до сих пор нет structured outputs? 🔪 (это когда ты говоришь, какая JSON схема тебе нужна на выходе) Они советуют заниматься какими-то дурацкими трюками, чтобы консистентность ответа повысить 1. Очень сильно попросить в промпте, какая схема тебе нужна 2. Добавить few-shot примеры 3. Сделать prefill ответа ассистента (это ты первые токены json-а сам пишешь) https://docs.anthropic.com/en/docs/test-and-evaluate/strengthen-guardrails/increase-consistency

Теперь не круто пользоваться poetry. Пользуемся uv или requirements.txt 😏

Моя первая веб аппка (telegram mini app) Пару месяцев назад в Twitter завирусилось веб-приложение, которое анализирует твиты и делает разбор личности в стиле: «Ты похож на волка 🐺, брат. Станешь мультимиллионером с вероятностью 99%». twitter.wordware.ai — было создано на no-code платформе от YC-backed компании Wordware. Я решил неспешно повторить нечто подобное для телеги, так как давно хотел разобраться в Telegram Mini Apps и веб-разработке. Сделал t.me/GigoGramBot/report — тут можно ради кеков проанализировать профиль/канал/бота по публичной инфе (аватарке, имени, никнейму, bio и постам в случае каналов) Раньше я никогда не делал production-ready веб приложений, поэтому захотел поделиться гайдом, как обычному python enjoyer-у сделать свою аппку 🔫😊🔫 Фронтенд 🟣v0 v0 умеет делать красивый дизайн, если в промпте просто указать «сделай красиво». ChatGPT и Claude хуже справляются с абстрактной задачей «сделай красиво» — у них часто получается не очень. Я же, не будучи дизайнером, не могу конкретно объяснить, что нужно улучшить (цвета, расположение, эффекты и т.д.) От кода, полученного от v0 я, в итоге, отказался, потому что там на выходе Next.js и куча всяких файлов-папок. Мне показалось это сложным, поэтому решил упрощать 🟣 ChatGPT (GPT-4o) и Claude (3.5 Sonnet) 🥴 С их помощью я накидал основу приложения через Create React App. Получился простой репозиторий с несколькими файлами, в которых легко разобраться. И я уже мог давать конкретные комменты по дизайну из v0 и прикладывать скриншоты к промптам. 🟣 В дальнейшем я остановился на ChatGPT, так как он предполагал, что я ничего не знаю, и давал базовые советы типа: «Сначала вызови команду npm install, создай такой-то файл». Эти советы немного раздражают, когда ты опытный разработчик, но в моём случае были полезны. 🟣 С помощью Cursor разработал весь функционал приложения. Кажется, я самостоятельно написал всего несколько строчек кода. Единственное — столкнулся с тривиальной багой, которую не могли пофиксить ни Cursor, ни ChatGPT, ни Claude. Только с выходом o1-preview её удалось исправить, лол. 🟣Сами Telegram Mini Apps оказались прикольными. Достаточно добавить один JS-скрипт, и становятся доступны все методы из документации. 🟣 Деплой через Netlify. Просто подключил GitHub-репозиторий, и всё само выкатилось. Больше ничего не делал. Цена: $0. 🥸🥸🥸 Бэкенд 🔹 FastAPI Здесь живут все эндпоинты для получения информации о юзернейме и предсказаний. Очень люблю FastAPI. Если вы ещё на Flask, то пора переходить! 🔹 Redis в качестве единственной БД Возможно, это не самое логичное решение, зато супер просто и быстро! У меня всего две операции: получить информацию по юзернейму или сохранить её. 🔹 Python Telegram Bot На этом фреймворке написан сам бот. В принципе, можно было бы и без бота, но для оплат нужен сервис, который отвечает на pre-checkout запросы. С помощью этого фреймворка такой сервис сделать очень просто 🔹 Сервер Арендовал Droplet на DigitalOcean, там же задеплоил приложение. Redis поднял через их Databases. Цена: $30/месяц за всё. 🔹 Оказалось, что сервера DigitalOcean заблокированы в РФ, поэтому подключил Cloudflare DNS + Proxy. Цена: $0. 🙂🙂🙂 AI часть 🟣 Написал пару функций, которые парсят доступную публичную информацию о пользователе или канале по юзернейму. 🟣Промпт скопировал у twitter.wordware.ai — у них можно форкнуть агента и посмотреть внутренности. Немного подкорректировал его, чтобы лучше работал для Telegram. 🟣 Использую GPT-4o с включенными Vision Capabilities и Structured Outputs. Эту фичу я больше всего люблю в современных ллм-системах. По сути, нужно задать pydantic модель (см. скрин) и она у тебя будет на выходе запроса (sic!) Цена: ~$0.1 за генерацию. Короче, попробуйте потыкать аппку (там 3 предсказания бесплатно), а я отвечу на любые вопросы про реализацию. 🤪 https://t.me/GigoGramBot/report

Дистиляция gpt-4o и o1-preview Openai релизнули фичу для дистиляции больших моделей в маленькие (gpt-4o-mini). Для этого появился новый флаг в completions — store=true Этот флаг сохраняет входы и выходы больших моделей на 30 дней, а также дает возможность смотреть и фильтровать сэмплы, чтобы отобрать наиболее качественный датасет для дистиляции. Подозреваю, что под капотом еще сохраняются логиты (или их часть), чтобы дистиляция получилась более качественной. Кстати маленькие лламы и геммы обучались именно через дистиляцию больших собратьев, и получилось хорошо 🥸 Также теперь можно удобно валидировать дообученные модельки через evals (прямо в UI openai) Инференс дистилированных моделек будет такой же по стоимости, как и fine-tuned моделек. https://openai.com/index/api-model-distillation/

Топ 100 консьюмерских аппок по версии a16z Раз в полгода a16z выпускают репорт по самым популярным приложениям с AI под капотом. Я прошелся по всем компаниям. Главные кейсы: 1) умные помощники 2) вселенные ботов для читчата (в основном, анимэ) 3) генераторы картинок 4) решатели домашек 5) редакторы фото-видео 🤫 Top 50 Gen AI Consumer Web Products: 1. AI Novelist - ai-novel.com 2. Blackbox AI - blackbox.ai 3. Candy.AI - candy.ai 4. Character AI - character.ai 5. Chatbot App - chatbotapp.ai 6. ChatGPT - chat.openai.com 7. ChatPDF - chatpdf.com 8. Chub.ai - chub.ai 9. Civitai - civitai.com 10. Claude - claude.ai 11. Clipchamp - clipchamp.com 12. Coze - coze.com 13. CrushOn - crushon.ai 14. Cutout.pro - cutout.pro 15. DeepAI - deepai.org 16. Doubao - doubao.com 17. ElevenLabs - elevenlabs.io 18. Gamma - gamma.app 19. Gauth - gauthmath.com 20. Hix.AI - hix.ai 21. Hugging Face - huggingface.co 22. Ideogram - ideogram.ai 23. InVideo AI - invideo.io 24. Janitor AI - janitorai.com 25. Leonardo - leonardo.ai 26. Liner - getliner.com 27. Luma - lumalabs.ai 28. MaxAI - maxai.me 29. Midjourney - midjourney.com 30. Nightcafe - creator.nightcafe.studio 31. Perplexity - perplexity.ai 32. Photoroom - photoroom.com 33. PicWish - picwish.com 34. Pixai - pixai.art 35. Pixelcut - pixelcut.ai 36. Pixlr - pixlr.com 37. Playground - playgroundai.com 38. Poe - poe.com 39. Quillbot - quillbot.com 40. SeaArt - seaart.ai 41. Speechify - speechify.com 42. Spicychat - spicychat.ai 43. Suno - suno.ai 44. Udio - udio.com 45. Veed - veed.io 46. Vidnoz - vidnoz.com 47. Viggle - viggle.ai 48. Vocal Remover - vocalremover.org 49. Yodayo - yodayo.com 50. You.com - you.com 🥚 Репорт @neural_cat

SGLang на проде 😏 Но главный прикол в том, что самое большое улучшение в latency мы получили не за счет перехода на более быстрый движок для инференса, а ... Мы переехали на сервера, которые находятся ближе к нашим пользователям! То есть переехали с европейских серверов на омериканские 🤫 До этого у всех провайдеров был shortage GPU Так что перед тем, как заниматься оптимизацией сервисов, займитесь оптимизацией передачи данных сети, особенно если вы работаете с медиа (картинки, аудио, видео)

Правда про few-shot learning Возможно, вы слышали, что OpenAI в 2020 в статье Language Models are Few-Shot Learners показали, что GPT-3 способна к in-context learning, если в промпте подать примеры выполнения ранее невиданной задачи. На деле же эминем в 2004 уже применял этот подход в своих работах YouTube Spotify Yandex Music @neural_cat

Файн-тюн GPT-4o и GPT-4o-mini Теперь модельки можно дообучать на своих данных. Инференс 4о будет стоить в ~1.5 раза дороже. Мини — в 2 раза дороже. В принципе, приемлемо Блогпост

Ищу NLP Engineer к себе в команду в exh.ai Мы все также US-based стартап (fully remote), занимаемся gen ai, делаем botify.ai, photify.ai. Продаем свои решения б2б клиентам. Что надо будет делать: * Разрабатывать апишку для наших б2б клиентов docs.exh.ai * Проводить АБ тесты на новые модели для диалога в botify.ai * Обучать, дообучать, инферить, промптить (👁), квантизовать, алайнить, оптимизировать, деплоить ллмки ⌨ Вакансия 🤵 Пишите мне @fursov Также ищем python бэкендера и продакта. Так что тоже пишите! UPD: уже не актуально

Неделю назад попробовали катнуть SGLang на прод в exh.ai Все метрики существенно просели 😟 Оказалось, что параметр repetition_penalty не был поддержан, поэтому все наши боты начали повторяться (похожие темы и сообщения в ответах) Час назад параметр поддержали. Будем пробовать снова, потому что SRT работает и правда быстрее 😍

FastHTML — кодим фронт на python Jeremy Howard, любитель Jupyter Notebooks, представил новую либу для написания веб-приложений на python. 1. Определяем страницы через эндпоинты, примерно как в FastAPI 2. Через Form(), Titled(), Ul() и тд пишем, как будет выглядеть страница 3. Деплоим через команду python main.py 👊 Звучит круто, НО кажется ребята все-таки опоздали на 5 лет. Как и Pynecone, про который я писал ранее Главная причина в том, что простое веб приложение намного быстрее написать через claude.ai, чем разбираться в непонятном синтаксисе fastht.ml. Я попробовал накидать веб аппку с помощью этого промпта. Я не знаю js, но получилось прям хорошо. Через fastht.ml я бы сидел неделю ковырял его И на код на скрине прям тяжко смотреть. Особенно на from fasthtml.common import * (не делайте плиз так, это плохая практика) Выводы: 1. Если хотим сделать простую демку, то юзаем gradio / streamlit 2. Если хотим написать норм приложение, то идем в claude с этим промптом (ну и учим js, товарищи!) Сайт Github @neural_cat

SGLang — еще один фреймворк для сервинга LLM Помните vLLM? Его выпустили люди, причастные к LMSYS Arena, 20 июня 2023 (чуть больше года назад!) Тогда vLLM пришел на замену TGI от huggingface и принес PagedAttention, механизм, который эффективно работал с памятью для KV cache, что позволило увеличить throughput в несколько раз С тех пор произошло несколько интересных моментов: 1. TGI поменял лицензию с Apache 2.0 на платную 2. vLLM стал более-менее стандартом индустрии 3. Появился новый игрок от NVIDIA — TensorRT-LLM с поддержкой FP8 и бэкендом для тритона 4. В TRT-LLM завезли KV cache reuse, который нам ускорил инференс на несколько десятков процентов 5. TGI вернули Apache 2.0 (pathetic 🤒) В целом, во все фреймворки быстро завозили новые модели (мистраль, mixtral, phi, qwen, etc), новые фишки (cache reuse, fp8, speculative sampling, In-flight Sequence Batching, etc). Эвристика для выбора движка была примерно такая: 🟡 Хочешь быстро и просто — используй vLLM 🟠 Хочешь очень быстро и сложно — используй TRT Теперь у нас новый сервинг от LMSYS: 1️⃣ user-friendly 2️⃣ easily modifiable 3️⃣ top-tier performance ТО ЕСТЬ 👆👆👆 1. Запускать можно также просто, как и vLLM 2. Все легко можно настроить и захакать, потому что все на python и в опен-сорсе 3. По скорости также, как и TRT-LLM GitHub Blog Post @neural_cat

Про новости LLM писать уже поднадоело, но вот краткое саммари анонсов последних дней: 🤖#1 OpenAI выкатил замену старой доброй GPT-3.5 Turbo — GPT-4o mini. То же, но дешевле и качественнее. Контекст 128k, поддержка языков как в большой GPT-4o, цена $0.15/$0.60 за 1M входных/выходных токенов (у 3.5 было $0.50/$1.50). https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/ Теперь у каждого большого игрока есть большая, качественная и медленная модель + маленькая и быстрая (GPT-4o mini, Gemini Flash, Claude Haiku/Sonnet) 🐬 #2 Mistral натренировал с NVIDIA 12B Mistral NeMo. Apache 2.0 лицензия, контекст 128k, вроде как бьют Gemma 2 9B и Llama 3 8B. Ну в целом неудивительно, она и побольше на треть. Из важного, модель мультиязычная и с function calling! Совпадает с моими ожиданиями в https://t.me/gonzo_ML/2821. https://mistral.ai/news/mistral-nemo/ 😼 #3 Apple разродился своей опенсорсной 7B LLM под названием DCLM-7B. Из плюсов, более открытая чем некоторые благодаря открытому датасету. Но в целом непонятно что с ней делать, когда есть Llama3, Gemma2 и Qwen2. https://x.com/_philschmid/status/1814274909775995087 🐁#4 А, да, HuggingFace выложил открытую SmolLM размерами 135M, 360M, и 1.7B для on-device инференса. Вроде как бьют Phi-1.5 и Qwen2 1.5B. https://huggingface.co/blog/smollm