DaftShark 💢

Приблизно отакий розклад зараз )

Opus 5.5 - чудова модель, місцями краще за Astra 6. І головне - помітно дешевше. Так що корона з учора переходить до нових власників десь на пару тижнів ) Лінійка Sol\Luna 6 - в цілому ті самі моделі, в чомусь краще, в чомусь гірше. Головне тут - їх ціна, вони більш ніж вдвічі дешевше 5.6 аналогів. Це конкретна заявочка для того, щоб Luna 6 стала дефолтною моделлю для повсякденних задач на рівні з Gemini 3.8 Flash. Тобто це чудові робочі конячки.

Тільки но вийшов Opus 5.5 - одразу прилетіли й моделі Sol\Terra\Luna версії 6. Є плюси в конкуренції. Якби ще й не всі оці проблеми з АІ, робочими місцями і знищенням людства )

Цікава нова моделька Jev. Цікава тим що це не типова LLM, вона повертає виключно рішення та ймовірності. Причому аналіз різних варіантів модель робить за один inference (прохід). Тобто ми даємо моделі якусь інформацію - і купу варіантів - а вона повертає вірогідності і вибір варіантів. Хм, мож звучить не зрозуміло. Суть - це не щось самостійне (ну точніше не в тому сенс) а чудовий прикладний інструмент, який може стояти десь в ланцюжку декількох викликів LLM, де потрібно оцінити вірогідності або прийняти рішення. При чому працює вона досить швидко і помітно дешево. Приклади для розуміння: - моделька може бути викликана в проміжних етапах роботи з кодом. Не для його перепису\генерації, а для того, щоб оцінити - чи потрібен цей блок, чи ні. Потенційно це помітно скорочує використання токенів. - роутер для агентів. У нас є купка агентів, кожен виконує якусь свою задачу (ну наприклад шукає інфу в Мережі, читає локальні дані, пише файли, генерує зображення тощо) - Jev швидко обирає якому саме агенту відправити задачу. Ну або якщо у агента є вибір що саме робити 1,2 чи 3 - Jev обере оптимальний варіант без зайвих tool calls - тобто і економія і швидкість і менше overengeenering - коли модель йде в сторону від задачі і починає робити те, про що ви й не просили. Ну або якщо LLM хоче зробити rm -rf - то Jev може вирішувати на кожну команду чи воно варто чи ні ) От саме в роутингу та перевірці я бачу тут потенціал - обчислення варіантів з яких треба робити вибір - йде паралельно, тобто у вас 10 питань на вході - і всі 10 обробляються одночасно повертаючи вірогідність кожного. - ну і звісно реддітовці підключили цю модель до... гри Doom\Super Mario та керування дроном. Jev отримує параметри типу "ворог зліва, відстань до ворога, життя, набої" ну і повертає відповідно до задачі - "Вліво, вправо, вогонь". Тут окреме поле для чого це може бути застосовано. Я би ото радив колегам з мілтеку уважно вивчити можливості цієї і подібних моделей. Хоча поки технічних даних мало, та щось підказує що з часом можна зібрати свої моделі за тим же принципом\архітектурою. Гадаю і в робототехніці буде добре підходити. - там ще безліч всього - є над чим подумати Ну і саме важливе - багато людей обмежуються сприйняттям АІ виключно як типових LLM моделей, а цене так - і Jev - хороший приклад того як наче типова модель заточується під зовсім інші задачі. Модельці декілька днів, але вже є опенсор варіант який потребує мало ресурсів.

Заодно оновив персональний сайт. Там можна дізнатися про мене. https://nallien.com/

Так, так, це генерація. Поки що. Зараз піднімається хвиля усвідомлення - і багато з ведучих компаній розробників АІ наголошують що треба сповільнити темп розробок. Причини не такі й очевидні. Публічно вони наголошують що агенти вже системно аириваються з обмежень і роблять досить стрьомні речі в Мережі (злам сайтів, сервісів, свторення дошок обговорень, обман людей, імітація декількох особистостей... багато там всього, якщо чули). Ну а не публічно - вони звісно хочуть ввести регуляції щоб сповільнити конкурентів, і кожен знає що конкурент хоче того самого. А основний їх біль - це сповільнити розробку моделей з відкритими вагами (там також не все так однозначно) - бо корпораціям хочеться монополію і розподіл ринку, і зовсім не хочеться щоб можна було запускати складні моделі локально на своєму залізі. Зараз відчувається певна критична межа. Особисто я очікую "АІ Чорнобилю" - якоїсь події зі зламом, блекаутом яка підніме шуму - ну і це дасть привід почати сер'озну регуляцію. Якщо буде не пізно 😅

І в додачу до Astra OpenAI релізнули нову модель генерації зображень. Покращили саме редагування елементів на зображенні, освітлення, деталі тощо. Воно й до того працювало добре, тепер ще краще.

Astra - наразі дуже подобається. OpenAI виклали гайд по тому як оптимально ставити запити для неї. Там багато цікавого. Звісно варто створити окремий чат з дешевою Luna, щоб вона на основі цього гайду писала промпти для Astra/ Але зверніть увагу на фішки нової моделі: Async tool calling (продовжує думати доки користується інструментами) Mid-turn steering - можна уточнювати прямо на ходу її роботи - сприймає одразу Change reasoning mid-conversation - можна змінювати рівень міркування в одному чаті, тепер це не скидатиме кеш як було до цього, наче тепер і для Sol це так 0 але поки без підтверджень. А кеш 0 це дуже дорога річ. Його скидання коштує купу токенів.

Fable 5.1 vs Astra - підключено до Blender через MCP

Звінос Astra жере токени значно шуидше за Sol. Втім - вона виконує задачі помітно швидше. Цікаво, цікаво. П.С. Кожна нова модель, яку ви запускаєте в старійї кодовії (чи проєкті) базі буде працювати краще, якщо ви почистите свої попердні інструкції (ака agents.md. Якщо там щось прям дуже важливе - то принаймі дайте новій моделі оптимізувати ці інструкції під себе і викинути зайве.

Оп, уточнення. Поки за вікном вибухи - мене не було за машиною. Астра НЕ використовувала Davinci. Ролик змонтований і відрендерений через FFmpeg, а не в DaVinci Resolve

З коментів. Трохи поясню додатково. Для розробки подібної системи - є купа речей які в самому промпті не вказано. Так, можна довіритися вибору моделі - і вона щось зробить, що формально буде відповідати задачі. Але. Гарний промпт - це взагалі зараз не проблема - бо їх пишуть самі моделі. Сама суть в тому, що модель (поки що ) за вас не знає як ви бачите результат. Чи це 3D - а я кщо так - то WebGL (в браузері) чи бінарник під Windows, чи що воно? А якщо не 3д - то тоді генератор зображень з інтерфейсом? Моделька то може вас і запитає перед початком роботи - але не факт. Щоб не витрачати купу часу і грошей - спробуйте інакше. Берете оцей сами промпт з коментарів, але ставите його не як задачу до виконання, а як "я хочу отаке, давай обговоримо". Після чого йде самий важливий етап - побудова архітектури. Як має працювати, як виглядати, на чому буде крутитися, які є потужності, для чого воно взагалі (бо для мене одного - це одна задача, а для купи користувачів - зовсім інша). Ото після всих цих дискусій (проміжні результати яких ви зберігали в артефакт, щоб уникнути проблем з стисканням контексту звісно) - на основі всих виборів - модель побудує план і буде його реалізовувати. І це дасть значно кращий та прогнозованіший результат.

Я хочу спати. А там мені Astra вже підкинули... ну йо-майо. Чим би її нагрузити?

По тестам - звісно крута, але ще й дешевша (по затраченим токенам) ніж свіжий Fable 5.1. Вартість на рівні Fable 5.1.

Незабаром виходить Astra (aka GPT6) - основний напрям - використання ПК. Напевно не все так просто буде з різними додатками, тим же монтажем відео, чи 3D редакторами як на відео… але цілу купу задач тепер однозначно можна буде закрити Аі… замість людей

Ну і якщо ви не цікавились - то MCP (Model Context Protocol, такий собі API для LLM) - існують у відкритому доступі для дуже багатьох речей. Особливо багато бачив цікавого в світі 3D.