Открытия

Люди: Хаха глупая нейронка, галлюцинирует и придумывает детали 😂 Тоже люди: Смотрите, красная банка!

Я вырос в подмосковье, в небольшом поселке, который стоит рядом с "градообразующим предприятием" - гидроаккумулирующей электростанцией. Я рос в окружении остатков этой СССР цивилизации, и поэтому у меня много теплых чувств ко всем этим "панелькам". Они хоть и страшненькие, холодные, но все равно мне как-то прикольно от взгляда на них. Эта LoRA захватывает "холодный" период Русской глубинки - это или осень или очень ранняя весна, деревья еще без листвы, травы зеленой еще (или уже) нет. Ну и по большей части на изображениях ночь, т.к. это эдакое... мистическое состояние города) Когда никого нет на улицах и ты в и без того холодном городе совсем один скачать / пользоваться тут: https://civitai.com/models/414473 поддержать: https://boosty.to/smgbuddies/donate?forPost=5770267

🔥LLaMa 3 - дождались: Новая SOTA в open-source! Сегодня день больших релизов от Meta, в которых и я и моя команда принимала прямое участие. Зарелизили в опенсорс LLaMa-3 8B и 70B: 🔳LLaMa-3 8B – лучшая в своем классе модель, и сопоставима с LLaMa-2 70B, хоть и в 10 раз меньше. 🔳LLaMa-3 70B – тоже самая мощная в режиме 70 млрд параметров, достигает 82 на MMLU бенчмарке (показывает уровень общих знаний в разных областях). Для сравнения, недавняя Mixtral 8x22B с 141B параметров достигает только MMLU 77.8. Ну, и ждем результатов на арене. C новыми моделями можно початиться на meta.ai Блог Подробности Скачать веса модели @ai_newz

GGUF для запуска на локальных машинках уже в сети!!!

На всякий случай, если вы не знаете что за LLM Arena, рекомендую ознакомиться: https://chat.lmsys.org/?leaderboard это сервис, который постоянно обновляет таблицу лидеров среди LLM моделек - проприетарных, опенсорс (и всяких между). Лидерство выявляется в слепом тестировании обычными людьми. Заходим сюда: https://chat.lmsys.org/ пишем свой запрос и сервис нам подсовывает ответ от 2х случайных сеток. И нам нужно выбрать какой из ответов нам нравится больше. На основе таких "выборов" от множества пользователей и составляется таблица лидерства

QWEN (в моем случае 32B) даже справляется с русским языком, но делает это иногда странно. В каких-то необычных контекстах (видимо, когда не хватает подобных данных в датасете) оно начинает гененрить или чушь или вообще какие-то китайские иероглифы

👨‍💻 Я уже не пишу сюда когда очередная опенсорсная модель бьет все метрики и приближается к GPT4, потому что этот рейтинг меняется буквально каждую неделю (и вы быстро устанете от моих восторгов), но одна новая модель мне сильно понравилась — она подойдет для программистов и тех кто учится: CodeQwen1.5-7B-Chat (gguf) Модель небольшая, всего 7B параметров, но она сейчас находится на втором месте по качеству генерации кода среди всех опенсорсных моделей. CodeQwen1.5-7B все еще хуже GPT4, но она: 1) Классно пишет код для небольших задач, этот код можно с ней же дебажить; 2) Работает на любом тостере; 3) Поддерживает 32K контекстного окна (то есть вы можете как часть промпта скармливать свой код и с ней его анализировать); 4) Очень быстрая из-за того что маленькая; 5) Поддерживает все эти прелести опенсорсных моделей, такие как негативный промпт, Lora и тп. Если вы давно хотели поставить что-то локальное, а ChatGPT вам нельзя использовать из-за корпоративной политики, очень рекомендую рассмотреть. В Видео CodeQwen1.5 сначала пишет код для HTML страницы с эффектом из матрицы (скорость реальная на моем ноуте), а во втором видео — эффект и код, что получился. P.S. Маленькие модели наиболее подвержены правильному промптингу, поэтому делюсь своим промптом агента программиста и негативным промптом который вы можете передать с --cfg-negative-prompt (негативный промпт не обязателен, но помгает улучшить качество — насколько, я не замерял пока что). P.P.S. Запуская я все классически тут — llama.cpp 👩‍💻👩‍💻👩‍💻

Подтверждаю! QWEN реально занятная модель. Она выпускается сразу в нескольких размерах, а это значит что вы можете запустить ее как на своем стареньком M1, так и на своем безумном риге с 3x3090 --- Имеется версия с 14B параметров, которая, вроде бы даже может поместиться в 16ГБ мак. И она по слепым тестам пользователей (а именно об этом LLM Arena) даже обгоняет GPT3.5

Интересное. Люблю всякие штуки на стыке художки, математики, алгоритмики https://ru.wikipedia.org/wiki/Пространство_Калаби_—_Яу