Dealer.AI
Жоский ИИ дядя. Твой личный поставщик AI 💊💉🤖 Канал о мире интересного AI: ML, DL, NLP/NLU, RL, Retrieval, RecSys. Для связи @dealer_ai Habr @Andriljo
نمایش بیشتر4 898
مشترکین
+124 ساعت
+247 روز
+11230 روز
توزیع زمان ارسال
در حال بارگیری داده...
Find out who reads your channel
This graph will show you who besides your subscribers reads your channel and learn about other sources of traffic.
تجزیه و تحلیل انتشار
| پست ها | بازدید ها | به اشتراک گذاشته شده | ديناميک بازديد ها |
01 🇨🇩 | 1 547 | 59 | Loading... |
02 Посмотрим как оно будет работать в реале, но для многих стартапов и ассистентов это GG WP
http://openai.com/index/hello-gpt-4o/ | 1 563 | 17 | Loading... |
03 Мир, труд, май ✌️
01.05.24 на сореве Kaggle TabularPlaygroundSeries May 2024 #AutoMLGrandPrix команда "LightAutoML testers" обошла все команды Долины (H2O, Amazon, Microsoft со своими решениями - Driveless AI, AutoGluon, FLAML). Описание и код решения уже доступны в публичном доступе.
Следующие раунды соревнования пройдут 01.06.24, 01.07.24, 01.08.24 и 01.09.24 (каждый из которых продлится всего 24 часа)
Happy Kaggling 🦙 | 1 502 | 22 | Loading... |
04 Други тащат 👇 | 1 547 | 0 | Loading... |
05 За идею спс @FutorioFranklin | 1 580 | 1 | Loading... |
06 Media files | 1 136 | 23 | Loading... |
07 Примерно настолько больше, чем 8к в твоем любимом наборе круп из LLM | 1 703 | 3 | Loading... |
08 ща спокуха порежем шакалов в тг | 1 | 0 | Loading... |
09 Примерно настолько больше чем 8к в твоем любимом наборе круп из LLM | 1 | 0 | Loading... |
10 Gemma выкатила такой большой... 🤩
Контекст на 10 лямов.
Вот, что точно не так мертво рожденно, как xLSTM.
https://github.com/mustafaaljadery/gemma-2B-10M | 1 774 | 29 | Loading... |
11 Да немного, но стартап интересные темы делает в дейтинге | 1 | 0 | Loading... |
12 Рубрика: мы ищем таланты 🦸♂️
Python LLM Developer | 150-300тр. + премии | Удаленка или Москва/гибрид | Весь положенный набор плюшек
Мы меняем подход к планированию путешествий и разрабатываем интеллектуальную систему, которая отвечает на все вопросы путешественника в реальном времени.
Если хочешь вместе с нами творить будущее путешествий – присылай резюме в лс: @surkiz
Требования:
- Опыт разработки на Python и использование Django (DRF) + Django ORM не менее 2 лет.
- Глубокое понимание и опыт работы с асинхронным программированием (asyncio/aiohttp) или многопоточностью.
- Знания чистого SQL и опыт работы с PostgreSQL.
- Опыт работы с микросервисной архитектурой и понимание асинхронного программирования в Python.
- Настройка Docker и Docker Compose, опыт настройки CI/CD пайплайнов.
Наши бенефиты:
- ДМС, стоматология, страховка для путешествий, кухня в офисе.
- Ноутбук, премии, оплата больничных, переиндексация зарплаты и бонусы за обучение.
@surkiz_blog #вакансия | 2 650 | 23 | Loading... |
13 Все наслышаны про KAN (Kolmogorov and Arnold Networks), но что думает дядя, когда слышит Арнольд.
Для кека еще https://www.reddit.com/r/MachineLearning/comments/1clcu5i/d_kolmogorovarnold_network_is_just_an_mlp/ | 2 563 | 16 | Loading... |
14 Вышла текстовая версия нашего выступления про retrieval/ranking с R&D day. | 2 637 | 72 | Loading... |
15 На пути к A* for GPT, над ознакомиться с базой | 2 220 | 7 | Loading... |
16 👨🔬 Никита Бухал "Уравнение Беллмана и (А*) - алгоритм поиска путь в графе"
📹 Video: https://youtu.be/oli-8SPhsSI?si=Hrp6GDByEm5HwE9d
📖 Presentation: https://docs.google.com/presentation/d/1phFZf8NZgNHchhj67LNcbLPwa39vKlKLELoXS_ES9Jk/edit?usp=sharing
✔️ Abstract: https://t.me/sberlogabig/405
📓 Notebook: https://www.kaggle.com/code/tttzof351/a-star | 2 542 | 46 | Loading... |
17 Продолжим про память, но в разрезе ее инструмента-функций.
Работы и тут предвидится много. Есть куда приложить разрабам и MLE свои руки и умы. + Масло в огонь подкидывает мнение:
The function calling accuracy in LLMs is really poor. The best function calling accuracy is obtained with GPT-4 and it's 86.76%. It's already too low to be practical, but one should discount this number more assuming that the test data Berkeley used to evaluate function calling contained up to 4 functions to choose from. If with <=4 functions to choose from the accuracy is ~80%, imagine how low it would be when we will have 20 functions to choose from.
Залетел по ссылке, годный guide в gorilla berkley получился, помимо leaderboard. | 3 024 | 25 | Loading... |
18 "Что-то с памятью моей стало, всë, что было не со мной, помню." Из жизни LLM.
Немного отвлеку вас, но не себя от шашлындоса в эти майские. Тут OpenAI выкатили обновление функции памяти, снова.
Тем временем, память и персонализация, имхо, одна из самых недооцененных фичей виртуальных ассистентов.
И это я не про 20 тэгов, что вы помните в своей колонке Дусе в ее сценарном движке. Я про действительно гибкий механизм и лучше на LLM.
Который бы позволял вам:
1. Сохранять из контекста диалога важные факты о юзере: истории из биографии, интересы, не говоря уже про имя его собаки и состав семьи.
А далее, это можно было бы шэрить в другие каналы и сервисы. Это ж фичестор для next-best-offer, recsys и пр., улучшающего retention и уменьшающего churn, решения.
2. Вызывать эти данные из памяти, с помощью, например, функций и КОНТЕКСТНО их использовать в диалоге. Это, вообще, Вам открывает ап интересности, retention, MAU/DAU, длину сессии и тп. А для челиков с денежным мышлением - потенциально, возможность контекстной рекламы/рекомендаций в цифровом канале (но только аккуратно).
3. Обладал бы свойством масштабируемости, те условный RAG, как память, мне не предлагать. Тк к каждому юзеру (особенно когда их > сотни тысяч) я замотаюсь хранить, под каждого, условный faiss индекс. Тут лучше реально делать на подобии функций для динамического вызова + что-то сразу класть в систем промпт под начало сессии: пол юзера, имя, состав семьи и тп, что надо перманентно иметь ввиду.
Отсюда возникают вызовы:
1. Контекст не резиновый, че хранить в нем.
2. Форматы сохранения и вызова: и это не пресловутый json go brr, а какие ключи в нем и значения, как и когда вызывать эту портянку.
С ходу скажу, по вызову. У вас есть контекст из диалога юзер vs ассистент. На текущий квант, времени вы имеете К фраз и вот исходя из них надо сгенерить К+1ю фразу ответ. НО сначала, вызвать тэг памяти с помощью LLM и только потом генерить с полученной от функции памяти инфой ответ. Ну иначе, делать генерацию фразы ответа и в середине нее видеть тэг вызова памяти ну такое, хз как туда вкинуть инфу из памяти и догенерить ответ. У вас ж стримминг, да с учетом delay, но я ума не приложу, как догенерить умно. Пишите идеи в комменты. А я пока вижу ток сначала, если только это нужно, LLM (или иное) генерит токен вызова, получает подсказку и только после генерируем ответ.
3. Под пункты 1,2 нам надо иметь заварку датки на тюн вызова LLM при помощи генерации токена памяти с параметрами: извлечь из памяти или записать в память. И как положено, у нас ж ЖЭПЭТЭ и она и глюкает и ошибается в генерации в принципе. Будет весело, поверьте. Тут разве, что делать на первых этапах аннотаторы контекста (small классификаторы), которые банально трекают контекст и выдают вероятность вызова функции памяти на запись или на извлечение. FP/FN будут, но глюков не будет. Еще плюс, что это не sft на генерацию, а тупо small BERTы классификация 0/1(для вызова) + NER (для извлечения сущностей, что кладем).
Крч, я не знаю, что там у OpenAI под капотом, но вижу возможности и проблематику так.
Пишите ваши варианты памяти в комментарии и не забудьте перевернуть шампур, а то у вас уже подгорает. | 2 504 | 34 | Loading... |
19 На майские начать с нового листа. Сорева по решению математических задач с LLM обнулилась...
https://www.kaggle.com/competitions/ai-mathematical-olympiad-prize/leaderboard | 2 893 | 11 | Loading... |
20 Почему SkipMoe. | 2 855 | 10 | Loading... |
21 Arctic LLM 🥶 Skip MoE 🤩
Тут уже все обсосали обсудили
жирный 480b Arctic MoE.
Я его уже обозвал SkipMoE. Почему? Обратите внимание на скрин архитектуры ниже. Теперь вместо того, чтобы роутить К экспертов в ffn после multi head attention, мы роутим skip connection эмбы прям после эмб матриц токенов (с учетом эмбов позиций конечно). Те мы делаем доп отображение векторов токенов сразу без MHA и risidual коннектим к выходу блока.
Зачем такое может быть нужно?
Возможно, чтобы лучше сохранять изначальную инфу без MHA отображения по различным "доменам" информации.
Ablation.
А еще есть вот такой постик на medium, чет аля тех репорт. Описанны эксперименты + losses для сетапов с/без MoE, а так же с разными вариантами выбора по частоте и топК экспертов. В работе Arctic используется топ-2 на 128 экспертах, при этом размер ffn на каждый топК уменьшается в М раз и увеличиваем в L число экспертов. Для топ-2 в 2 раза.
Еще интересно исследование числа FFN на MoE в блоках трансформера. Это или на каждый FFN мы даем МоЕ блок или через блок или через каждые N>1.
Крч, народ обмазывается MoE в разных местах архитектуры трансформер опять же. | 2 968 | 20 | Loading... |
22 Apple представил свой вариант кода для обучения LLM, CLIP-like и тп.
https://github.com/apple/corenet | 2 590 | 21 | Loading... |
23 Полное 3D погружение.🌿
В последнее время все чаще ко мне заходят работодатели и ищут людей с опытом в 3D CV. Даже один мой бывший студент, у которого стартап по Medicine CV забегал. К чему я это?
Сейчас высокий спрос, а значит надо оседлать очередную "волну".
И тут ребята из deepschool как раз подготовили такой курс, а для начала проведут лекцию «Погружение в 3D CV».
На лекции вы узнаете:
- какие задачи решают в 3D
- почему таких задач становится больше
- с чего начать погружение в эту область
- почему CV-инженеру важно знакомиться с 3D
- что такое SLAM, SfM, SMPL, NeRF, 3D Gaussian Splatting и другие баззворды.
А еще челики не жадные и подготовили скидки участникам💸
📌 Лекция пройдет в четверг, 25 апреля, 18:00 МСК. Регистрируйтесь тут. | 3 272 | 30 | Loading... |
24 если кто не понял о чем я и забыл, что такое Alpaca tuning.
Ребзя из тимы Вихря, вероятно, хотят провернуть тоже с 70b LLama3. | 2 807 | 16 | Loading... |
25 Ща за альпачинят 👇 | 2 790 | 1 | Loading... |
26 Надеплоил llama3 70b, собираем синту под русские инструкт датасеты, приходите тыкаться!
@vikhrbot | 2 279 | 7 | Loading... |
27 Пушка: Google выкатила крутейший учебник по промпт-инжинирингу! Гайд огромен — на 45 страницах раскинулись ценнейшие советы для работы в Gemini, которые подойдут и для других нейронок.
Это действительно учебник — понятный, доступный и красиво оформленный. В каждой главе вас ждут примеры использования, лайфхаки и наглядные инструкции.
Выжимаем из нейронок все соки тут.
@whackdoor | 2 866 | 272 | Loading... |
28 Media files | 2 989 | 24 | Loading... |
29 Media files | 1 | 0 | Loading... |
30 https://llama.meta.com/llama3/ | 3 023 | 13 | Loading... |
31 Вопрос у всех: что это было вообще?
Ответ: задача была в том, чтобы получить измененный промпт из базового, но такой, чтобы на тесте эмбеддинг вашего варианта и авторов соревы был близок. Модель эмбеддера sentence-t5. К концу соревнования участники догадались атаковать промпт, добавляя к нему токены st5 на этапе инференса теста. Таким образом можно было бы подобрать токены, атакующие целевую метрику соревнования. При этом, нужно было верить в то, что тест на паблик доске и скрытый тест имеют близкое распределение, что и вышло. Молодцы. | 2 807 | 6 | Loading... |
32 Отмучались, кончилось, ура. LLM prompt recovery всë. 👍
Очень понравилось неожиданное решение.
На 4е место и 🥇 было достаточно атаковать модель через prompt:
▁summarize▁this▁Save▁story▁sentence▁into▁simply▁alterISH▁textPotrivit▁vibe".▁Make▁it▁crystalnier▁essence▁Promote▁any▁emotional-growthfulness▁găsi▁casual/bod▁language▁serious'▁bingo▁peut▁brainstorm▁perhaps▁simply▁saying▁Dyna▁aimplinations▁note▁detailedhawkeklagte▁acest▁piece▁has▁movement▁AND▁OK▁aceasta▁puiss▁ReinIR▁when▁sendmepresenting▁cet▁today▁Th▁aprecia▁USABLE▁prote,lineAMA.▁Respondebenfalls▁behalf▁thenfeel▁mid▁Gov▁Th▁empABLE▁according▁(▁Packaging▁tone▁send▁pelucrarea▁aim▁thereof▁speechelllucrarea▁preferfully].▁Making▁or▁exertloweringlucrarealucrarealucrarealucrarealucrarea." | 2 530 | 34 | Loading... |
33 🧠 «ЦианGPT, найди мне квартиру» //
Циан запустил собственного помощника, основанного на генеративном ИИ. Он помогает найти недвижимость по текстовому запросу, а также отвечает на часто задаваемые вопросы.
@d_code | 2 051 | 62 | Loading... |
34 А YaGPT были первее на Я. Недвиге, ток Домклик молчиит... | 2 186 | 3 | Loading... |
35 Открытый репозиторий из которого можно легко завести немного апгрейднутые алгоритмы RAG
2 метода. Очень простое улучшение, при этом нужное, что можно увидеть по метрикам качества (мерили с помощью retrieval и matching accuracy)
Мотивация для реверса нового подхода: (так работает RAG) постоянно извлекая информацию поиском и подкладывая ее в контекст модели для генерации ответа, мы получаем во-первых увеличенное время работы модели, а во-вторых иногда и не желаемое качество 🔍
ARAG: мы будем не постоянно извлекать поиском информацию из текста, а только когда наша заранее продуманная метрика будет больше некоторого трешхолда. То есть мы можем обучать генерировать спец токены, когда необходим поиск, или тупо спрашивать саму модель. Вероятность выше? Погнали искать
TA-ARE: тут когда дело доходит до тяжелых для модели случаев (новые данные, которые никогда не видела модель или длинный контекст в данных для поиска) нам необходим подход, который может учитывать также время при генерации. Тут все просто. Если присутствуют в тексте какие-то даты, мы просто вычитаем разницу во днях, чтобы модель понимала за какой промежуток от нее хотят вообще инфу
🖥 Еще раз репозиторий
📖 Статья на почитать | 2 191 | 93 | Loading... |
Photo unavailableShow in Telegram
Посмотрим как оно будет работать в реале, но для многих стартапов и ассистентов это GG WP
http://openai.com/index/hello-gpt-4o/
❤ 14😁 3💅 3
Repost from LightAutoML framework
Мир, труд, май ✌️
01.05.24 на сореве Kaggle TabularPlaygroundSeries May 2024 #AutoMLGrandPrix команда "LightAutoML testers" обошла все команды Долины (H2O, Amazon, Microsoft со своими решениями - Driveless AI, AutoGluon, FLAML). Описание и код решения уже доступны в публичном доступе.
Следующие раунды соревнования пройдут 01.06.24, 01.07.24, 01.08.24 и 01.09.24 (каждый из которых продлится всего 24 часа)
Happy Kaggling 🦙
🔥 22👍 1👎 1❤ 1🤓 1
Photo unavailableShow in Telegram
Примерно настолько больше, чем 8к в твоем любимом наборе круп из LLM
🤔 10❤ 3🥴 3
Photo unavailableShow in Telegram
Примерно настолько больше чем 8к в твоем любимом наборе круп из LLM
😁 1
Gemma выкатила такой большой... 🤩
Контекст на 10 лямов.
Вот, что точно не так мертво рожденно, как xLSTM.
https://github.com/mustafaaljadery/gemma-2B-10M
GitHub - mustafaaljadery/gemma-2B-10M: Gemma 2B with 10M context length using Infini-attention.
Gemma 2B with 10M context length using Infini-attention. - mustafaaljadery/gemma-2B-10M
❤ 7🔥 3👍 1👎 1