Dealer.AI
Жоский ИИ дядя. Твой личный поставщик AI 💊💉🤖 Канал о мире интересного AI: ML, DL, NLP/NLU, RL, Retrieval, RecSys. Для связи @dealer_ai Habr @Andriljo
Show more4 921
Subscribers
+224 hours
+227 days
+9730 days
Posting time distributions
Data loading in progress...
Find out who reads your channel
This graph will show you who besides your subscribers reads your channel and learn about other sources of traffic.
Publication analysis
| Posts | Views | Shares | Views dynamics |
01 ну и классика | 1 187 | 3 | Loading... |
02 Mergoo: "I have an apple, i have a pen. I have a MoE, i have a LLM."(c)
Крч все идеи дяди отсюда, закинули вот сюда.
1. Роутить мамку LoRA ✅
2. Роутить LLMки ✅
Всем MerGoo brrr | 1 196 | 16 | Loading... |
03 https://t.me/lightautoml/136 | 1 326 | 3 | Loading... |
04 Сап чат!
Data Fest 2024 уже совсем скоро, и сегодня у нас ударный пост с эпичным вскрытием карт и открытием регистраций 🎉
В этом году мы чутка нарастили и программу и географию и число локаций 👀
12 оффлайн площадок уже открыты — можно регистрироваться 🔥
24 мая (пт): Москва, Pre-Party Феста с Яндексом
25 мая (сб): Москва, самый крупный офлайн день Феста в гостях у VK
26 мая (вс): Ереван, офлайн митап в гостях у РАУ
29 мая (ср): Москва и Питер — день Феста в гостях у ВТБ в Москве плюс день Феста в гостях у Альфа-Банка х ИТМО в Питере
31 мая (пт): Алматы и Москва — вечерний офлайн митап в гостях у Altel digital в Алматы и день Феста в гостях у Цифровой кафедры Альфа-Банка в Финансовом Университете в Москве
01 июня (сб): Алматы, Новосибирск и Москва — день Феста в гостях у Citix в Алматы, три зала и целый день Феста в гостях у МехМата НГУ в Новосибирске и целый день Феста в гостях у Avito.tech в Москве
02 июня (вс): Москва и Питер — завершаем программу с финальным днем Феста в гостях у Яндекса в Москве и днем Феста в гостях у VK в Питере!
На каждой площадке будет свой состав секций и спикеров — каждый найдёт себе ивенты под свои интересы 🤗
Плюс планируется огромное количество online активностей в Spatial.Chat, программу в котором будем анонсировать по мере готовности 👀️️️️ А что-то можно уже сейчас найти на странице Феста
Ждём на Фесте, где бы в пространстве-времени он не оказался! 🦾️️️️️️ | 1 889 | 21 | Loading... |
05 Я в этот заход по здоровью пропущу, но вас призываю сгонять. 👇 | 1 765 | 2 | Loading... |
06 🇨🇩 | 2 536 | 63 | Loading... |
07 Посмотрим как оно будет работать в реале, но для многих стартапов и ассистентов это GG WP
http://openai.com/index/hello-gpt-4o/ | 2 261 | 17 | Loading... |
08 Мир, труд, май ✌️
01.05.24 на сореве Kaggle TabularPlaygroundSeries May 2024 #AutoMLGrandPrix команда "LightAutoML testers" обошла все команды Долины (H2O, Amazon, Microsoft со своими решениями - Driveless AI, AutoGluon, FLAML). Описание и код решения уже доступны в публичном доступе.
Следующие раунды соревнования пройдут 01.06.24, 01.07.24, 01.08.24 и 01.09.24 (каждый из которых продлится всего 24 часа)
Happy Kaggling 🦙 | 1 986 | 24 | Loading... |
09 Други тащат 👇 | 2 009 | 0 | Loading... |
10 За идею спс @FutorioFranklin | 2 090 | 2 | Loading... |
11 Media files | 1 454 | 23 | Loading... |
12 Примерно настолько больше, чем 8к в твоем любимом наборе круп из LLM | 2 102 | 3 | Loading... |
13 ща спокуха порежем шакалов в тг | 1 | 0 | Loading... |
14 Примерно настолько больше чем 8к в твоем любимом наборе круп из LLM | 1 | 0 | Loading... |
15 Gemma выкатила такой большой... 🤩
Контекст на 10 лямов.
Вот, что точно не так мертво рожденно, как xLSTM.
https://github.com/mustafaaljadery/gemma-2B-10M | 2 022 | 31 | Loading... |
16 Да немного, но стартап интересные темы делает в дейтинге | 1 | 0 | Loading... |
17 Рубрика: мы ищем таланты 🦸♂️
Python LLM Developer | 150-300тр. + премии | Удаленка или Москва/гибрид | Весь положенный набор плюшек
Мы меняем подход к планированию путешествий и разрабатываем интеллектуальную систему, которая отвечает на все вопросы путешественника в реальном времени.
Если хочешь вместе с нами творить будущее путешествий – присылай резюме в лс: @surkiz
Требования:
- Опыт разработки на Python и использование Django (DRF) + Django ORM не менее 2 лет.
- Глубокое понимание и опыт работы с асинхронным программированием (asyncio/aiohttp) или многопоточностью.
- Знания чистого SQL и опыт работы с PostgreSQL.
- Опыт работы с микросервисной архитектурой и понимание асинхронного программирования в Python.
- Настройка Docker и Docker Compose, опыт настройки CI/CD пайплайнов.
Наши бенефиты:
- ДМС, стоматология, страховка для путешествий, кухня в офисе.
- Ноутбук, премии, оплата больничных, переиндексация зарплаты и бонусы за обучение.
@surkiz_blog #вакансия | 3 010 | 23 | Loading... |
18 Все наслышаны про KAN (Kolmogorov and Arnold Networks), но что думает дядя, когда слышит Арнольд.
Для кека еще https://www.reddit.com/r/MachineLearning/comments/1clcu5i/d_kolmogorovarnold_network_is_just_an_mlp/ | 2 899 | 17 | Loading... |
19 Вышла текстовая версия нашего выступления про retrieval/ranking с R&D day. | 2 931 | 75 | Loading... |
20 На пути к A* for GPT, над ознакомиться с базой | 2 344 | 7 | Loading... |
21 👨🔬 Никита Бухал "Уравнение Беллмана и (А*) - алгоритм поиска путь в графе"
📹 Video: https://youtu.be/oli-8SPhsSI?si=Hrp6GDByEm5HwE9d
📖 Presentation: https://docs.google.com/presentation/d/1phFZf8NZgNHchhj67LNcbLPwa39vKlKLELoXS_ES9Jk/edit?usp=sharing
✔️ Abstract: https://t.me/sberlogabig/405
📓 Notebook: https://www.kaggle.com/code/tttzof351/a-star | 2 890 | 48 | Loading... |
22 Продолжим про память, но в разрезе ее инструмента-функций.
Работы и тут предвидится много. Есть куда приложить разрабам и MLE свои руки и умы. + Масло в огонь подкидывает мнение:
The function calling accuracy in LLMs is really poor. The best function calling accuracy is obtained with GPT-4 and it's 86.76%. It's already too low to be practical, but one should discount this number more assuming that the test data Berkeley used to evaluate function calling contained up to 4 functions to choose from. If with <=4 functions to choose from the accuracy is ~80%, imagine how low it would be when we will have 20 functions to choose from.
Залетел по ссылке, годный guide в gorilla berkley получился, помимо leaderboard. | 3 167 | 25 | Loading... |
23 "Что-то с памятью моей стало, всë, что было не со мной, помню." Из жизни LLM.
Немного отвлеку вас, но не себя от шашлындоса в эти майские. Тут OpenAI выкатили обновление функции памяти, снова.
Тем временем, память и персонализация, имхо, одна из самых недооцененных фичей виртуальных ассистентов.
И это я не про 20 тэгов, что вы помните в своей колонке Дусе в ее сценарном движке. Я про действительно гибкий механизм и лучше на LLM.
Который бы позволял вам:
1. Сохранять из контекста диалога важные факты о юзере: истории из биографии, интересы, не говоря уже про имя его собаки и состав семьи.
А далее, это можно было бы шэрить в другие каналы и сервисы. Это ж фичестор для next-best-offer, recsys и пр., улучшающего retention и уменьшающего churn, решения.
2. Вызывать эти данные из памяти, с помощью, например, функций и КОНТЕКСТНО их использовать в диалоге. Это, вообще, Вам открывает ап интересности, retention, MAU/DAU, длину сессии и тп. А для челиков с денежным мышлением - потенциально, возможность контекстной рекламы/рекомендаций в цифровом канале (но только аккуратно).
3. Обладал бы свойством масштабируемости, те условный RAG, как память, мне не предлагать. Тк к каждому юзеру (особенно когда их > сотни тысяч) я замотаюсь хранить, под каждого, условный faiss индекс. Тут лучше реально делать на подобии функций для динамического вызова + что-то сразу класть в систем промпт под начало сессии: пол юзера, имя, состав семьи и тп, что надо перманентно иметь ввиду.
Отсюда возникают вызовы:
1. Контекст не резиновый, че хранить в нем.
2. Форматы сохранения и вызова: и это не пресловутый json go brr, а какие ключи в нем и значения, как и когда вызывать эту портянку.
С ходу скажу, по вызову. У вас есть контекст из диалога юзер vs ассистент. На текущий квант, времени вы имеете К фраз и вот исходя из них надо сгенерить К+1ю фразу ответ. НО сначала, вызвать тэг памяти с помощью LLM и только потом генерить с полученной от функции памяти инфой ответ. Ну иначе, делать генерацию фразы ответа и в середине нее видеть тэг вызова памяти ну такое, хз как туда вкинуть инфу из памяти и догенерить ответ. У вас ж стримминг, да с учетом delay, но я ума не приложу, как догенерить умно. Пишите идеи в комменты. А я пока вижу ток сначала, если только это нужно, LLM (или иное) генерит токен вызова, получает подсказку и только после генерируем ответ.
3. Под пункты 1,2 нам надо иметь заварку датки на тюн вызова LLM при помощи генерации токена памяти с параметрами: извлечь из памяти или записать в память. И как положено, у нас ж ЖЭПЭТЭ и она и глюкает и ошибается в генерации в принципе. Будет весело, поверьте. Тут разве, что делать на первых этапах аннотаторы контекста (small классификаторы), которые банально трекают контекст и выдают вероятность вызова функции памяти на запись или на извлечение. FP/FN будут, но глюков не будет. Еще плюс, что это не sft на генерацию, а тупо small BERTы классификация 0/1(для вызова) + NER (для извлечения сущностей, что кладем).
Крч, я не знаю, что там у OpenAI под капотом, но вижу возможности и проблематику так.
Пишите ваши варианты памяти в комментарии и не забудьте перевернуть шампур, а то у вас уже подгорает. | 2 605 | 37 | Loading... |
24 На майские начать с нового листа. Сорева по решению математических задач с LLM обнулилась...
https://www.kaggle.com/competitions/ai-mathematical-olympiad-prize/leaderboard | 2 936 | 11 | Loading... |
25 Почему SkipMoe. | 2 892 | 10 | Loading... |
26 Arctic LLM 🥶 Skip MoE 🤩
Тут уже все обсосали обсудили
жирный 480b Arctic MoE.
Я его уже обозвал SkipMoE. Почему? Обратите внимание на скрин архитектуры ниже. Теперь вместо того, чтобы роутить К экспертов в ffn после multi head attention, мы роутим skip connection эмбы прям после эмб матриц токенов (с учетом эмбов позиций конечно). Те мы делаем доп отображение векторов токенов сразу без MHA и risidual коннектим к выходу блока.
Зачем такое может быть нужно?
Возможно, чтобы лучше сохранять изначальную инфу без MHA отображения по различным "доменам" информации.
Ablation.
А еще есть вот такой постик на medium, чет аля тех репорт. Описанны эксперименты + losses для сетапов с/без MoE, а так же с разными вариантами выбора по частоте и топК экспертов. В работе Arctic используется топ-2 на 128 экспертах, при этом размер ffn на каждый топК уменьшается в М раз и увеличиваем в L число экспертов. Для топ-2 в 2 раза.
Еще интересно исследование числа FFN на MoE в блоках трансформера. Это или на каждый FFN мы даем МоЕ блок или через блок или через каждые N>1.
Крч, народ обмазывается MoE в разных местах архитектуры трансформер опять же. | 3 010 | 21 | Loading... |
27 Apple представил свой вариант кода для обучения LLM, CLIP-like и тп.
https://github.com/apple/corenet | 2 590 | 21 | Loading... |
28 Полное 3D погружение.🌿
В последнее время все чаще ко мне заходят работодатели и ищут людей с опытом в 3D CV. Даже один мой бывший студент, у которого стартап по Medicine CV забегал. К чему я это?
Сейчас высокий спрос, а значит надо оседлать очередную "волну".
И тут ребята из deepschool как раз подготовили такой курс, а для начала проведут лекцию «Погружение в 3D CV».
На лекции вы узнаете:
- какие задачи решают в 3D
- почему таких задач становится больше
- с чего начать погружение в эту область
- почему CV-инженеру важно знакомиться с 3D
- что такое SLAM, SfM, SMPL, NeRF, 3D Gaussian Splatting и другие баззворды.
А еще челики не жадные и подготовили скидки участникам💸
📌 Лекция пройдет в четверг, 25 апреля, 18:00 МСК. Регистрируйтесь тут. | 3 272 | 30 | Loading... |
29 если кто не понял о чем я и забыл, что такое Alpaca tuning.
Ребзя из тимы Вихря, вероятно, хотят провернуть тоже с 70b LLama3. | 2 807 | 16 | Loading... |
Show all...
Dealer.AI
Немножко Жоских идей от ИИ Дяди если МоЕ не твоё, но реализовать хочется: Крч, шкет, тут Mistral, запилил свою MoE 7b. И да это не те, что макароны, и, о боги ИИ, не корабли ВМФ. Как сделали? Кажись по классике switch transformer запилили роутинг FFN на 8 экспертов, ток берут топ2. И нет блин, это не 8 по 7b LLM роутятся. Даже для BERT-base FFN занимает порядка 59М весов из 85М на все 12 блоков трансформера и это из 110М всех весов модели. Те почти 60%!? А тут представьте у вас 8 FFN роутятся в топ2 и на всех К блоков декодера в 7b. Крч, какие-то, люди посчитали и там чет около для 45b модели получается GPU памяти бы иметь. Поэтому, вот тебе ещё одна идея, пока все играются в песочнице на уровне FFN, не будь как все, ломай систему и делай MoE на small-LM. А как сделаешь, не забывай байтьку жоского Дядю, хотя бы последним автором впиши. Хотите подробностей по Mixtrail, код тут.
👍 1
Show all...
LightAutoML framework
Коллеги, всем доброго дня! Если вы еще не успели ткнуть ⭐️ на гитхабе на
https://github.com/sb-ai-lab/LightAutoML,то самое время это сделать. Наша глобальная текущая цель - собрать 1000 звезд и попасть в окружение Kaggle на постоянной основе! Будем рады, если вы нас в этом поддержите ❤️
🏆 5
Repost from ODS Events
Сап чат!
Data Fest 2024 уже совсем скоро, и сегодня у нас ударный пост с эпичным вскрытием карт и открытием регистраций 🎉
В этом году мы чутка нарастили и программу и географию и число локаций 👀
12 оффлайн площадок уже открыты — можно регистрироваться 🔥
24 мая (пт): Москва, Pre-Party Феста с Яндексом
25 мая (сб): Москва, самый крупный офлайн день Феста в гостях у VK
26 мая (вс): Ереван, офлайн митап в гостях у РАУ
29 мая (ср): Москва и Питер — день Феста в гостях у ВТБ в Москве плюс день Феста в гостях у Альфа-Банка х ИТМО в Питере
31 мая (пт): Алматы и Москва — вечерний офлайн митап в гостях у Altel digital в Алматы и день Феста в гостях у Цифровой кафедры Альфа-Банка в Финансовом Университете в Москве
01 июня (сб): Алматы, Новосибирск и Москва — день Феста в гостях у Citix в Алматы, три зала и целый день Феста в гостях у МехМата НГУ в Новосибирске и целый день Феста в гостях у Avito.tech в Москве
02 июня (вс): Москва и Питер — завершаем программу с финальным днем Феста в гостях у Яндекса в Москве и днем Феста в гостях у VK в Питере!
На каждой площадке будет свой состав секций и спикеров — каждый найдёт себе ивенты под свои интересы 🤗
Плюс планируется огромное количество online активностей в Spatial.Chat, программу в котором будем анонсировать по мере готовности 👀️️️️ А что-то можно уже сейчас найти на странице Феста
Ждём на Фесте, где бы в пространстве-времени он не оказался! 🦾️️️️️️
🔥 11❤ 3💅 1
Photo unavailableShow in Telegram
Посмотрим как оно будет работать в реале, но для многих стартапов и ассистентов это GG WP
http://openai.com/index/hello-gpt-4o/
❤ 14😁 4💅 3
Repost from LightAutoML framework
Мир, труд, май ✌️
01.05.24 на сореве Kaggle TabularPlaygroundSeries May 2024 #AutoMLGrandPrix команда "LightAutoML testers" обошла все команды Долины (H2O, Amazon, Microsoft со своими решениями - Driveless AI, AutoGluon, FLAML). Описание и код решения уже доступны в публичном доступе.
Следующие раунды соревнования пройдут 01.06.24, 01.07.24, 01.08.24 и 01.09.24 (каждый из которых продлится всего 24 часа)
Happy Kaggling 🦙
🔥 24👍 1👎 1❤ 1🤓 1