Artificial stupidity

#education Что я вынес для себя после преподавания на курсе по анализу данных во ВШЭ на совместной магистерской программе с X5? 1. Я сильно лучше начал понимать своих преподов (особенно из индустрии). У тебя и так не очень много времени, а тут еще нужно делать лекции, семинары, смотреть домашки, консультировать (если есть проекты или сложные домашки). И на это уже начинает не хватать времени; 2. Подготовка хороших материалов занимаем очень много времени (если делать хорошо). И не только создание материалов, а потом еще их адаптация по итогам обратной связи от коллег и студантов; 3. У нецелевых курсов меньше внимания студентов. И это, в целом, логично (программа все же про менеджмент). Я тоже в свое время не особо обращал внимания на философию или культурологию, когда учился на математика. Но теперь понимаю преподавателей этих дисциплин ;) 4. Есть вещи, которые определенно пойдут не так. Что-то, что ты рассчитывал, как достаточно быстрое задание, может занять сильно больше времени. Какие-то темы, которые ты считал более интересными, не будут вызывать особого ажиотажа. А те, что ты считал проходными, наоброт, будут более интересны; 5. Я весьма неплохой лектор. По крайней мере, особых жалоб не было, народ слушал. Да и мне самому нравится болтать на эту тему (иначе я бы столько докладов на разных конференциях не делал бы). А что по итогу? Было прикольно, но готовить курс лучше, если у тебя побольше свободного времени. Делиться знаниями - круто, но это если есть ресурс. В следующем году, вероятно, я тоже прочитаю сколько-то лекций на курсе. Но вряд ли столько же, как в прошлом году. P.S. Кстати, скоро начнется набор на новый год этой программы. Раз уж решил пост про это написать, то можно и упомянуть.

Это лучший роадмап по Deep Learning, который вы когда-либо видели. Лучше сохранить

Коллеги постарались и сделали по мотивам моего выступления статью на хабре. Поддержите усилия ребят вашими лайками! https://habr.com/ru/companies/X5Tech/articles/814579/

А вот и запись митапа. Старт с моего доклада, но я рекомендую посмотреть и доклады коллег — они сделали очень клевые и интересные доклады. https://www.youtube.com/live/bcgFvx6HZnQ?si=OvRtKyG0j3Vkwc0i&t=9113

Я тоже буду выступать на этом митапе. Будут интересные доклады, как от нас, так и от других экспертов рынка

25 апреля X5 Tech приглашает на митап экспертов в Data Science, чтобы обсудить ML системы и как с помощью новых методов и подходов победить неэффективные процессы. Поговорим про проверенные и новые методы взаимодействия с пользователями: от рекомендаций музыки до генерации контента и чат-ботов на основе искусственного интеллекта. Ну и обсудим сложности: галлюцинации, мониторинг языковых моделей, методы улучшения RAG-систем. Регистрируйтесь по ссылке. Мероприятие пройдёт в офлайн и онлайн форматах. Приходите, будет интересно! 😉

#conference И снова о конференциях. В мае (21–22 мая) я буду выступать с докладом о галлюцинациях в LLM: что это, как понять, что модель галлюцинирует, как нам с этим работать. Помимо моего доклада, будет еще много интересных выступлений. В общем, будет на что посмотреть. Конференция пройдет в онлайн формате (кайф, можно пижаму не снимать). Подробности, расписание и прочее тут: https://imlconf.com

#ml #llm (Zero-)(One-)Few-Shot Learning. Продолжаем про техники работы с промптами. Сегодня поговорим об использовании примеров решения задачи в промпте. Идея тут достаточно простая: если показать модели примеры правильного решения задачи, то ей сильно проще будет сделать похожее действие. Собственно, все эти цифры в названии и обозначают число примеров (то нуля до нескольких). Например, мы хотим в промпте попросить модель оценить, позитивное или негативное высказывание мы подали на вход (то есть, решаем задачу sentiment analysis). В таком случае, мы можем дать несколько примеров того, какой текст мы посчитали "позитивным", а какой "негативным". Но стоит учитывать, что: 1. Важно учитывать реальное распределение меток. Например, в той же задаче sentiment analysis. Если мы приведем слишком много позитивных примеров, то модель может начать считать, что выгоднее отвечать более позитивно. Это, в свою очередь, исказит получаемые результаты; 2. Использование примеров влияет на результаты. Удивительно, но даже не очень точные пользовательские примеры могут улучшать результирующие ответы LLM. Поэтому, добавление примеров – это скорее позитивное изменение промпта, улучшающее качество наших результатов; 3. Few-shot техники имеют свои ограничения. В случае простых запросов, few-shot подход может быть сильной техникой. Но для более сложных задач, требующих рассуждений, наш подход с примерами может не срабатывать. Чем-то похоже на мем "дорисуй сову". Даже если есть несколько примеров дорисовывания совы из пары кругов - это не значит, что среднему человеку удастся хорошо научиться ее рисовать ;)

Все играются с suno.ai. Ну и я решил поиграться. Получается прям огненно. Взял свои тексты, прописал жанр. Вуаля! Трек готов (иногда обрезает в бесплатной версии, но вот "тик-так" вполне себе полноценно вышел). Круто, конечно. Позволяет сократить дистанцию между "написать" и "послушать". Очень прикольно было услышать, как же звучат мои тексты.

#ml #llm Продолжаем базовые советы по написанию промптов к LLM: 1. Начинать лучше с простого. Вместо того, чтобы сразу писать очень сложный детальный промпт, лучше начать с простого описания того, что хочется получить. И постепенно улучшать промпт, пока ответ не начнет вас удовлетворять; 2. В некоторых случаях лучше писать промпт на английском языке. Интуиция тут простая – больше всего контента, который был в обучении нейросети, на английском (+ я недавно видел статью, авторы которой в результате экспериментов пришли к выводу, что модели "думают" на английском, даже когда с ними работают на иных языках). Поэкспериментировать стоит, если никак не удается получить корректный ответ с русским промптом; 3. Избегайте неточностей. Лучше быть как можно более конкретным и прямым. Например, если вы хотите получить короткий текст, то вместо “опиши кратко” лучше четко указать, что хотите видеть ответ в “двух предложениях”. Это же относится и к описанию задачи. Лучше избегать двусмысленных трактовок. 4. Экспериментируйте. Лучше попробовать несколько вариантов и/или подходов и сравнить результаты. Не всегда первое пришедшее в голову описание задачи будет наилучшим по качеству.  5. Сконцентрируйтесь на том, что нужно сделать. При описании желаемого поведения, лучше концентрироваться на том, что нужно сделать. Описание нежеланного поведения (по наблюдениям) работает хуже. То есть, нам лучше описывать то, что мы хотим, а не то, чего бы мы не хотели.  6. Учитывайте длину контекста. Количество входной информации, которое может обработать LLM ограничено (впрочем, в последнее время с этим стало попроще). Стоит это учитывать при использовании больших промптов или попытках подачи в качестве контекста больших объемов информации (инструкции, книги, иные объемные тексты).