Магия данных | Артур Сапрыкин

Некоторые темы рвут крышу 😂 но по честному, стоит попробовать 70B

Только ленивый не сказал, и я скажу, что вчера вышла Llama 3 (ныне SOTA по бенчмаркам) на 8B и 70B параметров. Длина контекста 8К Поддерживает 30 языков HF: https://huggingface.co/spaces/ysharma/Chat_with_Meta_llama3_8b Blog: https://ai.meta.com/blog/meta-llama-3/ Говорят, что ещё 400В обучают (но не сейчас, модель у бабушки в деревне 😀), так что посмотрим, что она будет вытворять 🙂

🍻Обсудите свои факапы за бокалом пива в кругу единомышленников ☝🏻Здесь каждый сможет высказаться о своих ошибках, и вместо проблем получить поддержку, победив синдром самозванца. А за лучшие истории мы подарим памятные призы! 👉 Регистрация тут Напоминаем, что билет на Летний ProIT Fest - ваш бесплатный проездной и доступ в закрытый чат участников.

Друзья из Санкт-Петербурга! Сегодня вечером оффлайн в 19 часов пройдёт интересное мероприятие про факапы от моих друзей из ProIT Fest. По промокоду PROIT24 вы приобретёте билет БЕСПЛАТНО. Поэтому приходите! Учиться на чужих ошибках лучше, чем на своих)

1 час - 2 место в конкурсе 🏆 В конце 2021 года проходил конкурс ПРО//ЗНАНИЕ, который был саттелитом большего конкурса UpGREAT ПРО//ЧТЕНИЕ (о нём в следующем посте). В ПРО//ЗНАНИИ нужно было построить классификатор наличия фактических ошибок в тексте. И речь шла не только про правописание и пунктуацию :) В текстах нужно было обнаружить фактологические и логические ошибки, в том числе. Были ещё более специфичные и мелкие классы, но перечень будет более длинный 🥱. Прочитал описание задачи, и решил, что смогу её сделать быстро и легко. В действительности, что удивило сильно, я смог собрать сильный классификатор за 1 час!!! Для этого понадобился сентенс энкодер, специфический подход перекодировки отдельных предложений и стыковка воедино, а затем сверху SVM (вообще, я его до сих пор люблю применять для некоторых задач). Получив чудесные метрики на тесте, я был допущен до финальных испытаний, где в режиме онлайн, нужно было применить классификатор, и сбросить решение. Результаты финалистов быстро показали, и моё решение было на 4м месте (вроде). И тут я махнул рукой, мол не страшно, интересный был эксперимент, но через месяц мне звонок.... 🤔 Сказали, приходите на награждение. 😲 Я не хотел идти сначала, но в итоге пошёл, и был крайне приятно удивлён, что ответы моего классификатора получились отличными! В итоге занял 2е место 🦾 Почему сразу не показал метрики выше? Не знаю, может быть ошибки в изначальной разметке были 🤷‍♂️ но лидерборд сильно изменился в день награждения. Особенно было приятно получать награду от уважаемого Константина Воронцова 🤝 (надеюсь, здесь все знают, кто это). -------------- Ну и часики тикают, и натикали финальную стоимость курса! Теперь стоимость 15 000 рублей, друзья! Набор продолжается, а все участники уже получат приглашения и доступы уже в ближайший понедельник (22.04). По вопросам участия и приобретения курса, пишите мне - @arthur_saprykin

Статья из серии «GPT для самых маленьких», где тезисно, но понятно, рассказывается про то, что такое трансформер, и как с помощью Keras собрать свой GPT. Начинающим будет интересно (тем более мануал несложно воспроизвести на домашнем компьютере), а тем, кто в теме должно смутить отсутствие, как описания, так и наличия в коде слоя Positional Encoding. А он имеет важное значение в трансформерах. Кто решит реализовать у себя представленную архитектуру, то можете добавить как раз слой позиционного кодирования. Можете потом поделиться результатами в комментариях 😉 Также напомню, что сегодня ПОСЛЕДНИЙ день, когда стоимость курса 12 000 рублей. Завтра уже полная стоимость 15 000 рублей! Поэтому желающие - велком в личку - @arthur_saprykin Всем хорошего дня ☀️

Помните, я сентябре рассказывал, как мои ученики заняли второе место на всероссийском хакатоне? Так вот, ребята тем же составом в апреле заняли уже третье место (крррррасаачики ⚡️), решив задачу семантической классификации документов. Очень круто видеть, когда развитие продолжается уже в решении практических задач 🦾 Давайте поздравим ребят огоньками 🔥

POV: к вам в команду пришел джун и пытается решить все задачи нейронками

Действительно, такое рвение можно назвать тенденцией среди большинства начинающих 😌

Состоялась чудесная и познавательная беседа про NLP общем и про курс. Рассказывал про некоторые подходы и задачи в направлении обработки естественного языка. Раскрыл краткую историю моделей GPT и немного ИИ (в контексте анализа текстов), а также ответил на вопросы по особенностям подходов этого направления. Конечно, ещё ответил на вопросы по курсу, рассказал про интересующие детали, идею. Спасибо участникам! 🌞 ------------- Стоимость курса 12 000 рублей до ЗАВТРА, а дальше уже 15 000 рублей! Поэтому пишите мне в личку - @arthur_saprykin Буду рад вам 🌟

а мы уже начали 🌟

Готовимся к старту, через час встречаемся 🤗

Информация для тех, кто уже присоединился к курсу "Основы NLP. От Теории к Практике" ❗️ 22.04 - Добавление в общую группу, и выдача всех необходимых доступов 23.04 - Состоится первый вебинар Пусть висит напоминанием, в ближайший понедельник всё начнётся ⚡

Всем доброе утро, друзья! 🙂 Мы сегодня встречаемся с вами, чтобы пообщаться, обсудить обработку естественного языка, и мой курс "Основы NLP. От Теории к Практике". Буду рад встрече в 19 часов по этой ссылке - https://yandex.zoom.us/j/95974534451 Обращаю внимание, что стоимость курса 12 000 рублей до ЗАВТРА, а дальше уже 15 000 рублей! У нас и так уже крутая группа собирается, усильте её своим участием 🦾🌞 Поэтому пишите мне в личку - @arthur_saprykin

Спешу с новостями о том, что запустил свой первый рилс на разных площадках. Там я рассказываю небольшую историю про то, как удалось успешно разработать модель без полноценной разметки 🙂 Тут шорт на Ютубе... Тут клип в ВК... Тут рилс в нельзяграмме... Буду благодарен от души за поддержку лайками и репостами 🌞🤗 -------- Также напоминаю, что завтра в 19 часов мы встречаемся в зуме для общения по профессии и о курсе "Основы NLP. Теория и практика". Ну и, конечно, напоминаю про набор на свой курс по обработке естественного языка. Тут ссылка для тех, кто хочет посмотреть видео прошлого вебинара по курсу. А тут крутая презентация, для тех, кому лень смотреть видео. -------- Напоминаю, что стоимость курса 12 000 рублей до 17.04, а дальше уже 15 000 рублей! Поэтому кто решился, но попозже, смело пишите мне в личку - @arthur_saprykin Всем мира и любви! ❤️

Ну, вы поняли. Пока есть хреновые программисты, ИИ будет писать хреновый код. Мы в безопасности!

Друзья, есть задача построить модель, которая научится предсказывать планету по количествам смертей и наличию JS. Пока что вижу крайне высокую корреляцию между смертями и JS. Удивительно, не думал, что язык программирования такой жестокий.

Всех с Днём космонавтики! Один из любимых праздников, хотя и ракеты в космос не запускаю, но космос интерпетируется с вечностью, а его исследование с силой человеческого разума. Раз последние дни я акцентирую внимание на работу с текстами, то рекомендую изучить очень полезную статью про OmniFusion 1.1 (это мультимодальная модель). Писали статью авторы, и очень много полезностей изложили, в виде описания архитектуры своей модели, как мыслили при её создании. Рекомендую всем, кто хочет понять, как мульмодальные модели строятся, причём тут языковые модели и тд. Ну и, конечно, напоминаю про набор на свой курс по обработке естественного языка. Вот тут видео наступившего вебинара по курсу. А тут презентация, кому лень смотреть (но потеряете многое, если не посмотрите :) ) Напоминаю, что стоимость курса 12 000 рублей до 17.04, а дальше уже 15 000 рублей! Поэтому кто решился, но попозже, смело пишите мне в личку - @arthur_saprykin Следующий вебинар пройдёт 16.04 в 19 часов. Всем мира и любви! ❤️