Записки дата-шрушера (Ppilif)

Выглядит оч сексуально, правда я уже второй месяц не могу досмотреть его подкаст с Фридманом и глянуть что там в его новых вышедших видосах про LLM - Строим GPT с нуля, с разбором кода в ноутбуке - Как тренировали ChatGPT (large scale) - Интро в большие языковые модели (LLM) - Токенизация в GPT и как ее закодить - Как воспроизвести и натренировать GPT-2 (124M) с нуля Всё тешу себя тем, что лето наступило и вот ща я всё отсмотрю и кайфану с просмотра.

Вдруг кто ещё не видел https://github.com/karpathy/LLM101n LLM101n: Let's build a Storyteller What I cannot create, I do not understand. -Richard Feynman In this course we will build a Storyteller AI Large Language Model (LLM). Hand in hand, you'll be able create, refine and illustrate little stories with the AI. We are going to build everything end-to-end from basics to a functioning web app similar to ChatGPT, from scratch in Python, C and CUDA, and with minimal computer science prerequisits. By the end you should have a relatively deep understanding of AI, LLMs, and deep learning more generally. Syllabus Chapter 01 Bigram Language Model (language modeling) Chapter 02 Micrograd (machine learning, backpropagation) Chapter 03 N-gram model (multi-layer perceptron, matmul, gelu) Chapter 04 Attention (attention, softmax, positional encoder) Chapter 05 Transformer (transformer, residual, layernorm, GPT-2) Chapter 06 Tokenization (minBPE, byte pair encoding) Chapter 07 Optimization (initialization, optimization, AdamW) Chapter 08 Need for Speed I: Device (device, CPU, GPU, ...) Chapter 09 Need for Speed II: Precision (mixed precision training, fp16, bf16, fp8, ...) Chapter 10 Need for Speed III: Distributed (distributed optimization, DDP, ZeRO) Chapter 11 Datasets (datasets, data loading, synthetic data generation) Chapter 12 Inference I: kv-cache (kv-cache) Chapter 13 Inference II: Quantization (quantization) Chapter 14 Finetuning I: SFT (supervised finetuning SFT, PEFT, LoRA, chat) Chapter 15 Finetuning II: RL (reinforcement learning, RLHF, PPO, DPO) Chapter 16 Deployment (API, web app) Chapter 17 Multimodal (VQVAE, diffusion transformer)

Внезапно ашёл у себя в списке рабочих ToDO строчку

[ ] the post-vacation blues

Эхххх

Про винные фесты Как вы поняли по кружочкам выше, я за последний месяц посетил больше трёх винных фестивалей. Немного расскажу о них, может быть, кто-то из вас запланирует на следующий год себе путешествие 🙂 Все три феста прошли офигенно, все они идут несколько дней, все они разные. На каждом можно затестить кучу локальных сортов и найти свой личный незабываемый вкус. С вином и попутно двумя из трёх фестов меня познакомил Лёша, 😘 Часть фоток я нагло спёр с его канала про гедонизм. У него можно там найти много вкусностей: @slaves_of_hedonism https://telegra.ph/Pro-vinnye-festy-06-15

В Вышке понемногу заканчивается весенний семестр. Каждую неделю обязанностей всё меньше и я чувствую себя всё свободнее. Появилось время не только пить вино на фестах, но и посты писать. Я рассказывал в прошлом посте, что вписался искать лекторов по ML для майнора в Вышке и выдал большую подборку из прошедших лекций. Курс практически подошёл к концу. Осталось только прочитать одну лекцию про АБ-тесты. Поэтому хочу поделиться с вами второй подборкой лекций. В курс вписалось дофига классных лекторов. Если кто-то из вас это читает, большое спасибо каждому из вас. Вы офигенные 🤗 Первая часть была из сплошного DL, во второй его поменьше. Каждый лектор даёт введение в свой кусок ML-я, а дальше можно самому копать в него подробнее. 🥛 Кусочек про DL в графах от Эльдара Валитова: 9. Введение в глубинное обучение в анализе графовых данных Если хочется больше, можно заглянуть в курс Эльдара с ПМИ или в Стэнфордский аналогичный курс, на котором, во многом, основан курс ПМИ. [видео] Ещё мы два года назад собрали для ML на ФКН классный семинар с базовыми способами учить эмбеды для вершин в графах. [конспект] [тетрадка] [видео] 🥛 Кусочек про временные ряды от разработчиков библиотеки ETNA из Т-банка (Мартин Габдушев и Яков Малышев): 10-11. Временные ряды Обычно основная проблема в лекциях про временные ряды в том, что люди рассказывают только про ARIMA ииии всё. У меня всегда с этого жутко подгорало. У ребят получилась большая обзорная лекция, где они прошлись по всему спектру задач и моделей, возникающих для временных рядов. Если хочется копнуть глубже и поисследовать математику, которая стоит за всеми этими моделями, можно закопаться в курс с ФКН от Бори Демешева и Матвея Зехова, все лекции в открытом доступе. Возможно, записи прошлого года поудачнее, тк там нет упоротой вышкинской заставки, когда лектор молчит. 🥛 Кусочек про MLOps от Влада Гончаренко 12. Introduction to MLOps 13. Введение в современный MLOps Полный курс Влада можно найти вот тут. Вроде неплохо выглядит курс от ODS по MLOps, но он проходил три года назад и часть штук могла устареть. Ещё все очень позитивно отзываются о курсе Макса Рябинина Эффективные системы глубинного обучения. Я пока не смотрел, но планирую летом глянуть свежую шадовскую версию. В открытом доступе есть видео от 2022 года. Также много инфраструктурных вещей есть в курсе ML для больших данных от Лёши Космачёва. [видосы] 🥛 Кусочек про рекомендательные системы от Сергея Малышева 14. Recsys Intro 15. Recsys Advanced Если хочется закопаться чуть глубже, рекомендую глянуть лекции с основного курса по ML с ФКН (лекции 11-14), а дальше можно покопаться в репозитории с более продвинутым курсом. Видосов, к сожалению, не нашел 🙁 🥛 Экспериментальный кусочек про области где используют ML. Тут семест кончился, поэтому была только лекция от Димы Сергеева про HealthTech :3 16. Data Science in HealthTech P.S. Все материалы на гите

Всем привет с винного феста Yerevan wine days из Еревана

Всем привет с винного фестиваля wine garden в Белграде

Всем привет с фестиваля натуральных вин zero compromise из Тбилиси 🤗🤗🤗