218
Subscribers
No data24 hours
No data7 days
No data30 days
Data loading in progress...
Similar Channels
No data
Any problems? Please refresh the page or contact our support manager.
Tags Cloud
No data
Any problems? Please refresh the page or contact our support manager.
Incoming and Outgoing Mentions
---
---
---
---
---
---
Attracting Subscribers
December '24
December '24
+3
in 0 channels
November '24
+1
in 0 channels
Get PRO
October '24
+3
in 0 channels
Get PRO
September '24
+5
in 0 channels
Get PRO
August '240
in 0 channels
Get PRO
July '240
in 0 channels
Get PRO
June '240
in 0 channels
Get PRO
May '240
in 0 channels
Get PRO
April '240
in 0 channels
Get PRO
March '240
in 0 channels
Get PRO
February '240
in 0 channels
Get PRO
January '240
in 0 channels
Get PRO
December '230
in 0 channels
Get PRO
November '23
+1
in 0 channels
Get PRO
October '23
+234
in 0 channels
| Date | Subscriber Growth | Mentions | Channels | |
| 21 December | 0 | |||
| 20 December | 0 | |||
| 19 December | 0 | |||
| 18 December | +2 | |||
| 17 December | 0 | |||
| 16 December | 0 | |||
| 15 December | 0 | |||
| 14 December | 0 | |||
| 13 December | 0 | |||
| 12 December | 0 | |||
| 11 December | +1 | |||
| 10 December | 0 | |||
| 09 December | 0 | |||
| 08 December | 0 | |||
| 07 December | 0 | |||
| 06 December | 0 | |||
| 05 December | 0 | |||
| 04 December | 0 | |||
| 03 December | 0 | |||
| 02 December | 0 | |||
| 01 December | 0 |
Channel Posts
Менші, гнучкіші, сфокусовані міні-курси!
Після запуску великого курсу "Machine Learning in Production" я отримав безліч запитань щодо можливості доступу до тем цього курсу окремо. І в мене є чудові новини – тепер ви можете отримати доступ до будь-якого модуля в форматі міні-курсу!
Два перші - “Infrastructure” та “Data” вже доступні! Решта модулів будуть з’являтися протягом наступного тижня.
Також я попрацював над фідбеком щодо практичних завдань, і ці два модулі уже включають в себе ще чотири додаткових відео з їх імплементацією в форматі воркшопу.
| 2 | RLHF with Dagster and Modal!
Новий великий блог пост, де я розповідаю, як тренувати свої RLHF моделі з правильною інфраструктурою! На прикладах показую, як замігрувати ваш RLHF training pipeline на Dagster та Modal.
👉 https://kyrylai.com/2024/06/10/rlhf-with-dagster-and-modal/ | 198 |
| 3 | Одна навичка, яку ви маєте здобути як інженер
Одна з найбільш корисних не технічних навичок, яку ви маєте мати як senior engineer - це вміння читати profit & loss statement вашої компанії! Візьміть один вікенд і вивчіть як це робити на базовому рівні. Повірте, ROI такої активності надзвичайно високий!
Величезна перевага, що ви напряму розумієте, як сама ваша робота впливає на profit & loss результати!
Класний ресурс щоб почати
👉 https://lethain.com/profit-and-loss-statement/ | 327 |
| 4 | Не забудьте поставити будильник на 10 am PT сьогодні!
Уже через декілька годин відбудеться нова презентація від OpenAI, на яку я чекаю з нетерпінням. Ми вже давно не отримували ніяких оновлень від них. Останнім часом про це ходить багато чуток, і існує переважно дві точки зору:
1️⃣ Ми можемо бути на стадії вичерпання можливостей AI
Ця думка походить з різних джерел, але ось мої два улюблені:
👉 Has Generative AI Already Peaked? - Computerphile
👉 Evidence that LLMs are reaching a point of diminishing returns — and what that might mean
2️⃣ На нас чекає наступний величезний стрибок
Ця точка зору в основному виходить з виступів CEO OpenAI та загадкового Chat-GPT2. Хороша новина - те, що ви будуєте, покращиться з цими новими апдейтами, погана - нові апдейти повністю замінять ваш продукт.
👉 The Possibilities of AI , Which Companies Will Be Steamrolled by OpenAI?
👉 gpt2-chatbot
В якому ви таборі? Я чув, що деякі люди навіть роблять ставки на це! | 306 |
| 5 | Новий спосіб "тренування" LLM
Ми всі знайомі з кількома філософіями тренування LLM.
1️⃣ Full Fine-Tuning — тренуйте всі свої параметри
2️⃣ PEFT (LoRA, DoRA тощо) - тренуйте лише невелику частину потрібних матриць.
💡Але є ще й новий спосіб, про який я дізнався тільки нещодавно: Representation Fine-Tuning (ReFT) — основна ідея полягає в тому, що ви навчаєтесь змінювати репрезентацію вхідних даних замість параметрів моделі!
В 10-50 разів менший за будь-який PEFT спосіб, при цьому перевершуючий його!
👉 https://github.com/stanfordnlp/pyreft
Виглядає дуже багатообіцяюче! | 307 |
| 6 | Мій новий блог пост про LLM fine-tuning з Llama3
👉 “How to Fine-Tune LLMs in 2024 with Hugging Face”, but with Dagster, Modal and Llama3!
Декілька місяців тому Philipp Schmid написав чудовий блог пост "How to Fine-Tune LLMs in 2024 with Hugging Face".
Після того, як я повертався до нього знову і знову та використовував код в своїх проєктах, я вирішив зробити код більш реюзабельним, та щоб з ним легше було стартувати!
Моя публікація - розширення оригінального блог поста з додаванням Docker, Dagster і Modal, та, звісно, Llama3!
За посиланням доступний весь код, Docker image, та model checkpoint. | 292 |
| 7 | Ще вдогонку до вчорашнього посту - неймовірне і по ділу відео, де по пунктах розбирають, чому демо Devina - фейк) | 302 |
| 8 | AI інженер, але open-source
Поки багато хто чекає на AI інженера Devin, з’являється нова критика - моя стрічка новин переповнена open-source альтернативами Devin!
Найбільш популярний SWE-agent, 12.29% на SWE-bench лідерборді, в той час коли Devin має 13.84%, хоча ми це не можемо ніяк перевірити🙈
Ось ще open-source альтернативи, деякі точні копії Devin:
- Devika
- OpenDevin
- Plandex
- Auto-code-rover
- Aider
А ви взагалі використовуєте якісь з цих або інші AI software engineering tools? | 267 |
| 9 | Чому всі бенчмарки брешуть
Як ви уже знаєте, я обожнюю драми в індустрії, і одна з останніх стосується TensorFlow/Flax та PyTorch.
В чому суть: команда TensorFlow/Flax створила бенчмарк, який включав PyTorch. Команда PyTorch не погодилася з результатами, тому вони перезапустили бенчмарки та отримали кращі результати.
Цікаво спостерігати за цим публічно. +1 доказ того, що, хоча публічні бенчмарки можуть бути корисними гайдами, але вам завжди слід перевіряти їх самостійно для вашого конкретного випадку.
Оригінальні твіти були видалені,
- https://twitter.com/JeffDean/status/1774638521657196767
- https://twitter.com/soumithchintala/status/1776311683385880983
і я думаю, що обидві команди, яких я вважаю дуже крутими, працюють над публікацією нових, більш узгоджених бенчмарків разом!
Тут сказано про це: https://twitter.com/soumithchintala/status/1776431955845759222 | 277 |
| 10 | 101 спосіб тренування PyTorch моделей у розподіленому режимі
Існує багато методів для розподіленого навчання моделей PyTorch. Деякі з них мені відомі, деякі я збираюсь спробувати, а про деякі я лише чув:
через Accelerate
через PyTorch
через Ray Train
через TorchX
через DeepSpeed
через Megatron-LM
через FSDP
через lightning
І ще багато-багато інших.
Мій “go-to” вибір - Accelerate через його простоту, але, чесно кажучи, мені дуже не вистачає оцінки/порівняння + хорошого гайду для розподіленого навчання. | 248 |
| 11 |  Load balancing та autoscaling в різних платформах
Чудова стаття про те, як ModalLab запускає serverless functions, точно варта уваги. Частина, яка мені сподобалась найбільше - таблиця, як різні платформи здійснюють балансування та масштабування. Збережіть собі та перевикористовуйте.
Бонус: ніколи не чув про gVisor, який ModalLab використовують для запуску функцій. Виглядає дуже сек'юрно і хочеться спробувати самому. | 285 |
| 12 |  Безкоштовний вебінар!
Чудово підійде, якщо ви поки не готові чи не маєте часу на 2 місяці ґрунтовного вивчення ML в продакшені - https://edu.kyrylai.com/courses/webinar-machine-learning-in-production/
Тут ви знайдете одногодинний безкоштовний вебінар (воркшоп) з прикладами коду, які охоплюють усі етапи ML. Має бути “doable” за одні вихідні! І якщо це викличе у вас інтерес, ви знатимете, які наступні кроки.
Крім того, після реєстрації на платформі, ви отримаєте прев'ю всієї структури і декількох відео в самому 2-місячному курсі! | 921 |
| 13 | Мій курс "Machine Learning in Production" англійською уже доступний!
👉 https://edu.kyrylai.com/courses/ml-in-production | 407 |
| 14 | PR по фактах
Зараз багато шуму навколо Devin від Cognition. Вчора команда опублікувала деякі деталі: час виконання, TTD та потенційні проблеми з даними в тренувальному датасеті.
Я люблю глибше занурюватися в оригінальне джерело; в твітері і лінкедині дуже багато BS, але код і коміти ніколи не брешуть (майже).
Давайте подивимось на цей PR. Вражає! Автори не прийняли його і закрили подібну фічу через “human mande” PR, але все одно це гарна спроба + коментарі веселі!
Зараз слідкую - замерджить Andrej Karpathy цей PR чи ні. | 381 |
| 15 | Triton inference server і компанїї на його основі
Я люблю компанії, які розроблять продукти в open-source і заробляють за допомогою додаткових оферингів на його основі. І, звичайно, намагаються уникати проблем, подібних до Elastic з AWS.
Одним з помітних винятків тут є Triton Inference Server - публічний inference server від Nvidia, який має відносини один до багатьох: існує кілька компаній, що створюють продукти на його основі.
Я знайшов принаймні чотири:
1️⃣ Seldon
2️⃣ ClearML
3️⃣ AWS SageMaker
4️⃣ І, звичайно, сама Nvidia.
Безсумнівно, їх набагато більше! Мені цікаво, чи колись команда Triton сама ініціює створення власної компанії. | 358 |
| 16 |  Курс "ML in Production" англійською
Я додаю останні штрихи до мого ML курсу англійською мовою для тих, хто готовий поглибити свої знання в ML та AI. Цей курс створений не просто для навчання, а для трансформації.
"Machine Learning in Production" я створив в такому форматі, як би я хотів, щоб мене навчали свого часу, і структуровав так, щоб ви могли розвинути свій ML проєкт від ідеї до продакшену прямо проходячи курс.
Основа - навчання через практику та реальні кейси. Stay tuned! | 287 |
| 17 | Компанії-розробники AI чіпів
Nvidia зі своїм hardware (Nvidia GPU, H100, A100 тощо) + software(CUDA) є стандартом для тренування та деплою ML моделей, але існує і багато інших чіпів. Наприклад, зовсім нещодавно Groq представила LPU, і багато інших.
Ось невеликий список стартапів і великих технологічних компаній, які займаються розробкою чіпів для ML, і за якими я слідкую:
Startups
🟢 Public:
- Cerebras (WSE-2)
- GraphCore (IPU)
🟥 Internal:
- Groq (LPU) - available only via LLM API
Big Tech
🟢 Public:
- AWS Graviton
- AWS Trainium
- AWS Inferentia
- Google TPUs
- Intel habana
🟥 Internal:
- Meta: MTIA
- Tesla: FSD Chip and Dojo Chip
- Microsoft: Maia 100
Якщо ви хочете глибше зануритись - перегляньте цю серію публікацій: AI Accelerators — Part IV: The Very Rich Landscape від Adi Fuchs.
Те, чого я особисто вважаю не вистачає - неупереджені та зрозумілі бенчмарки для різних чіпів і задач. Існують деякі від HF, наприклад, але схоже, що ця робота ще в процесі. | 339 |
| 18 | Відсоткові ставки, tech cooldown та як це впливає на інженірінг
Підвищення ставок та уповільнення IT принесли багато негативу: масові звільнення, ускладнення пошуку нової роботи, і тп.
Але це також принесло щонайменше одну позитивну зміну: інженерні практики стають набагато більш прагматичними, простішими та реалістичними. Відійти від тисяч мікросервісів, не використовувати красиві, але недоцільні інструменти, та менше overengineering.
Більше про це тут - "The end of 0% interest rates: what it means for software engineering practices" (потрібна платна підписка, але основні висновки зрозумілі навіть з частини тексту).
На жаль, це все ще не стосується ML/AI. Всі додають LLM & RAG, незалежно від того, потрібні вони вам чи ні. | 649 |
| 19 | Погляд в LegalLens
Нещодавно нашу статтю LegalLens було прийнято на головну конференцію EACL. Я хотів би показати, як можна почати з нуля та розробити власні рішення для legal NLP.
Проста класифікація: LegalLensNLI, ви отримуєте 2 рядки та маєте класифікувати їх до 3 класів, легко почати з нуля, використовуючи приклад HF для класифікації тексту.
Просте завдання розпізнавання іменованих сутностей (NER): LegalLensNER. Ви отримуєте один рядок і маєте знайти 3 сутності, почніть з нуля з прикладом HF для класифікації токенів.
На мою думку, одна з найскладніших речей у ML - це створення датасетів, і ви вже його маєте! | 321 |
| 20 | PaaS наносить удар у відповідь
Останнім часом я помітив нову хвилю PaaS компаній:
▶️ Render
▶️ Railway
▶️ Fly.io
Зараз про них чути зі всіх боків і вони замінюють такі застарілі варіанти, як Heroku. Ідеально, коли ви хочете розпочати маленький, швидкий проєкт і вам не хочеться займатись інфраструктурою.
Але згодом настає момент, що ваш проєкт стає настільки великим, що вам потрібен набагато більший контроль над ним, і ви наймаєте команду інфраструктури та переходите на щось на кшталт Kubernetes.
Цікаво, яке майбутнє чекає на PaaS компаній у такому випадку? | 324 |
