Programming Mentor

DeepSeek R1 https://www.youtube.com/shorts/QzDZHZwcNB0?feature=share Схоже в світі OpenSource LLM намалювався новий лідер - DeepSeek. Відразу дісклеймер: нажаль це китайська компанія з усіма “нюансами”, зокрема, на політичні питання відповідає упереджено, і якщо будете використовувати як сервіс, то трохи обережно з даними, просто пам’ятайте про це. Відомими вони стали ще в 2023, коли випустили DeepSeek Coder - дуже непогану відкриту модель для написання коду, але самою топовою вона не була, хоча своїх прихильників знайшла. Однак минулого місяця вони випустили чергову відкриту модель DeepSeek V3, яка обійшла в загальних тестах всі відкриті моделі і вийшла на рівень топових комерційних. Прямо зараз я заглянув рейтинг моделей на lmarena.ai, і вона там на сьомому місці в загальних задачах. Модель цікава тим, що використовує архітектуру MoE - Mixture of Experts (така ж сама була Mixtral, про яку я писав десь рік тому). Спрощено архітектуру можна пояснити як не одну монолітну модель, а набір менших спеціалізованих моделей, які обираються для формування відповіді, і відповідно для цього треба менші потужності, ніж для “монолітних” моделей. Відповідно з загальної кількості в 671 млрд параметрів моделі для кожного токена активується лише 37 млрд. Проте кілька днів тому вони випустили ще одну модель DeepSeek R1 (“R” в назві від слова “reasoning” - “мислення”). Вона близька до V3, має MoE архітектуру і 685 млрд параметрів, але налаштована на “мислення” схожим способом як це робить o1. І це взагалі прорив у світі AI, бо ця модель на рівні з найкращими моделями о1 від Open AI та Gemini 2 Flash Thinking від Google. Але при цьому вона повністю відкрита, доступна по ліцензії MIT, її можна скачати і запустити в LM Studio наприклад. Але це не все - є її зменшений “дистильований” варіант лише на 1.5 млрд параметрів, яка в математичних задачах переважає GPT-4o та Claude 3.5 Sonnet, але при цьому є настільки маленькою, що запускається навіть в браузері на смартфоні. Власне як вона вирішує квадратне рівняння на моєму дев’ятому складаному пікселі я вам записав. Сам файл моделі на 1.2 Гб треба спочатку загрузити, потім він береться з кешу. Стартує з 10 токенів на секунду, потім трохи сповільнюється як смартфон починає грітися. Для порівняння - на геймерському лептопі з RTX4090 видає 40 токенів на секунду - вчетверо швидше, але лептоп більший і важчий більш ніж вчетверо. На відео реальна швидкість виконання, відео без редагування. Запускаємо звідси https://huggingface.co/spaces/webml-community/deepseek-r1-webgpu PS. До речі, мені цікаво як воно працює на інших апаратах, наприклад, на iPhone 14 Pro Max не йде взагалі. Закидайте свої тести в коментарі :)

Репозиторій з питаннями для інтерв'ю по JS українською, особливо приємно, що автор Віктор Свертока - один з моїх студентів https://github.com/FrontendLovers/javascript-interview-questions

Ще свіженьке, welcome to 2025 https://dou.ua/forums/topic/51855/

НА ДОУ вийшла моя стаття про стан речей в AI для розробників https://dou.ua/forums/topic/51815/

Тут кілька знакових подій для розробників в світі AI Перше - MS зробила GitHub Copilot безкоштовним. Платна версія теж є, більш продвинута, але для окремих задач безкоштовної цілком має вистачати. У мене саме закінчилася платна підписка на рік, то поки не буду продовжувати, скористаюся безкоштовним Copilot, тим більше що зараз я більше пишу код у Cursor, а також почав використовувати Windsurf і в обох цих IDE інтеграція AI виглядає більш цікавою, ніж у Copilot. Тим не менше, користуватися Copilot обов’язково буду, і в нього є козирна фіча - він інтегрований напряму з гітхабом, відповідно у веб-інтерфейсі гітхабу ви можете його відкрити і “початитися” - це може бути корисно щоб задати питання по якомусь конкретному репозиторію чи пулл ріквесту. Також я люблю користуватися GitHub Codespaces - особливо зручно якусь репку відкрити чи лібку потестити без ризику собі на комп’ютер сміття чи трояна скачати. І там Copilot ставиться за 10 секунд, це реально зручно. Не виключаю що платну підписку теж продовжу якщо безкоштовної бракуватиме. І звичайно багато шуму наробив анонс нової моделі o3 від OpenAI. Вона значно “розумніша” за попередні, і це особливо видно в задачах з Software Engineering - в бенчмарку SWE Bench Verified, що складається з типових реальних тасок, вона начебто набирає 71.2%, що на 16% за накращий результат, що там є сьогодні. Також вона зробила прорив в бенчмарку ARC AGI, що розроблений навмисно для ідентифікації можливостей AI до повторення когнітивних здібностей людини. В цьому тесті найкращий результат для o3 склав 88%, а o1 набирала максимум 32%. Шкода, що модель поки недоступна публічно, і в неї ще є нюанс з вартістю, схоже вона потребує надзвичайно високих потужностей, невідомо скільки буде коштувати її використання.

Це вже реальність

Які часи - такі й погрози

До речі, я недавно проводив воркшопчик про 1000x продуктивності, він для широкої аудиторії, показував цікаві речі, ось запис https://youtu.be/94AvUs1q7TI

Кілька AI-апдейтів Open AI нарешті зарелізила модель для відео - Sora. Нажаль масштабувати сервіс під користувачів вони ще не навчилися, тому потрапити я туди не зміг, навіть маючи платну підписку ChatGPT Plus, з якою по ідеї мали б пускати. Тим не менше, судячи з оглядів революції не відбулося - сервіс плюс/мінус на рівні з конкурентами, в чомусь краще, а в чомусь гірше. Ось коротенький відосик щоб зрозуміти https://youtu.be/IY7182jkPwE Мені особисто цікавіше поява опенсорсної Llama 3.3 на 70 млрд параметрів, яка по якості наближається до версії 3.2 на 405 млрд. На відміну від більшої моделі її цілком реально запускати на “звичайних” геймерських комп’ютерах і мати собі безкоштовно модельку рівня GPT-4. Для LM Studio вона вже доступна https://lmstudio.ai/model/llama-3.3-70b Ну і хоча Маска ми всі недолюблюємо, але він дуже активно рухається в AI, його Grok зараз входить в топ-10 найкращих LLM-моделей і з минулої п’ятниці став доступним безкоштовно. Із його цікавих фішок - він може шукати по твіттеру, відповідати по новинам, трендам, робити саммарі. А ще в нього вбудований якісний генератор зображень, який має набагато менше обмежень по копірайту і іншим ознакам ніж у Dall-E, який є в ChatGPT. Цікаво, що ще сьогодні зранку у них було зазначено що використовується модель Flux, зараз чомусь це прибрали. Модель Flux я сам у себе на лептопі запускаю і її робота мені подобається, але комп'ютер для цього треба потужний - в Grok використати простіше.

Тут цікаві апдейти від OpenAI Вийшла з прев’ю найрозумніша модель o1 і отримала можливість працювати з файлами, раніше у неї такої можливості не було. Також з’явилася нова підписка ChatGpt Pro - різно в 10 раз дорожче за ChatGPT Plus, аж 200 долл на місяць. Виглядає дорого, але насправді в бізнесі ціна не має значення, якщо вона окупається і приносить прибуток. Із принципових відмінностей обіцяють що модель o1 буде працювати в особливому “Pro” режимі, а ліміти на використання моделей значно вищі. Тут відосик-презентація: https://youtu.be/iBfQTnA2n2s Обіцяють 12 днів щось нове випускати :)

🤔

Сьогодні будемо говорити про те як отримати офер, приходьте, буде корисно і цікаво :)

🌟 Як почати кар'єру у SoftServe? Долучайся до нашої події, де випускники Академії, а тепер вже й наші колеги, розкажуть про свій шлях до роботи в компанії.  На зустрічі обговоримо:  👉🏻 де шукати вакансії для початківців у SoftServe  👉🏻 як стати тим кандидатом, якого покличуть на співбесіду та запропонують офер 👉🏻 як на старті кар'єри виділитися серед інших кандидатів  👉🏻 історії випускників наших курсів, які стали частиною команди SoftServe Спікери: Олена Грик та Анастасія Матюшенко — випускниці SoftServe Academy В'ячеслав Колдовський — Competence Manager у SoftServe Academy Вікторія Пальчевська — модератор, Career Advisor Зустрінемось 19 листопада о 18:30. Реєструйся, щоб дізнатися більше про кар'єрні можливості, аби зробити важливий крок назустріч роботі в ІТ.

Кілька днів тому запросили давати коментарі для ТБ. Непоганий вийшов сюжет, як на мене. https://youtu.be/G8_gziDBiBQ

Пошук в ChatGPT Пошук в ChatGPT вже встигли затестити? Мені прям дуже сподобалося, ось тепер точно гуглу треба напрягтися. І perplexity заодно, бо коли там пробую себе пробити, то таку маячню видає, що навіть не захотілося скрінити :)

https://youtu.be/WvWod6-HED0 Запис виступу з IF IT Forum 2024 "AI-Augmented Розробка програмних проєктів" Зараз IT-галузь розвивається небаченими темпами навіть для IT-галузі 🚀. Сподіваюся, нікого не здивую, що основним драйвером в цьому виступає AI 🤖. Проте виявляється, що переважна більшість сучасних розробників не просто недостатньо активно використовують AI в своїй роботі, а навіть не уявляють, як далеко все зайшло і які доступні можливості та інструменти вже сьогодні 🛠✨. Ми розглянемо, яким має бути Software Engineer 3.0 🧑‍💻, і чим він принципово відрізняється від попередніх "версій" 🌀. Розглянемо інструменти для розробників з підтримкою AI, такі як GitHub Copilot 🤝 і Cursor IDE 🖥, Vercel V0 ⚡️, і навіть заглянемо в недалеке майбутнє з програмними агентами з bolt.new 🔮. Під час виступу вільних місць не було, хто не прийшов завчасно, вимушений дивитися стоячи 🙂. Презентація тут https://programmingmentor.github.io/2024-ai-augmented-sdev Також тут доступний безкоштовний курс по GenAI для самостійного проходження, про який я згадував на виступі https://career.softserveinc.com/uk-ua/technology/course/gen-ai-lab

Чергова онлайн-конференція AWS User Group Маю цікаве оголошення. 24 жовтня відбудеться чергова AWS Notes - Chapter 3. Data Engineering від AWS User Group Kyiv. Третій розділ AWS Notes об'єднає українських та світових спікерів, щоб поділитися викликами, складнощами, досвідом та інсайтами у сфері Data Engineering. На вас чекають: - 6 Tech Notes, де спікери поділяться своїм досвідом побудови та роботи із системами обробки та аналізу даних - 2 короткі Snap Talks з концентрованими інсайтами про найсвіжіші технології та практики З цієї нагоди ми збираємо разом провідних data експертів та сертифікованих AWS спеціалістів, серед яких: Юлія Шологонь з SoftServe, Тарас Сліпець з Flix, Alex DeBrie (AWS Data Hero), Ростислав Мироненко з Booking.com, Дмитро Сірант з OpsWorks та Максим Войтко з Honeycomb Software. Для більш детальної інформації та реєстрації відвідайте сайт конференції: https://bit.ly/3YjdrzH Реєструйтеся та до зустрічі!

Canvas у ChatGPT - працюємо по-новому https://youtu.be/zzCbSlzCiWA

Де хочемо працювати? Тут на DOU опитничок на 5 хвилин про найкраще місце роботи, не полінуйтеся заповнити, всім потім цікаво читати ці результати https://jobs.dou.ua/questionary/