Борис опять

Приходит ко мне кандидат - я ему говорю: задеплой пожалуйста. Можно и нужно использовать всё: ChatGPT, Copilot, Google, твою любимую IDE, только рассказывай-показывай что делаешь и относись к этому как к сессии парного программирования. У тебя полчаса. Я даже себя проверил, “ChatGPT, напиши мне пожалуйста обёртку для модели на Fast API, вот у меня тут такие параметры, а можно ещё докерфайл” - у меня ушло 19 минут до локального контейнера, в который ты кидаешь 4 переменные, а тебе прилетает цена дома. Я думал, ща мы с этими сеньорами обсудим, что значит деплой и как нам урезать размах задачи, чтобы успеть в полчаса; и как надо это всё делать, чтобы было полезно для бизнеса; и что они откажутся запускать рандомный pickle файл, потому что не секьюрно, и я с ними пошарю запасённую другую ветку гита, где всё без pickle. Мне это всё кажется таким очевидным. Но это НАПРОЧЬ ломает шаблоны кандидатам. Мне, конечно, не повезло, но 3 человека из 4 втихаря задавали вопросы ChatGPT, но не признавались (!) в этом и начинали переписывать её ответы в IDE вручную. Типо “нет, я по памяти помню как докерфайлы писать” - но чувак, ты уже 10 минут потратил, и пока ничего не полетело, ты уверен? “Да” - и продолжает переписывать что ему там ChatGPT написала. Почему я так уверен? Потому что я пробовал с ними разговаривать - а там просто пустота, там ноль понимания и человек, выполняющий команды робота. Один чувак писал код примерно так (я там литкод тоже спрашивал):

complement = target - nums[i]

До меня потом дошло, что он списывал с телефона, на котором не хватило ширины экрана, чтобы уместилась целая строка, и он просто перенёс это в IDE, и его ничего не смутило. Другой чувак по резюме - ну почти бог. 7 лет в Гугле, 2 в Anthropic. 4 (!) публикации с командой Anthropic, где и правда есть его имя. Вместо всего экрана пошарил со мной только IDE, деплой начал с написания докерфайла(🤷‍♂️). По памяти конечно - вот только он начал местами писать неуместную фигню (типа переопределения конфига pip) и не мог объяснить зачем. Спрашиваю, почему python-3.9 - не отвечает (ну не потому же, что такой ответ даёт ChatGPT). Спрашиваю что такое uvicorn, который у него там в entrypoint - тоже не знает, а спустя 15 секунд вдруг кааак начинает мне про wsgi рассказывать стройными предложениями. В общем, мне такое задание давать понравилось, буду ещё. А вот с роботами разговаривать не понравилось, мне бы простого человеческого человеческого.

“Welcome to the world of human interfaces to AI” - Я в слаке нашей компании, пособеседовав 4 человека на ML Ops позицию Поделюсь сюрреалистичным опытом интервьюера в 2024. Учитывая, что сейчас есть тулзы, отвечающие на вопросы в реальном времени, дистанционные интервью превратились в смешную игру, где одна сторона зачитывает ответы ChatGPT, а вторая пытается это распознать по движению зрачков, неоправданным паузам и странному выбору слов. Мне так не ок, поэтому я придумал очевидное в своей простоте задание по ML Ops. - Обучил Linear Regression из sklearn предсказывать цену домов на основе количества спален, туалетов, этажей и квадратных метров - Запихнул всё это в pickle файл - Закинул в репозиторий на GitHub - И добавил документацию примерно в таком виде, в котором она обычно приходит от data scientist’ов:

Hi there, I'm a data scientist and I have created this model⭐️ Please deploy Bye👋 P.S. input is square_meters, floors, sleeping_rooms, bathrooms

Буквально нехватает одного буста, чтобы добавить такую необходимую каналу 🤓 реакцию. Это твой шанс! https://t.me/boost/boris_again Если поднажмем еще, то можно заменить пару эмодзи на 😎🧠😩🎧

🤓 - главный двигатель прогресса и основа нашей цивилизации

Вот и enshittening на LLM-ках подвезли https://replyguy.com/

Тэк, вижу нотки непонимания, давайте по другому. Вот есть экзамен по истории. Вашей группе выдали 100 билетов для подготовки. Кто-то сидел, зубрил ответы именно на них, кто-то просто читал учебник, доп. материалы и искренне интересовался историей. В день экзамена приходит препод и говорит: «это пранк, на самом деле я буду спрашивать по новым 100 билетам. Ни один вопрос не пересекается со старой стопкой, но те, кто реально учил — у вас проблем не будет». У тех, для кого билеты были лишь общим направлением, кто искренне интересуется предметом и изучает самостоятельно — у них трудностей не возникнет. Они и за те, и за эти билеты готовы пояснить. А у довечника Васи, который только и запомнил, что «текст билета -> зазубренный ответ» (и то для половины) — у него произойдет оказия. Дай бог он сможет на троечку наскрести, вспомнив максимально похожий билет из первой сотни, по которой он готовился. Но вне этого у него знаний и понимания нуль. === Так и тут. Есть 8 тысяч задач старых, есть 1250 задач новых. Если LLM дает ответы одинаково хорошо и там, и тут — она понимает. Если она переобучилась на старые задачи — качество ответов упадёт. Не настолько сильно, как в примере с Васей (он то вообще ни бум-бум), но достаточно, чтобы заметить. Это и есть переобучение: когда модель показывает качество лучше на той выборке, что она видела, нежели на новой. Часть ответов/задач LLM запомнила, и ответ на них не является показателем навыков. Можно сказать, что нет обобщения. В мире машинного обучения такое случается постоянно, поэтому обычно делают отложенную выборку, которую никогда не показывают модели (и в идеале по ней даже не принимают решения, что лучше а что хуже), а затем в конце проверяют, что всё ок.

Сиолл красиво объяснил переобучение

Каждый раз, когда присоединяюсь к проекту

#щитпостинг Я не знаю на каком языке будет вестись разработка AGI, но разработка ASI будет на Typescript+React+Tailwind

Телега зашакалила файл, так что будем считать, что выше превью, а оригинал смотрите тут