Big Ledovsky | AI изнутри

Есть ли разница между DS инженером и AI исследователем

Илон Маск написал, что отменяет в xAI должность researcher. Теперь все будут engineer. Ян Лекун (один из главных авторитетов в ML рисерче) написал длинный пост в линкедин с критикой.

Мне лично кажется деление на researcher и engineer разумным. Саму работу в DS я бы поделил на 3 категории - Разработка прикладных решений. Делают DS инженеры 👷 - Разработка экспериментальных решений. Тоже делают DS инженеры 👷 - Создание новых технологий и методов. Делают исследователи 🧑‍🔬 💊 Этими тремя группами удобно оперировать с точки зрения управления ресурсами компании. Вы балансируете, сколько человек работают над результатом здесь и сейчас, а сколько работают на средний и далекий горизонт. Теперь по поводу ролей. Цель инженера - создать рабочее решение. Цель исследователя - создать новую технологию и опубликовать статью. Давайте разберемся, почему я поделил работу между инженерами и исследователями как написал выше. - По поводу прикладных решений вопросов нет. Это абсолютно инженерная работа. Новые методы изобретать не нужно, а нужно уметь из существующих собрать рабочее решение, сделать файн-тюн, добавить эвристики итд. - По экспериментальным решениям менее однозначно. В процессе могут появиться новые методы и архитектуры моделей, но это не основной продукт, это не делается специально (в здоровых командах 🤒). Главное - именно собрать рабочее решение, поэтому работа инженерная. - А вот в целенаправленном создании новых методов работа не инженерная. Неоднозначность тут вызывается тем, что в AI значительная часть исследований - корпоративная. Корпоративная среда не хочет сухих открытий 💰, она хочет внедрений. Но пилотирование новой модели - это не исследовательская работа, это уже другая задача. Если создан интересный метод, помочь его протестировать должен DS инженер. По крайней мере так это реализовано у нас в нашем небольшом рисерче монетизации. Итого, я бы не отказывался от разделения инженера и исследователя Характер работы и требуемые навыки и правда слишком разные. Если инженера можно подвинуть с прикладных решений на экспериментальные, то рисерчера как правило никуда не подвинуть. #management@big_ledovsky

Конференция от Яндекса: Data-Driven Мне предложили написать, и я с радостью согласился. 20 сентября Яндекс организует конференцию Data-Driven. Я бы сказал, что мероприятие для аналитиков, но и DS тоже может быть интересно. Сейчас поймете почему. Мероприятие организуется Поиском и Рекламными технологиями Яндекса. А в этих областях аналитика традиционно сложная, и граница между аналитиками и DS размывается. Например, аналитики могут придумывать алгоритмы, а DS-ы разрабатывать метрики. Доклады поделили на два трека: - для продуктовых, data-аналитиков и data scientists - для data-инженеров, системных и BI-аналитиков Сетка еще формируется и состоит из докладов Яндекса (на мой взгляд это плюс). Из анонсированного обратил внимание на доклад про end-to-end качество Алисы и о том как устроен бизнес рободоставки. По опыту Practical ML Яндекс круто организует свои ивенты. Всем рекомендую обратить внимание. Реклама. ООО "Яндекс". ИНН 7736207543 Ссылка для регистрации

Байдарочный поход в Киргизии - завершение 🔫 Тяжело ли идти в такой поход или нет? Тяжело, но не так, как бегать марафоны. А я знаю, что многие из вас еще как бегают 🏎. У нас был по сути мультитур. Не только гребля, но и еще всякое. Это значит, что периодически есть контакт с цивилизацией и кемпинги. Можно мыться ежедневно, иногда даже в теплом душе. Хорошая точка старта для новичков, только желательно иметь хорошую физ форму. 😊 Что понравилось - Было много вкусной еды: борщ, плов, блины, арбузы. Тут два фактора: на байдарку можно много всего взять и личный фактор инструкторов. Наши ребята были 10 из 10 по кулинарии - Переходы были не более 4-5 часов в день. Мне нравится этот формат. Полдня гребешь, полдня занимаешься чем-то другим - Оценил доп активности и хайки. Самое яркое впечатление - лошади - Было много атмосферных вещей. Наш инструктор, Саша, заваривал пуэр, варил кофе в турке, ставил классную музыку. Ну и в целом, мы не бежали - Природа. Озеро Иссык-Куль ведет себя почти как море: волны, резкая смена погоды. Вокруг горы. Очень круто. 😏 Что могло бы быть лучше Мне кажется, если уж на маршруте есть кемпинги, то лучше максимально ими пользоваться: спать в юртах, а не палатках, есть местную еду, а не готовить. Это просто время экономит. Еще после моего опыта со Сменой и нашим DS выездом я ощутил нехватку методов управления групповой динамикой: чекинов/свечек, модерируемых групповых обсуждений итд. И без этого людей постепенно узнаешь, находишь точки контакта, но раз в 10 медленнее. 😁 Итог Я переключился, забыл какой день недели, забыл про работу, практически про все. Походы - сильно недооцененная тема. Не для всех, понятно. #lifestyle@big_ledovsky

Байдарочный поход в Киргизии 🏕 В этом блоге смешивается профессиональный контент и лайфстайл. Из последнего я особенно люблю писать про походы. Мне кажется, что таким образом я несу их в массы 🫡 В этом году я поехал 9 дней грести по озеру Иссык-Куль в Киргизию. Тут неплохо с интернетом, поэтому выкладываю первую часть впечатлений прямо с маршута В чем суть мероприятия. Мы гребем вдоль побережья. Останавливаемся в палатках либо на диких пляжах, либо в кемпингах (где есть душ и туалет). Периодически ходим на пешие вылазки или другие активности. Например, я тут научился ездить на лошади. Свободного времени в целом мало, можно встать пораньше чтобы провести время с собой, ну и в обед посидеть с кофеечком и даже поспать. В следующем впечатлении расскажу что больше всего понравилось, а что нет. И насколько такой поход - это тяжело 😁/🔫 Читайте также: Прошлогодний поход по западному Кавказу Прошлогодний поход по Ладожским Шхерам

Самое важное про релиз ChatGPT 5 👉 Изменения в ChatGPT 5 не революционные, а эволюционные - Повышена скорость работы моделей с ризонингом* - Улучшены показатели на бенчмарках в написании кода - Снижены галлюцинации - Добавлены тонкие настройки в API: сложность ризонинга и многословность ответа (verbosity) - Добавлены тонкие настройки ответа. Например, можно задать синтаксис своего SQL диалекта * ризонинг (reasoning, он же thinking mode в UI) - это режим работы LLM, когда ее просят решить задачу не сразу, а по шагам. Улучшает результаты в сложных задачах, например кодинге. До этого ризонинг модели работали сильно дольше обычных. Выводы. LLM как инструмент становится более зрелым. Сейчас все-таки в основном им пользуются как чатом. Но уже сейчас видно, что массовое внедрение в продакшн процессы близко. #tech@big_ledovsky

🤔 Аня написала статью для аналитиков, которые переходят из специалистов в тимлиды. Для DS тоже актуально. А еще статья актуальна для тех, кто думает, идти ли в тимлиды 🔫 👉 И вывод на самом деле в том, что становиться тимлидом необязательно. Это правда серьезное изменение, и подойдет не каждому. Но с другой стороны, если сомневаетесь, лучше попробуйте. Вернуться сможете всегда. 👌 #career@big_ledovsky

Конференция e-code от Озона - one love ❤️. Как и в прошлом году, прислали классные подарки с приглашением. А еще там были годные доклады по поиску и рекомендациям, вкусная еда и Александр Пушной. Заглядение, а не конференция. Пойду обязательно! 😙

В доске AI объявлений вышел пост, и я вспомнил, что ничего не писал про наш внутриАвитовский DS выезд в конце июня. А это на самом деле было самое крутое корпоративное мероприятие на котором я был 😮 Было что-то типа пионерлагеря. Поделились на отряды, бегали эстафету, тянули канат, поставили две сценки по типу квн, проводили свечку. Кто был в лагерях, поймет 💔 Я бы назвал это возвращением к нормальным человеческим отношениям в эпоху интернета

Ecom vs Банк: о в подходах работе с данными Всем привет! Последнее время маловато пишу. Думаю так будет до конца лета, а потом начну новый сезон! Как обещал, хочу поделиться о чем я рассказывал на Fintech Data Day. Вообще, я занимаюсь алгоритмами монетизации в Авито. И это совсем не то, что обычно понимают под словом финтех, хотя это тоже про деньги. Я был на конференции как человек из другой индустрии, у меня была задача сделать доклад на стыке. Тем более, что в банке я тоже прилично проработал. Недолго думая я решил рассказать про 3 кейса, почему в некоторых продуктовых ecom компаниях очень быстро идет работа с области аналитики и DS. Сами идеи небольшие и как раз уместятся в один пост. Активное использование событий как источника данных Во многих компаниях, в т. ч. в банках, доставка данных в хранилище данных строится на базе технологии CDC, change data capture. При всех плюсах у этого подхода есть пару недостатков: CDC реплики делать дорого и дорого поддерживать, а структуры баз данных сервисов не предназначены для аналитических запросов. Поэтому создание витрин напрямую из сырых реплик требует значительных ресурсов и сложных методологий (привет 6-я нормальная форма и data vault). Зато, в хранилище всегда лежит точная копия данных. Но часто прямо 100%-ная точность не нужна. В итоге вы же считаете агрегированные метрики или достаете небольшой семпл конкретных примеров. Если потеряете одну строчку - ну ничего страшного. Продуктовые компании этим активно пользуются и часть своей аналитики строят на событиях. Это когда вы в середине какого-то процесса отправляете сообщение в формате JSON с какими-то данными и они летят в сторону хранилища. Получается сильно быстрее: и само событие добавить дело нехитрое, и потом на стороне аналитики джойнить нужно меньше. Пропадают события нечасто, но такое может быть. И уж если пропадет, то пропадет насовсем. Такая плата за эффективность. Возможность тестирования на проде для ускорения работы В банках прод обычно держат за семью печатями. А когда вы работаете с аналитикой или ML-сценариями, отладиться в тестовой среде просто невозможно. Например, нужно ходить в продовый индекс поиска во время локальной отладки поискового сервиса. Ну не сведете вы поиск на каком-то тестовом слепке прода. Это нужно создавать вторую копию всех данных, инфраструктуру аналогичную проду за безумные деньги и заливать туда все те же самые данные. Поэтому работу с продом нужно не запрещать, а нужно создавать безопасные подходы работы. Прямой доступ аналитиков к некоторым продовым API И развивая предыдущую историю. Аналитикам и DS-ам нужно в некоторых сценариях ходить в продовые API. Например, где-то можно нужно запустить тест. Где-то нужно поискать баги. Где-то получить данные в моменте. Если на каждую проблему откатывать сервис, уходить в тестовый контур, и пытаться воспроизвести проблему, то можно фичи делать бесконечно. С дата-центричными сервисами такое плохо работает. Вот такие вредные советы у меня получились. Банки в среднем работают медленнее не потому что там какая-то не такая культура. В первую очередь причина в трейдоффе между надежностью и эффективностью, что я показал этими тремя кейсами. Просто не везде надежность должна падать - нужно грамотно реализовывать процессы. С теми же API кто угодно не должен иметь возможность делать запросы - есть специальные политики безопасности с ограниченным кругом лиц. И так далее. Поиск таких более эффективных процессов - это и есть большая точка роста в банках. Спасибо что дочитали! Надеюсь было интересно ❤️ #tech

С летнего корпоратива Обычно не пощу с корпоратов, но тут атмосфера меня прям тронула, и захотелось поделиться #lifestyle@big_ledovsky

Впечатления с Fintech Data Day Вчера выступал на Fintech Data Day. Доклад назывался - еком vs банки: отличия инфраструктуры данных на примерах. Название конечно было эвфемизмом. Потому что это не какое-то системное сравнение архитектур разных компаний. Это про мои личные инсайты, которые я получил перейдя из Сбера в Авито. Не буду сюда писать суть доклада. Получилось на мой взгляд довольно интересно, сделаю отдельный пост. Что было круто - в конференции чувствовался ламповый вайб. Наша сессия была чем-то средним между докладами и интервью, люди свободно задавали вопросы и знакомились, в том числе после докладов. Да и вы на видео можете посмотреть, доклад я затирал сидя на огромном кожаном кресле 😅 Думаю, что в такой атмосфере большая заслуга Саши Толмачёва, который организовывал конфу и вел в частности нашу секцию. А так конечно приятно, что меня позвали. Здорово, что появилась новая классная конфа🔥

Хочу поделиться вакансией моего друга, Виталика Минаева, в ML Autotasking Старший DS инженер ML Autotasking - это про выставление задач менеджерам по продажам. Направление горячее, импакт на бизнес большой! Конкретно на этой позиции нужно разработать систему извлечения потребностей клиента из диалогов, которая должна сильно бустануть механизм ранжирования клиентов и предлагаемых им монетизационных продуктов. Могу порекомендовать и Виталика, и команду. Будет интересно! Резюме скидывайте напрямую Виталику в телегу – @vminaev88 =)

Стоит ли идти в трансформерные рекомендации Прочитал статью про новую рекомендательную модель Яндекса - ARGUS. Ее активно пиарили в каналах, я слежу и за каналом руководителя их RnD отдела (кто не следит 🙂), и в целом слежу за областью. Мне пиарить не предлагали, поэтому напишу чисто свои выводы с менеджерским уклоном. - Нейросети в рекомендациях - рабочая ставка. Она себя оправдывает. В том числе сыграла она и у нас. Можете подробнее узнать в докладе Саши Михеева - Однако это и серьезные инвестиции. Чтобы дойти до хорошего внедрения Яндексу потребовалось вложить ресурсы топового по компетенциям отдела на целых три года - Чтобы получить хороший результат нужен фокус. Яндексу потребовалось выделить специализированный RnD в отдельное подразделение. По моему опыту, «продакшн» команде ну очень сложно выкраивать время на такие задачи. Все что не дает результат за квартал, или хотя бы за полгода задвигается. А тут нужно было три года Но с другой стороны, если ваша компания небольшая, то я не уверен, что стоит врубаться в трансформеры. Аплифт от модели - два с чем то процента в попарной точности ранжирования. Вероятно, для вас это не окупится. Такие вот выводы PS. А про наш путь и выводы обязательно еще будет в нашем канале #tech@big_ledovsky

Обзор нового видео от Андрея Карпати Редкая роскошь в наше время — обзор, написанный человеком. Посмотрел свежее выступление Андрея Карпати в Y Combinator, которое недавно промелькнуло в нескольких каналах. Андрея я люблю больше всех из лидеров мнений в AI и слежу за ним, потому что он сохранил в себе майндсет инженера, что доказывает периодическими видео на ютубе с лайв кодингом. Я писал, что он сравнивал LLM с операционной системой. В этот раз про это тоже было, но было еще немало новых интересных аналогий. В первой части Карпати предлагает новое понимание термина ПО Software 1.0 — традиционный код для компьютеров Software 2.0 — веса для нейросетей Software 3.0 — промпты для LLM на естественном языке И еще он приводит аналогию LLM с электричеством. Обучение LLM требует больших капитальных затрат — так же, как электросеть требует построить электростанцию. Операционные расходы инференс — как стоимость генерации энергии. Тарификация за миллион токенов — как тарификация за киловатт-часы. И так далее. Вторая часть была о “психологии” нейросетей. Карпати сравнил LLM с людьми с психологическими особенностями — например, с аутизмом: где-то они очень странные, но в чем-то гениальны. LLM способны запоминать огромные массивы информации, но иногда ведут себя непредсказуемо, совершают глупые ошибки, галлюцинируют. Третья часть — про ставку на частичную автономность и неверие в быстрое наступление AGI. Еще в 2013 году он катался на первом беспилотнике Waymo — тогда всё уже работало очень хорошо, но прошло 12 лет, и мы всё еще далеки от полностью автономных автомобилей. С LLM и агентами ситуация будет похожей: впереди еще огромный объем работы. Сейчас основное внимание уделяется созданию приложений с частичной автономностью: редакторы кода вроде Cursor, графические редакторы с частичной автоматизацией. LLM делают небольшую итерацию, человек её верифицирует, потом еще одна итерация — и так по кругу. И тут крутая фича — это ползунок степени автономности, которой можно настроить размер итерации. Четвертая часть — про ставку на агентов. Агенты отличаются от обычных ботов тем, что понимают инструкции на человеческом языке. Это особенно важно, потому что на человеческом языке уже существует огромное количество инструкций. И новые инструкции тоже проще написать на человеческом. А там, где есть сложности в представлении информации, есть специальные построители контекста и хайповый нынче MCP протокол. Таким образом, агенты могут ходить по сайтам, нажимать кнопки, выполнять команды — и всё это будет программироваться куда проще, чем раньше. 💎 А вообще посмотрите сами. Если не узнаете что-то новое, то точно словите классный вайб. Буду рад вашим реакциям 🔥 #tech@big_ledovsky

1 - наш барнхаус 2 - деревня в глуши 3 - набережная Плеса 4 - архитектура Плеса 5 - баржа идет мимо нас 6 - я 7 - архитектура Костромы 8 - выставка в Костроме

Роадтрип - завершение Второй день мы проснулись в Суздали в отеле из новеньких домов-барнхаусов в 10 минутах от города. Суздаль все-таки неплох. Позавтракав, мы отправились в сторону Иваново, но не напрямую. Ярик хотел посмотреть одну деревню. Его друг унаследовал там землю, и они Бангкокской тусовкой мечтали, что все вместе купят себе участки и поселятся. Было интересно проверить эту идею о реальность. Так мы поехали километров на 50 в какую-то глушь. В какой-то момент дорога пошла по полю и затем окончательно испортилась. Лично я натолкался машин еще на турслете прошлым летом, поэтому рисковать мы не стали. Последний километр до деревни прошли пешком. В целом, места там красивые, но так ездить честно говоря не понятно зачем. Тем не менее, мы нисколько не пожалели, что заехали, и отправились дальше. В Иваново нас ждала проблема. Пообедав и сев за чашками вороночного кофе, мы поняли, что из-за праздников и в Иваново, и в Костроме на эту ночь были сняты совсем все отели и почти все квартиры. А те немногие квартиры, что остались, стоили в этот день 15 тысяч вместо 2500, и выглядели мягко говоря жутко. В итоге Ярик нашел отель вроде бы недалеко Плёса потом оказалось 75 км 😅 в одну сторону, который был среди наших точек интереса. На том и порешили. Плёс мне понравился. Это поселок на берегу Волги с колоритной дореволюционной архитектурой. Дача Левитана и прочее в том же духе. А архитектуру я в общем люблю. Мы с удовольствием погуляли до вечера, и затем выехали в сторону отеля. Для увеличения драйва я включил Ярику альбом Kraftwerk - была такая немецкая группа, пионеры электроники. Он оказался невероятно в тему, и под Tour de France мы доехали до отеля, а потом еще дослушивали альбом на следующий день. Отель оказался домом отдыха на берегу Волги. Он был очень кстати после двух насыщенных дней. Хороший сон, шведский стол, прогулка по берегу реки - прямо то что нужно. Сдав номер в 12, к обеду мы уже были в Костроме. Все бы ничего, но на улице прилично похолодало, и периодически накатывал дождь. Кострома мне понравилась своей архитектурой, но мест где провести время там оказалось катострофически мало. Банально ни одной спешалти кофейни. В городе похоже дефицит хипстеров. Однако мне улыбнулась удача и в 15 минутах от центра я нашел музей современного искусства с выставкой хорошего уровня. Считаю, что мы хакнули систему, отойдя от точек притяжения автобусных туристов. Последней остановкой стал Ярославль. На контрасте он оказался заметно масштабнее всех остальных городов, где мы были. Посмотреть его особо не хватило времени - мне нужно было вернуться домой в этот день. Я оставил Ярика с нашим каршем и в 9 сел на Ласточку до Москвы. Такое вот вышло путешествие. Стоит отметить, что для поездки мы взяли карш Яндекс драйва. На нем можно передавать руль между водителями. Крутая фича, хотя сырая. В какой-то момент у машины появилось задание посещения сервиса, и передача руля сломалась. Приходилось делать это через поддержку. Ну, надеюсь доработают. #lifestyle@big_ledovsky

Роадтрип Собрались мы с Яриком в небольшой роадтрип по городам золотого кольца. На работе ощущение финишной прямой. Идет конец полугодия, отпуск уже не помню когда был, последняя поездка в мае была рабочей и мне явно нужно было путешествие. За сегодня проехали Владимир и Суздаль. Во Владимире интересный исторический центр, причем даже не храмами, а открывающимся панорамным видом с возвышенности. Но контента там немного, погулять час хватит за глаза. Что сделало нашу остановку во Владимире запоминающейся, это букинистический магазин, случайно найденный моим нюхом на хипстерское. Мы потонули в лабиринтах книг. Не знаю даже сколько там провели времени. Что-то прикупил на память, надеюсь не придется продавать на Авито. О Суздали хотят много хороших отзывов, и в целом они не врали. Тут большая историческая зона, есть где погулять, где поесть, и вообще достаточно спокойно. Главным впечатлением для меня стала разогнанная тут тема с чаепитием в русском стиле. Мы сперва попили чай в чайной. А потом еще за ужином заказали чай, и нам принесли его с сушками и вареньем. Хорошая тема. Самовара не было Такие дела. Дальше Иваново и Ярославль. Upd: Книжный во Владимире #lifestyle@big_ledovsky

Первое фото - помогаю в качестве ведущего одной из секций. Второе фото - получил от Лизы табель с оценками за участие в орг группе DS PR в этом году 😂 теперь буду думать прежде чем пропускать синки 😅 PS. За ведение телеграм канала 5+ (не этого, а Доски AI объявлений)

У нас вот так!