LEFT JOIN

Вайб-кодинг против вайб-инжиниринга Все мы уже поняли, что такое «вайб-кодинг» — это человек генерирует код с помощью нейросетей, иногда даже не особо вникая, что они ему там пишут. Код работает, и ладно. Быстро, просто, но результат может быть непредсказуем. Но ведь есть и альтернативный подход — не сваливать на нейросеть всю работу, а использовать ее как помощника. При этом человек все еще руководит процессом и отвечает за качество работы. Получается быстрее, чем все делать руками, уже не так просто, зато за результат не стыдно. Это уже не вайб-кодинг — но что тогда? Есть вариант называть это «вайб-инжиниринг». В чем суть? 🔵Чтобы от ИИ получать реальную пользу (а не только едва жизнеспособный код), надо хорошо разбираться, как он работает, понимать его ограничения и выстраивать процесс. 🔵Под «выстраиванием» процесса мы понимаем использование старых добрых практик, которые применяются в нормальной, «безвайбовой» разработке. Составление грамотного плана работы и документации, настройка автоматических тестов, вдумчивое тестирование вручную, код-ревью — это все помогает не только людям, но и ИИ. 🔵Вайб-инженеру также важно реально оценивать возможности ИИ: что ему можно доверить, а что лучше сделать самому, как корректно поставить задачу и проверить качество выполнения. Человек в каком-то смысле занимает роль лида или менеджера, контролирующего своего ИИ-подчиненного. В общем, слагаемые те же, что при вайб-кодинге, — есть человек, ИИ и какая-то работа, которую этим двоим надо выполнить. Но подход и конечный результат совсем другие. Вопрос только в названии — как вам оно? Как думаете, пойдет «вайб-инжиниринг» в народ?

Valiotti Analytics — 6 лет! 🥳 Наш канал существует не сам по себе — это один из проектов дата-консалтинга Valiotti Analytics. Мы, конечно, уже про это писали, но вдруг вы пропустили или забыли 🔜 И вот сегодня Valiotti Analytics исполняется 6 лет. За эти годы мы успели поработать над десятками проектов для заказчиков со всего мира, строили системы аналитики с нуля и разбирали тысячи строк legacy кода, радовались успехам и учились на ошибках. В общем, это были насыщенные 6 лет, за которые компания выросла и сильно изменилась, но суть осталась та же — делать данные ближе и понятнее для бизнеса. Намерены продолжать делать это и дальше, только еще лучше. ❤️

Догадаетесь, что на этих картинках? А это работы участников первого российского конкурса датавиза Data Kids. ❤️ Напоминаем, что он уже в самом разгаре: участники смотрят обучающие вебинары и присылают свои работы. Но присоединиться все еще можно и даже нужно: мало того, что это полезно и весело, так еще и бесплатно. В общем, ноль минусов, сплошные плюсы и даже шанс выиграть какой-нибудь крутой приз. 🔜 Регистрируйтесь на сайте конкурса. А если нет детей или не хотите участвовать, то просто заходите посмотреть на галерею работ.

Вы аналитик? Расскажите, как вам работается Старые добрые осенние традиции: готовиться к Хеллоуину (если отмечаете), пересматривать «Сумерки» (если любите такое), участвовать в опросе NEWHR про рынок труда аналитиков (если вы аналитик). Ребята каждый год проводят исследование, чтобы выяснить: 🔵уровень зарплат, 🔵лучшие места для работы, 🔵какие требования к аналитикам предъявляют работодатели, 🔵каких экспертов читают и смотрят те, кто работает с данными. А когда они собирают все эти данные вместе с сравнивают с предыдущими годами, это позволяет посмотреть на изменения в динамике и увидеть главные тренды на рынке дата-труда. Ну а мы их с радостью поддерживаем в этом начинании и приглашаем наших читателей принять участие в опросе. Он займет около 20 минут, а в награду вы получите ранний доступ к промежуточным результатам исследования, инвайт на закрытый стрим сс организаторами и чувство, что сделали хорошее дело. 🔜 Опрос

Всем привет! Я уже раньше упоминал, что решил выпустить адаптацию книги «Аналитика для руководителей» на английском языке. Мы уже на финишной прямой — все перевели, отредактировали (кстати, спасибо нашим бета-ридерами и всем, кто поделился фидбеком!), верстаем и готовимся выпускать. Сейчас самое сложное испытание для любого автора — выбрать обложку. Мы решили сменить название и концепт, отсмотрели сотню книг из той же ниши и собрали три весьма разные версии. Все кажутся по-своему классными, но выпустить книгу с тремя обложками — не вариант. Скажите, какая из трех нравится вам больше?

Амбассадоры Tableau 2025 Tableau регулярно обновляет список своих амбассадоров— людей, которые делают большой вклад в сообщество, делятся своими знаниями и навыками и вообще всячески популяризуют этот тул. В 2025 году звания удостоились 386 человек из 48 стран. 🔜 Список можно увидеть на сайте, но намного интереснее — потыкать в кнопки на дашборде. Он позволяет отфильтровать людей по странам, городам и специализациям. Пишут, что в этом году получился самый разнообразный состав амбассадоров с точки зрения географии, и это нагляднее видно на другом дашборде. Он не такой удобный, как первый, зато с картой. В списке, кстати, вы наверняка заметите какие-нибудь знакомые лица. Возможно, на кого-то из них вы даже подписаны. 👀

Почему Text 2 SQL не работает? Ко мне иногда приходят разные знакомые и говорят, что у них есть концепция Text 2 SQL или LLM-генератора SQL-кода — мол, классная идея для бизнеса, можно ее попродавать. И вот наконец я понял, почему идея «пусть бизнес пишет запросы на естественном языке» не взлетает и не взлетит. На бумаге все красиво. Даешь ИИшке команду: «Покажи выручку за август по городам», получаешь результат. На практике же имеем несколько иной сетап: никто из бизнес-менеджеров не хочет и не может задавать правильные вопросы к данным. Причина кроется в подмене понятий, за которую сами бизнес-менеджеры обычно аналитика и ругают. Так вот, написание SQL — это не основная работа аналитика. На самом деле аналитик занимается мыслительным трудом: как раз пытается разобраться, какие вопросы вообще стоит задать, чтобы понять, что там у бизнеса пошло не так. SQL — лишь удобный интерфейс для формулировки гипотез. Его просто изучить, но логика за пределами SQL. И, соответственно, вторая часть проблемы: многие бизнес-менеджеры в большинстве случаев не обучены мыслить аналитически, эту часть работы они делегировали аналитику, чтобы он за них подумал. Они сами не думают в контексте данных, структур или понимания взаимосвязей. Именно поэтому LLM-промпты в виде «SQLGPT для маркетологов» и не взлетают. 🔜 AI может перевести вопрос в SQL, но не может придумать сам вопрос, который имеет смысл для бизнеса. Сейчас мы на этапе следующего шага — передать LLM формирование вопросов и гипотез, а затем уже написание необходимого кода и SQL-запросов для решения аналитической задачи. А пока просто осознаем, что произошла гиперинфляция хардскиллов. А вот мыслить и генерировать ценные инсайты — тот самый навык, который был и есть востребован в аналитиках.

Как подружить ClickHouse с процессором на 100+ ядер Ядер в процессорах все больше, и в теории это прекрасно: больше ядер — больше производительности. На практике это тоже хорошо, но есть нюанс. Чтобы на 100% использовать мощности железа, софт нужно под него оптимизировать — и базы тоже. ClickHouses выложили в своем блоге статью, написанную инженерами Intel Shanghai, о том, как преодолеть ограничения БД и «научить» ее использовать вычислительные мощности их процессоров с 100+ ядер. 💬 Всего они выявили 5 ключевых областей, где ClickHouse можно (и нужно) докрутить, чтобы увеличить производительность: прекратить тормозящую всю базу конкуренцию за блокировки, оптимизировать работу с памятью, распараллелить процессы на множество потоков и разобраться с false sharing'ом. Если этого не делать, то вся мощность и многоядерность процессора пойдут только во вред и насоздают боттлнеков на пустом месте. Сделать это будет совсем непросто — авторы в статье неоднократно предупреждают, что чтобы получить результат, нужно глубоко разобраться в том, как работает база, и некоторые процессы фундаментально пересмотреть. 💬 Хотя статья про ClickHouse, описанные в ней подходы могут быть применимы и к другим базам. По мере того, как мощность процессоров будет расти, будет расти и важность умения оптимизировать софт под них.

Стартовал первый детский конкурс датавиза! В программе: диаграммы из конфет и графики, нарисованные цветными карандашами. Если у вас есть дети от 6 до 11 лет и вы хотите привить им любовь к данным и помочь развить аналитическое мышление — присоединяйтесь! Вас ждут: 🔵Образовательные эфиры, где дети узнают, что такое данные, и познакомятся с основами датавиза. 🔵Подарки для всех участников, а для победителей — iPad, набор LEGO и другие крутые призы, 🔵Бонусы и полезные материалы. Конкурс пройдет с 1 по 30 октября — в это время участники как раз будут смотреть эфиры и смогут подать свою работу в одной из трех номинаций: поделка, рисунок или диджитал. 15 ноября организаторы подведут итоги и наградят победителей. 🔜 Участие бесплатное, главное — зарегистрироваться!

Состоялся релиз Claude Sonnet 4.5 Новую версию Claude Anthropic представила нескромно:

Claude Sonnet 4.5 — лучшая модель для кодинга в мире. Это самая сильная модель для создания сложных агентов. Она лучше всех работает с компьютерами.

🔵Свое заявление компания подтверждает бенчмарками — их результаты на картинке выше. ☝🏻 🔵Еще Claude теперь намного лучше разбирается в финансах, юриспруденции, медицине и точных науках. 🔵Не считая того, что он поумнел, он стал менее склонен к галлюцинациям, обману, лести и другим нежелательным моделям поведения. Апгрейд получил и Claude Code: добавились нативное расширение VS Code и чек-поинты для сохранения прогресса. Но если даже после этого Claude Code вам все равно не нравится, вы можете собрать свою версию: Anthropic выкатила Claude Agent SDK, с помощью которого пользователи теперь сами могут создавать ИИ-агентов. В общем, пока ChatGPT все глубже проникает в повседневную жизнь пользователей со своим Pulse и новой возможностью совершать покупки прямо в чате, Claude совершенствуется в кодинге и уходит в науку.

sqlite-vector: простой и удобный векторный поиск в SQLite SQLite тоже умеет в векторный поиск — для этого уже есть несколько расширений. Но их главная проблема в том, что в основном они либо медленные, либо неудобные. А ведь, наверное, главное, чего хотят от SQLite — чтобы он был легким, простым и быстрым. И, конечно, нашлись люди, которые попробовали разработать свое решение, отвечающее этим требованиям. 🔜 sqlite-vector — бесплатное кросс-платформенное расширение, которое обходится 30 МБ памяти, складывает векторы в обычные таблицы (без возни с виртуальными и сложными SQL-запросами), хранит данные локально и работает оффлайн. Ему не нужен дополнительный сервер и долгая нудная подготовка, настройка и преиндексиование. Разработчики сравнили свое решение с популярными аналогами (точнее только с одним по факту) — если очень захотеть, то sqlite-vector может быть аж в 17 раз быстрее sqlite-vec. Да, названия у них не очень креативные и перепутать легко. С libsql сравнить не удалось, потому что он так долго возился с созданием индекса, что всем надоело ждать. Расширение распространяется по Elastic License 2.0. Скачать можно с гитхаба.

ChatGPT Pulse: новая парадигма взаимодействия с ИИ? Кстати, пока мы тут обсуждаем пагубные последствия от повсеместного внедрения ИИ, OpenAI представила ChatGPT Pulse. Это новая фича, пока доступная только на смартфонах пользователям с подпиской Pro. С ней ChatGPT сможет анализировать ваши переписки с ним, данные из календаря и почты (если они подключены) и первым начинать разговор. Например, он предложить продолжить обсуждение какой-то темы, подкинуть идею, что приготовить на ужин, или напомнить про важную дату. Пользователь, в свою очередь, может регулировать, какие именно сообщения от Pulse он хочет получать. И хочет ли вообще — по умолчанию функция отключена, и ее надо включить в настройках. OpenAI подчеркивает инсайт от студентов, которые участвовали в ранних тестах Pulse:

Многие почувствовали ее полезность, когда начали говорить ChatGPT, что они хотят видеть.

🔜 Также OpenAI называет Pulse первым шагом к «новой парадигме взаимодействия с ИИ»: ChatGPT из простого чатбота, отвечающего на вопросы, превращается в проактивного ассистента. Как вам такой апдейт? 👀 Будете пользоваться?

Еще про ИИ и рынок труда: никому не нужны джуны Недавно делились прогнозом, как ИИ повлияет на работу в разных индустриях. Теперь предлагаем посмотреть с другой стороны — как он сказывается на темпах найма сотрудников разного уровня. Или, если проще, как он забирает работу у джунов. 💬 Ученые из Гарварда изучили вакансии 285 000 компаний. Они проанализировали, как менялось количество и соотношение предложений для сотрудников разных уровней в течение 10 лет, а также частоту упоминания ИИ в объявлениях. Поиск «AI-интеграторов» или требования к владению инструментами на базе искусственного интеллекта расценивали как показатель того, что компания внедряет его в работу. Выяснилось, что в компаниях, внедряющих ИИ, вакансий для джунов стало на 23% меньше, а для сеньоров — на 14% больше по сравнению с теми, кто ИИ не использует. Если смотреть по разным индустриям, то картина еще грустнее: в оптовой и розничной торговле работающие с ИИ организации, наняли на 40% меньше джунов, чем те, кто все еще выбирает людей. При этом, хотя нанимают джунов меньше, повышают их активнее. Только новые вакансии после повышения уже не открывают. Тренд появился в середине 2022, и сейчас набирает обороты. 💬Краткосрочный эффект выглядит грустно для молодых сотрудников уже сейчас: сегодня свежевыпустившемуся специалисту работу найти может быть труднее, чем в COVID. 💬 А вот долгосрочный эффект может быть печальным уже для всех. Не наняли джуна сегодня — не получили миддла завтра. Своей экономией на обучении молодых и неопытных сотрудников все эти компании лишают себя возможности вырастить сильных специалистов. Какие будут реальные последствия у такого подхода, мы скоро узнаем. Может быть, конечно, через пару лет ИИ уже и миддлов с сеньорами научится заменять, и тогда вообще все останутся без работы.

Что я бы сделал по-другому, если бы стал сейчас руководителем? На удивление, думаю, что стал бы просто сразу более жестким, чем был. В моем мире было так, что чем больше у сотрудников свободы выбора/возможностей/демократии, тем они более счастливые. Однако на деле оказывалось по-другому, и люди хотели директивно принятых решений и конкретных задач, а не демократии. В целом, я думаю, что слово «жесткий» имеет негативную коннотацию, однако на деле, мне кажется, что оно все же более позитивное. К нему стоит относиться как к синониму слова «решительный». Именно таким руководителю и нужно быть, причем сразу, даже не смотря на то, что руководящий опыт небольшой. Это трудно, когда ты только начинаешь, но именно этого от тебя ждут твои подчиненные. Руководитель также задает правила/примеры игры: если ты опаздываешь, то и сотрудники начинают опаздывать, если ты приходишь на совещание неподготовленный, то и они копируют тебя. Так что в случае руководства самое главное — осознать, что все начинается именно с тебя, ты задаешь тон. У руководителя еще есть и неприятные задачи: увольнять сотрудников, если они плохо перформят. И вот тут только один совет начинающим руководителям: если решили кого-то уволить, не медлите, не давайте второй шанс, увольняйте сразу и быстро. Никаких но тут нет, проверено уже десятки раз на собственной шкуре. Любое увольнение, которое мы планировали, нужно было делать быстрее, чем мы делали.

S3 Vectors и будущее векторных БД Amazon свое хранилище S3 активно развивает: сначала добавили S3 Tables, а затем вот S3 Vectors. Теперь сервис поддерживает хранение векторных представлений и векторный поиск. В комплекте с новыми возможностями идут все плюсы AWS, включая низкую цену. 🔜 Руководитель департамента инжиниринга векторной БД Zilliz рассказал, почему появление такого серьезного конкурента — это не конец для игроков поменьше, а важный этап в развитии всей сферы. Векторный поиск — штука, конечно, полезная, но очень дорогая и требовательная к вычислительным мощностям. Это вынуждает разработчиков постоянно балансировать между производительностью и экономией. Milvus, на которой основана Zilliz, сначала хранила индексы в памяти, и хотя скорость и точность работы были впечатляющие, цена не радовала, — так что пришлось переезжать на диск. Это помогло сэкономить. Недорогие объектные хранилища вроде того же S3 — это логичный следующий этап развития технологии, когда объемы данных неуклонно растут и надо как-то масштабироваться, но при этом постараться не разориться. Один из молодых конкурентов Zilliz, TurboPuffer, на S3 и работает, и за счет этого предлагает клиентам приятный ценник. Правда, скорость обработки запросов страдает, но про это ниже. 🔜 В общем, на фоне того, в какую сторону пошло развитие векторных БД, решение AWS представить S3 Vectors выглядит вполне логично. Но при этом у сервиса есть серьезный недостаток по сравнению со специализированными векторными тулами — производительность. Задержка обработки запросов колеблется в диапазоне 200–700 мс, и пробить этот потолок довольно сложно. Скорость записи ограничена 2 МБ/с — для сравнения, у Milvus тот же показатель может достигать ГБ. Точность выполнения запросов на уровне 85-90% (иногда и ниже), и подкрутить этот параметр пока нельзя. Из-за этого для работы с большими, часто обновляющимися датасетами S3, конечно, не подойдет и какую-нибудь алгоритмическую рекомендательную систему с ним не построишь. Зато это хороший вариант для работы с «холодными» данными или приложений, где нагрузка на БД небольшая, запросов немного, а задержка ответа не критична. Это может быть даже прототип приложения — чтобы просто потестить идею за недорого, ограниченную производительность и функционал можно потерпеть. 🔜 И что это значит для рынка? А это значит, что он достиг нового этапа. Появление S3 Vectors со всеми плюсами и минусами, доказывает, что будущее за разделением пайплайнов для «горячих», «теплых» и «холодных» данные. Нет смысла со всеми работать одинаково, ведь где-то важнее сэкономить, а где-то можно и доплатить за производительность. Так что AWS не убивает рынок, а наоборот помогает ему развиваться и формировать новые ниши. А вы что думаете про S3 Vectors и будущее векторных БД в целом?

ИИ и мировой (почти) рынок труда Недавно OpenAI и Anthropic выложили исследования про то, как люди пользуются и продуктами. Оказалось, что ChatGPT чаще используют в качестве поисковика или собеседника, а вот с помощью Claude пишут код и автоматизируют рабочие задачи. Так или иначе, доля пользователей растет, и это влияет на рынок труда — хотим мы этого или нет. Свежий Viz of the Day на Tableau Public показывает, как именно рынок меняется: в каких сферах благодаря ИИ работы становится больше, а в каких меньше. 🔵На дашборде отображены данные о 8 индустриях — IT, здравоохранение, образование, финансы, ритейл, транспорт, развлечения и производство. 🔵В заголовке сказано про мировой рынок труда, но стран тоже только 8 — Австралия, Бразилия, Канада, Китай, Германия, Индия, Великобритания и США. 🔵Можно посмотреть уровень влияния ИИ на индустрию, соотношение полов и офисных/удаленных сотрудников, а также количество открытых вакансий с прогнозом на 2030 год. В IT, предсказуемо, все хорошо, вне зависимости от влияния ИИ, зато в остальных сферах от страны к стране ситуация разнится. Если верить дашборду, то в Бразилии и Германии искусственный интеллект вытеснит людей из производства, а в Китае — из индустрии развлечений. 🔵Источник данных — Kaggle, сообщество AI- и ML-специалистов. Что скажете, похоже на правду?

Как формируется характер нейросети Когда воспитанный Маском Grok начал называть себя «МехаГитлером», это было забавно, но предсказуемо. С тех пор, как ИИ-чатботы вообще появились, несмотря на все усилия разработчиков оградить их от дурного влияния, они всегда умудрялись научиться плохому. Еще в 2016 Microsoft деактивировала твиттер-бота Tay через 16 часов после запуска: пообщавшись немного с местными юзерами, она начала постить контент крайне сомнительного содержания. 🔜 С тех пор ИИ становился только умнее и сложнее. Чат-боты уже не повторяют бездумно все, что им пишут пользователи, а языковые модели, на которых они работают, даже приобретают что-то вроде черт характера. Они могут быть злыми, добрыми, вежливыми, оптимистичными, склонными к лести и так далее. В Anthropic решили разобраться, как эти личности формируются и как можно на них влиять во время обучения. Черты «характера» модели представляют собой паттерн активации нейронов внутри нейронной сети — в Anthropic их назвали «векторами личности». Их обнаружили, наблюдая за тем, какие части сети активируются, когда модель демонстрирует определенное поведение: например, льстит или выдумывает факты. Зачем это все надо? 🔵 Следить за тем, как меняется поведение модели: как она реагирует на разные датасеты, использующиеся для обучения, системные промпты, запросы пользователей или джейлбрейки. 🔵Создавать модели, менее склонные к «нежелательному» поведению. В Anthropic обнаружили несколько интересных фактов: 💬 Если у модели уже есть одна отрицательная черта, то со временем их может стать больше. Сегодня она пишет небезопасный код, а завтра Родину продаст, как говорится. 💬 Если «заглушить» вектор, отвечающий за отрицательные черты, они перестанут проявляться, но модель поглупеет — оно и неудивительно, ей ведь буквально отключают часть «мозга». 💬 Более эффективный способ воспитания — подталкивать модель к развитию отрицательных векторов во время обучения. Это работало как прививка, после которой ей было проще сопротивляться негативному влиянию. 🔵 Прогнозировать, как обучение на конкретном датасете повлияет на «характер» модели, и заранее отсеивать данные, которые могут привести к появлению нежелательных черт. Надеемся, что результаты этих исследований помогут разработчиком в создании полезных и умных моделей, не склонных к лести, галлюцинациям или советам добавить камней в пиццу.

Когда были в Петербурге, посетили выставку в Русском Музее: «Наш авангард». Среди всех других экспонатов хочу выделить отдельный зал, посвященный «аналитическому искусству» — оказалось, что и такое есть. В этом посте делюсь некоторыми фотографиями с экспозиции. Показалось интересным поделиться «аналитическим искусством» с аналитиками.