Книжный куб

ACM Professional Membership (Рубрика #ComputerScience) Год назад я рассказывал как оформил себе ACM Professional Membership, для доступа к платформе O'Reilly и whitepapers, вышедших в журналах под эгидой Association for Computing Machinery (ACM). Год прошел и мне надо было оценить продлевать ее или нет - я решил, что она стоит своих денег - за прошедший год помимо большого количества бумажных книг я прочел еще тонну разных научных статей, а также пользовалься платформой O'Reilly в формате поиска книг, а также общения с их чатботом, что умеет строить ответы на основе лицензированных книг из этой библиотеки. В общем, подписка была продлена, а вам я хотел напомнить бенефиты, что в нее входят 1) Professional Membership Эта подписка дает доступ к печатной и онлайн подпиской на "Communications of the ACM", доступ к MemberNet, TechNews, CareerNews, доступ к ACM Career и Job Center 2) ACM Skills Bundle Add-On Тут есть доступ к онлайн-книгам, курсам, тренировочным видео от O'Reilly, Skillsoft Percipio, Pluralsight 3) ACM Digital Library Add-On Доступ к ACM Digital Library, в котором есть 2 миллиона проприетарных и third-party текстов, больше миллиона биографических цитат, и так далее Если вы тоже теперь решили стать членом Ассоциация вычислительной техники, то оформление подписки доступно здесь. #Software #Architecture #SoftwareDevelopment #SystemDesign

Распродажа в издательстве «Питер» в последний викенд лета (Рубрика #Sales) В издательстве Питер очередная распродажа со скидками в 35% на бумажные книги и 50% на электронные. Для получения этой скидки надо использовать промокод "Бумажная" (или "Электронная", если покупаете элетронную версию) при оформлении заказа. На прошлых распродажах я уже купил себе пачку книг, а в этот раз обратил внимание на следующие книги, последние три из которых докупил себе в коллекцию - Технический директор. Эффективное техническое лидерство - в оригинале эта книга называется "The Engineering Executive's Primer" и я бы перевел ее как букварь технического директора:) Я прочитал ее с большим удовольствием год назад и могу порекомендовать ее любому техническому руководителю - Разработчик ПО: Путеводитель по карьерной лестнице для будущих сеньоров, техлидов и стаффов - я уже рассказывал, что у меня появилась эта книга и я ее потихоньку пока читаю. Впечатления от нее отличные. - Масштабируемые данные. Высоконагруженные архитектуры, Data Mesh и Data Fabric. 2-е изд. - в наш век GenAI приложений меня очень интересуют подходы к созданию платформ данных. Примерно про это мы говорили с моим коллегой, Сергеем Михалевым, в выпуске моего подкаста Code of Leadership - Causal Inference на Python. Причинно-следственные связи в IT-разработке - я глубоко погружен в разработку нашей a/b платформы, а также в дизайн некоторых опросов (в стиле DORA), поэтому в последнее время я много читаю про статистику. Еще одна книга на эту тему будет не лишней. - Дизайн и поведение пользователей. Применение психологии и поведенческой экономики в разработке и UX - эта тема продолжает планирование исследований и экспериментов, но уже внутри продукта. #Sales

JVM Day в Т-Банке (Рубрика #AI) Этот солнечный субботний день я провел в отличной компании в нашем офисе на конфе JVM Day. Меня позвали поучаствовать в панельной дискуссии "Инструменты разработчика — плагины vs AI-агенты", где мы обсудили как классические плагины для IDE, так и современные и современные AI инструменты ускоряют написание кода. Дискуссию модерировал мой коллега, Павел Гордеев, а участвовали в обсуждении джентельмены - Евгений Ненахов, CTO CDP BigData, MWS (МТС Web Services) - Александр Шустанов, менеджер продукта, Haulmont - и автор этого канала Беседа получилась интересной и я позже напишу отдельный пост на эту тему. А вообще конфа мне понравилась - людей было много, доклады интересные, а еда вкусной:) В общем, наши конференции становятся хорошей традицией. #Engineering #Software #AI #Conference

Machine Learning System Design (Рубрика #ML) Пока я отдыхал на плато Путорана без интернета, то читал книгу "ML System Design" от Валерия Бабушкина и Арсения Кравченко. Она была интересна для меня по двум причинам: мне близка тема классического system design и я интересуюсь machine learning:) Мне близка идея авторов о том, что проектирование систем (ML систем в том числе) - это многоэтапный процесс, где пригодятся навыки из различных областей, которые стоит использовать в рамках системного подхода. Причем для ML этот многоэтапный процесс содержит гораздо больше шагов, чем просто выбор правильной модели/алгоритма. Если сравнивать обычный и ML дизайн, то есть такие моменты, что их отличают друг от друга 1. Детерминизм vs вероятность Обычные системы мы стараемся проектировать с определенной долей детерменизма, причем для проверки предсказуемости покрываем их тестами. ML системы носят by design вероятностный характер. В обычных системах у нас обычно есть четкий алгоритм, превращающий входные данные в выходные, а всю недетерминированная часть обычно находится на стороне эксплуатации (работа под нагрузкой, надежность и работа с отказами). В ML системах сама модель исполнения недетерминирована, что добавляет сложности оценке качестве ее работы 2. Одно и двух-фазная архитектуры В ML системах обычно есть две сильно отличные фазы работы: training и inference. В обычных приложениях у нас нет фазы тренировки - оно руками инженеров уже обучено выполнять нужную работу (ака работать в режиме inference). 3. Зависимость от данных В традиционной разработке у нас обычно есть структурированные данные, с которыми работают приложения - при дизайне мы проектируем модели данных и моделируем их взаимосвязи, часто это OLTP системы. В ML системах у нас степень контроля над данными сильно меньше - нам приходится городить пайплайны и зачастую при обучении работать с OLAP конструкциями, одновременно на inference работать в формате более близком к традиционным системам, чтобы успевать делать Inference с приемлемым временем отклика В своей книге авторы уделяют много времени и места обсуждению архитектурных соображений - Конвейеры данных Построение надежных data pipeline становится фундаментальным компонентом архитектуры, поддерживающим поглощение данных, обработку в реальном времени и масштабируемые решения для хранения. - Модульный дизайн Необходимость отделения ML-компонентов от основной логики приложения, что позволяет независимо обновлять модели без нарушения работы основной системы. - Мониторинг и наблюдаемость Традиционные системы логирования должны эволюционировать для включения специфических метрик ML, таких как drift данных и производительность модели. Отдельно отмечу интересный формат историй у костра (campfire stories), где авторы делятся своими историями из прошлого, рассказывая о решении реальных задач из своего опыта. Это выглядит интересно и похоже на то, когда мы рассказываем байки у костра за кружечкой горячего напитка. В общем, мне книга показалась интересной и полезной - ее полезно почитать как ML инженерам, так и классическим software engineers, которым все больше приходится проектировать Gen AI приложения. #ML #AI #Engineering

Арктический сертификат (#Travel) Организаторы нашего тура на Плато Путорана, о котором я уже рассказывал, выдали всем участникам по его окончании тура артический сертификат настоящего полярника:) Интересно, что я жил первые восемнадцать лет практически у полярного круга, но никогда его не пересекал. А теперь этот сертификат пополнил мою коллекцию памятных бумажек, а вот красивых картинок я уже добавил в пост самостоятельно:) #Travel

Auf Wiedersehen, GitHub ♥️ (Рубрика #AI) Так Томас Донке, CEO Github с 2021 года, в начале августа попрощался и объявил о своем уходе. Это решение стало поворотным моментом в истории GitHub, так как Microsoft решило не назначать нового "независимого" CEO. Вместо этого платформа глубже интегрируется в блок CoreAI, а руководящая команда будет репортить внутрь структуры Microsoft. Изменения произошли по двум причинам 1. Томас Донке решил вернуться к своим стартап-корням (насколько это правда оценим по дальнейшей деятельности Томаса) 2. Microsoft решила усилить консолидацию AI-продуктов в единую стратегию CoreAI, где Copilot - один из ключевых активов. СМИ отмечают именно это смещение центра тяжести с "платформы-репозитория" к "AI-платформе разработки" Что ждет GitHub в будущем GitHub станет центральным элементом AI-стратегии Microsoft. CoreAI под руководством Джея Париха сфокусируется на - Создании AI-платформы для внутреннего использования и клиентов Microsoft - Развитии агентного AI и автономных систем разработки (copilot станет полноценным агентом) - Углублении интеграции с Azure, Windows и Office 365 - Усиление корпоративных функций: security, миграции, расширение marketplace Если говорить о том, а что это значит для экосистемы разработчиков, то можно описать это так 1. GitHub теперь "Copilot-first" платформа. Ожидайте ускоренной интеграции агентных сценариев (автозаведение PR, фиксы по задачам, рефакторинги по описанию) в веб-интерфейсе и IDE, плюс более тесной связки с Azure/CoreAI. Для вас это означает рост продуктивности… и рост значимости "правил использования ИИ" в командах. 2. Новая экономика AI с отдельными бюджетами Бюджеты на ИИ-запросы станут таким же нормальным CAPEX/OPEX, как минуты CI/CD. Планируйте квоты "premium-requests", обратную связь командам и политики выбора моделей. 3. Безопасность и комплаенс добавлены в платформу по умолчанию Дальнейшее развитие GitHub Advanced Security/Dependabot/Secret scanning и риск-оценок будет стандартом для enterprise. Это снизит time to recovery на инциденты в цепочке поставки и потребует "security-by-design» в процессах (кстати, про secure by design мы общались с моим коллегой, Артемом Меретцом, в подкасте «Research Insights Made Simple») 4. GitHub - это часть экосистемы Microsoft Плотная интеграция с Microsoft ускорит релизы AI-фич, но увеличит стратегическую зависимость от экосистемы MS (идентификация, биллинг, облачные сервисы). Это важно учитывать, если вы мульти-вендор. #AI #Engineering #PlatformEngineering #Cloud #Software #Leadership

Code of Leadership #51 - Interview with Alexey Fyodorov about Management & Conferences (Рубрика #Management) В очередном выпуске подкаста ко мне пришел интересный гость, Алексей Федоров, один из основателей компании JUG.RU, что проводит крутые конференции по различным технологиям на российском рынке. Мы с Алексеем поговорили про его интересный путь через науку в технологии, а потом к организации конференций. Отдельно мы поговорили про первую конференцию для менеджеров, которая называется InBetween, про которую я уже рассказывал отдельно. Краем мы задели даже ICPC, финал которого с 31 августа по 5 сентября - мы записывали этот выпуск, когда Леша уже прилетел в Баку, чтобы помочь в организации финала чемпионата мира по программированию. В общем, за два часа мы успели обсудить много тем - Введение и знакомство с гостем - Принципы и традиции выбора названий конференций от JUG.RU - Биография Алексея Фёдорова, академический путь, переход в ИТ - Особенности работы с Java и интеграция в мировое комьюнити - Размышления о роли и подготовке спикеров, критика качества выступлений, путь к евангелизму - Рост и стандартизация вендерских конференций, примеры крупных ивентов от компаний - Ощущения участников от повторных посещений конференций, скорость изменений - Появление и специфика менеджерских конференций, развитие треков по управлению, вопросы специализации - Влияние Agile на рынок, книги как источники знаний - Коллаборации между российскими ИТ-компаниями, опыт совместных академий и стажировок, проблема отсутствия обмена экспертизой - Фронтирные модели: стоимость, доступность, дилемма заключённого и борьба за ресурсы между компаниями - Роль государства, эволюция рыночных механизмов и регулирование - Менеджмент, прозрачность и доверие в командах, контроль результатов, анализ мотивов через вопросы и рефлексию - Влияние платформенной инженерии и формализации процессов на скорость и предсказуемость разработки, инертность крупных систем - Обзор онлайн активностей на конференции InBetween, что уже прошли в августе - Примеры докладов с оффлайн части конференции, что будет 8 сентября - Предполагаемая аудитория конференции - Влияние кризисов на менеджмент - Экосистемы и их устойчивость к кризисам - Конкуренция в экосистемах - Анонс финала ICPC, где Алексей помогает проведению этих соревнований по программированию Рекомендации для чтения от Алексея - Джоэл о программировании - Серия «Профессионально (Символ)» Также Леша упоминал про Академию современного программирования Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music. #Software #Engineering #Management #Career #Science #Conference #Leadership

Плато Путорана (Рубрика #Travel) Вот и закончилось путешествие на плато Путорана, остался только перелет в Москву. Виды были изумительными, поход в горку изнурительным, банька и купание в озере Лама идеальными, компания отличной. Единственное - сюда надо ехать недели на две, а не на четыре дня. Так что я сюда еще вернусь с женой и детьми, но мы выберем маршруты попроще. #Travel

Apache Iceberg: What It Is and Why Everyone's Talking About It (Рубрика #Data) Отличное короткое выступление Тима Берглунда VP Developer Relations в Confluent про Apache Iceberg и почему про него так много говорят. Если упрощать, то Apache Iceberg - это открытый формат аналитических таблиц, принесший ACID-ранзакции и эволюцию схемы в мир «сырого» дата-лейка. В этом видео Тим помимо Iceberg еще рассказывает про TableFlow от Confluent, что является автоматической материализацией Kafka-топиков в Iceberg-таблицы. Вот основные тезисы Тима 1. Он начинает с рассказа про эволюцию подходов по работе с данными - Data warehouse (DWH) : с 1990-х, ночной ETL, строгая схема, отчёты на следующий день - Data lake: с 2010-х, сначала Hadoop, затем S3/Blob; схема on read, ELT-паттерн, масштаб до петабайт - При переходе к data lakes потерялось: строгая схема, транзакционность и согласованность при параллельных записях 2. Проблемки в data lakes были примерно такие - Отсутствие метаданных на уровне файлов - это приводило к долгим directory-list операциям в S3; непредсказуемым SQL-запросам - Нет ACID-транзакций - это приводило к «грязным» данным при частичных перезаписях, race conditions - Сложная эволюция схемы - получались «zombie»-колонки, а также сложные перекатка партиций вручную 3. Но тут на помощь пришел подход с Apache Iceberg, который принес слои, что решили предыдущие проблемы. Эти слои выглядят так по мере увеличения уровня абстракции - Data Files (Parquet/Avro/ORC) - неизменяемые фрагменты данных. - Manifest Files - JSON-файлы, перечисляющие конкретные Data Files плюс статистику колонок (min/max, null-count). - Manifest List - набор manifest-ов для одной операции добавления/удаления файлов - Snapshots - атомарные состояния таблицы; каждый snapshot указывает на конкретный Manifest List, тем самым формируя точку во времени - Metadata File (metadata.json) - хранит список всех snapshot-ов, схему, сорт-ордера. - Catalog - внешний сервис (Hive Metastore, JDBC-DB, REST-каталог) сопоставляет имя таблицы с текущим Metadata File 4. Такая схема обеспечивает следующие свойства и механизмы, что решают указанные выше проблемы - ACID-транзакции - обеспечивается посредством copy-on-write + optimistic concurrency, а дает это безопасные параллельные INSERT/DELETE - Time Travel - обеспечивается посредством чтения по snapshot-ID или timestamp, а дает аудит и reproducible query - Schema evolution - обеспечивается посредством полнотекстовыъ JSON-метадатанных; идентификаторов колонок, а не их порядка, а дает это возможность добавление/переименование колонок без перезаписи - Hidden Partitioning - обеспечивается это посредством вычислимых трансформ (bucket, truncate, day), что спрятаны от пользователей, а дает fast scans без manual-фильтров - Row-level Deletes - обеспечивает посрдеством V2 spec: delete deltas с позиционными ссылками, а дает GDPR-delete и upsert-паттерны 5. Если говорить про физическую реализацию, то - Iceberg сам по себе - НЕ сервер. Это спецификация + библиотеки (Java, Python, Spark, Flink, Trino, Hive) - Метаданные и данные - обычные файлы в объект-сторидже; каталог - «плагин» (Hive Metastore, AWS Glue, REST). - Отказоустойчивая схема без rename/list операций - важно для S3, GCS. Часть про TableFlow от Тима я рассказывать не буду, так как мне самым важным было рассказать про часть про Apache Iceberg. Если подводить итоги, то - Iceberg решает три исторические боли data lakes - ACID-транзакции, управляемая эволюция схемы, консистентные snapshot-ы. - Архитектура основана на простых JSON/Parquet-файлах и внешнем каталоге; никакого «Iceberg-сервера» не требуется. - Экосистема растёт: Netflix перешёл на «Iceberg-only» lake (≈1 EB); Databricks покупает Tabular, чтобы конвергировать Delta↔️Iceberg. - Iceberg становится де-факто стандартом открытых табличных форматов, а в ближайшие годы data-платформы будут сходиться к унифицированному lakehouse-стеку, где Iceberg играет роль «общего языка» между потоковыми системами и батч-аналитикой #Data #Dateabases #PlatformEngineering #Software #Architecture #Engineering #DistributedSystems

Реорганизация Meta AI Labs: Структурный поворот к суперинтеллекту (Рубрика AI) Недавно читал заметку Александра Ванга "Superintelligence is coming", из которой видно, что Meta (запрещенная в России организация) провела крупнейшую реорганизацию своих подразделений искусственного интеллекта в истории компании, объединив все AI-команды под новой структурой Meta Superintelligence Labs (MSL). Эта четвертая реорганизация за последние шесть месяцев направлена на ускорение достижения "суперинтеллекта". Новая схема становится централизованной, где прямое управление сосредоточено у 28-летнего Александра Ванга, который ранее был CEO Scale AI. Он был привлечен Meta в рамках сделки стоимостью $14,3 млрд и теперь он возглавил MSL в качестве Chief AI Officer (а помните я шутил раньше про роль CAIO). Если говорить про ключевые направления, то их четыре и вот они 1) TBD Lab, которым руководит непосредственно Ванг и которое сфокусировано на обучении и масштабировании больших моделей и разработки "omni" модели, чтобы это не значило. По-факту, от этой лабы мы ждем новых LLama моделей, которые будут получше, чем провальная четверка 2) FAIR, которым руководят Роб Фергус + Янн ЛеКун (Chief Scientist), которые теперь отчитываются Вангу. Эта лаба занимается фундаментальными исследованиями и будет инновационным движком MSL. Если ранее между FAIR и генеративным AI-подразделением Meta было относительно мало взаимодействия, то теперь исследования FAIR будут напрямую интегрироваться в масштабные запуски моделей, проводимые TBD Lab. 3) Products & Applied Research, которой руководит Нат Фридман в прошлом из GitHub, который тоже отчитывается Вангу. Тут цель проста - интегрировать AI в продукты Meta, а также вести прикладные исследования. Команда объединяет ранее разрозненные группы, работавшие над Assistant, Voice, Media, Trust, Embodiment и Developer pillars. Это обеспечивает более тесную связь между продуктовыми исследованиями и разработкой продуктов. 4) MSL Infra, которой руководит Апарна Рамани, который тоже отчитывается Вангу, а также развивает инфру под AI проекты Интересно, что - Теперь в этой структуре два главных ученых (chief scientists): Янн ЛеКун (FAIR) и Шенцзя Чжао (общий для MSL). ЛеКун сохраняет фокус на долгосрочных исследованиях и "построении следующих AI-парадигм", в то время как Чжао, соавтор ChatGPT, устанавливает исследовательскую повестку для всей лаборатории. - В рамках реорганизации Meta ликвидировала команду AGI Foundations, созданную всего в мае 2025 года. Это уже вторая крупная AI-команда, расформированная компанией в этом году - ранее была ликвидирована GenAI division после прохладного приема Llama 4. Сотрудники AGI Foundations распределены между продуктовыми, инфраструктурными командами и FAIR, но не в TBD Lab. Если говорить шире, то эта реорганизация является ответом на отставание Meta в конкурентной гонке. Постоянные реорганизации контрастируют со стабильностью конкурентов, которые сталкиваются с меньшими организационными потрясениями Для усиления компания активно переманивала таланты, предлагая пакеты компенсации до $100 млн, а в одном случае - до $1,5 млрд. Компания привлекла более 50 исследователей и инженеров от конкурентов, однако эта кампания завершилась заморозкой найма в AI-подразделении в августе 2025 года, что сигнализирует о необходимости консолидации после периода интенсивного расширения. Подход Meta строится на том, чтобы предлагая высококачественные модели бесплатно, стремится коммодитизировать уровень foundational моделей и подорвать бизнес-модели конкурентов, которые монетизируют доступ к своим моделям через API. Ведь основная монетизация самой Meta происходит через увеличенное вовлечение пользователей и данные, генерируемые на ее платформах. Интересно будет посмотреть насколько сработает их стратегия и что родит MSL, ведь прошлых заход с 4 ламой был слабее, чем все ожидали от таких вложений. #AI #ML #Software #Economics #Engineering #Management #Leadership #Future

InBetween 2025 (Рубрика #Management) Этой осенью пройдет первая менеджерская конференция InBetween от JUG.RU, которая ориентирована на middle менеджеров, застрявших между стратегией и тактикой. Для того, чтобы понять о чем она я позвал в свой подкаст "Code of Leadership" Лешу Федорова, со-основателя компании JUG.RU и идейного вдохновителя этой конференции. Сам выпуск будет чуть позже, а пока я поделюсь своим пониманием этой конференции, для чего я до общения с Лешей изучил все доклады, что будут на конференции. Если кратко, то это конференция не только и не столько для IT руководителей, а скорее для всех менеджеров, которые оказались между стратегическими целями топ-менеджмента и ежедневными задачами команд и которых интересуют темы вроде - Как принимать ключевые решения, когда данных недостаточно? - Где полагаться на цифры, а где - на интуицию? - Как объяснить «прыжок веры» совету директоров? - Как не развалить команду, меняя подход к проектам? - Что делать, если никто не берет ответственность? - Как координировать команды с разными целями? - Как быстро адаптировать планы, если ситуация поменялась? - Как каскадировать изменения на команду? Организаторы так видят себе целевой портрет участника - Менеджеры сложных проектов - те, кто отвечает за результат, но не контролирует все ресурсы - Продуктовые менеджеры с несколькими командами - те, кто координируют разные направления с разными целями - Руководители многофункциональных подразделений - те, кто управляют людьми из разных специализаций - Генеральные и операционные директора - те, кто превращают стратегию в набор конкретных действий - HR-директора, CPO и CMO - те, кто отвечают за результат своего направления На конференции выступят управленцы из крупных российских компаний (преимущественно tech компаний, что объясняется нетворком организаторов) - Юлия Зыкова (Циан) — как менять модель монетизации в условиях неопределенности - Елизавета Колесникова (Яндекс) — расшифровка туманных пожеланий от руководства - Андрей Зарубин (Райффайзен Банк) — перегруппировка команд на оперативном уровне - Илья Балахнин (Paper Planes) — что делать, когда стратегические сессии не работают - Алексей Кирпичников (Контур) — управление 80 продуктами без полномочий - и другие Онлайн часть конференции уже была и включала три доклада «Между стратегией и тактикой», «Как неправильная работа с KPI разрушает стратегию» и «Полезный проектный офис за 30 минут». А оффлайн часть мероприятия пройдет 8 сентбяря в Москве в пространстве "Весна", куда я тоже загляну по приглашению организаторов. #Management #Leadership #Engineering #Processes #Project #ProductManagement #Metrics

Норильск (Рубрика #Travel) Раньше я и не догадывался, что когда-нибудь окажусь на Таймыре, но так случилось, что следующие четыре дня я здесь. Планирую посмотреть как выглядит реальное производство, а не вся эта диджитал история. А потом можно и на плато Путорана ... если плато действительно будет таким живописным, как ожидается, то потом еще раз приеду сюда, но уже с семьей. Пока я видел только сам Норильск и он выглядит как промышленный центр. #Travel #Economy

Code of Leadership #50 - Interview with Sergey Mikhalev about Odnloklassniki, VK, T-Bank and Data Platform (Рубрика #Data) В очередном выпуске подкаста ко мне пришел интересный гость, Сергей Михалев, который работает техническим директором data platform в Т-Банке. До этого Сергей успел приложить руку к дата платформам Одноклассников и ВКонтакте. В этом видео мы успели с Сергеем обсудить его карьерный путь, который всю дорогу был связан с большими данными. Заодно мы обсудили как само это понятие менялось во времени и как выглядит state of the art сейчас, а также почему мы в Т-Банке переезжаем с Greenplum (mpp база данных) на более модный и молодежный подход с DLH (data lake house) и как имплементирует федеративный подход с data mesh, а также как поверх всего этого работает a/b платформа. А если быть точнее, то список тем, что мы успели обсудить за 2 часа приведен ниже - Введение и знакомство с гостем - Ранние годы, образование и профессиональный выбор - Начало карьеры, оптимизация БД, миграции данных и рост до тимлида - Рост компетенций - Работа в «Одноклассниках» над дата инфраструктурой - Инженерная и экспериментальная культура «Одноклассников» - Важность данных и много a/b экспериментов как признак зрелого продукта - Развитие дата-платформы в «Одноклассниках» и переход на позицию технического директора дата-платформы всего VK - Переход в Т-банк и обсуждение культуры работы с данными, принятой в Т - Уровень инженерной культуры, дежурства, обработка логов, AB-тесты, интерфейсы для экспериментов. - Архитектура Greenplum, параллельность, ограничения, расширение кластеров - Обеспечение надежности, риски при переключениях, резервная система. Ограничения Greenplum - Новая архитектура дата-платформы с разделением compute и storage - Новая парадигма работы с данными: внедрение дата контрактов - Федерализация дата инженеров и передача ответственности в сами продуктовые команды - Сервисы и дата-продукты, пайплайны, взаимодействие в экосистеме - Форматы работы: офис против удалёнки - Баланс работы и личной жизни - Будущее IT и потенциал биомедицины - Советы по саморазвитию и поддержанию мотивации - Завершение и благодарности Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music. #Software #Engineering #Databases #Architecture #Devops #Management #Career #Architecture #DistributedSystems #SystemDesign #Leadership

System Design Interviews: What, why and how? (Рубрика #Career) Рассказ про system design inteview на конференции Рупор лида. Вообще, эта конференция была посвящена тому, как меняется рынок найма и процессы, когда Gen AI меняет правила игры, а сервисы для соискателей растут как грибы. Спикеры рассказывали о том, как процесс выглядит с той стороны, а мне выпало рассказывать про интервью по проектированию систем, где я ответил на вопросы - Зачем нужны system design-интервью - Как его задизайнить, если ты не бигтех - Что и как можно проверять - Что делать, если кандидат слишком слаб или силен - как варьировать уровень сложности интервью Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music. P.S. Также доступна Miro доска со всеми иллюстрациями и ссылками, среди которых есть - Про процессы найма в крупныые компании и откуда появляются много-этапные интервью - Обзор книги Alex Xu про System Design Interview - Обзор книги "Hacking the System Design Interview - Обзор курса "System Design Interviews and Beyond" - Обзор книги "Acing the System Design Interview" - Мои статьи в общем про system design в T-Bank, больше про то, как мы оцениваем прохождение собеседования и как подготовиться к собеседованию - Мои публичные интервью по system design: -- Бронирование отелей -- Лента видеохостинга -- a/b платформа -- Система парковок #SystemDesign #Architecture #Career

Конференция "Сезон кода в Санкт-Петербурге" (Рубрика #Conference) 6 и 7 сентября инженерное сообщество Петербурга соберётся на ярчайший фестиваль технологий - «Сезон кода». Это не просто конференция, а настоящая точка притяжения для разработчиков, архитекторов, DevOps-ов и всех, кто двигает прогресс в IT. Вас ждут два дня хардкорных докладов и разборов кейсов из первых рук: реальный опыт, факапы, архитектурные решения, инструменты, выросшие из боли и экспериментов. Посетителей ждут экскурсии по новому офису Т, который открылся летим летом. Будут интерактивные демо, зона карьерных консультаций и afterparty с настолками, музыкой и фудтраками. Для детей организуют отдельную зону - можно брать семью! Что важно знать: - На каждый день - отдельная регистрация и взнос. Все собранные средства (1 500 ₽ за день участия) пойдут в благотворительные фонды - можно будет самостоятельно выбрать, кого поддержать - На afterparty можно пригласить одного взрослого и ребёнка - Для удобства будут организованы шаттлы от метро В общем, регистрируйтесь и приходите на мероприятие. #Software #Engineering #Architecture #Conference #Management

Research Insights Made Simple #16 - Impact of Generative AI in Software Development (Рубрика #AI) Этот выпуск посвящен обсуждению отчету "DORA" про влияние AI на разработку софта. DORA является стандартом де-факто в мире опросов по теме devops и developer productivity, а в 2025 году они опубликовали отчет про влияние AI на основе опроса 2024 года. Этот отчет я обсуждаю с Игорем Курочкиным, у которого больше 12 лет опыта в индустрии, из которых 6 лет в консалтинге. Он помогает развивать инженерную культуру, процессы и практики, платформенные и продуктовые команды в больших компаниях. В предыдущем выпуске мы разбирали саму методологию, а теперь решили поговорить про результаты. За час общения с Игорем мы обсудили много тем, среди которых представленные ниже - Введение и обзор отчёта - Методика исследования и подход к анализу - Результаты о влиянии ИИ на индивидуальную работу - Специфика влияния ИИ на стартапы и генерацию идей - Toil и автоматизация непродуктивной работы (опыт Google) - Влияние ИИ на инженерные процессы и технический долг - Изменения в моделях доставки, новые метрики и анализ трендов - Ценности разработчиков и психология внедрения ИИ - Продуктивность, доверие к ИИ и различие восприятия - Внедрение, политика и стимулирование использования ИИ - Стратегии масштабирования и связанные метрики - Особенности сбора и анализа обратной связи, роль фреймворка - Развитие и новые уровни модели и лидерство во времена перемен Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music. #DevEx #Devops #Software #Engineering #Metrics

Про System Design интервью в рамках конфы "Рупор лида 3: Lead в поиске" (Рубрика #Career) Вот и наступило 21 августа, а значит сегодня вечером я буду рассказывать про system design на конференции Рупор лида. Вообще, это уже в этой серии и она посвящена тому, как меняется рынок найма и процессы, когда Gen AI меняет правила игры, а сервисы для соискателей растут как грибы. Спикеры поговорят о том, как процесс выглядит с той стороны. Кстати, они достаточно много рассказывают не только про найм, но уже в своих каналах. В своем рассказе я отвечу на вопросы - Зачем нужны system design-интервью - Как его задизайнить, если ты не бигтех - Что и как можно проверять - Что делать, если кандидат слишком слаб или силен - как варьировать уровень сложности интервью Кстати, до меня уже было 3 вечера с крутыми докладами и обсуждениями 1. 18.08 - Татьяна Гороховская - Hiring-позиция: в огне, но с чек-листом 2. 19.08 - Тёма Пулявин + Катя Лысенко - Коньки-горбунки собеседований - или отсобеседуй меня полностью 3. 20.08 - Круглый стол - Что я узнал про найм за 1.5 года: битва AI, выгорание, кризис рынка ИТ А после меня, завтра, еще будет выступать Иван Доронин с темой "Если ты Lead, который ищет работу" Сама конференция бесплатная, но для того, чтобы стать слушателем надо вступить в канал конференции. В общем, приходите сегодня в 19.00 и задавайте свои вопросы. #Career #HR #Management #Architecture #Software #Leadership #Processes

A.I. Is Shedding Enlightenment Values (Рубрика #AI) Интересная статья Дэвида А. Белла, профессора истории Принстонского университета и специалист по эпохе Просвещения. Дэвид в этой статье критически анализирует утверждения техно-оптимистов о том что текущее развитие AI похоже на эпоху Просвещения XVIII века. По его мнение AI не только не приносит просветительских ценностей, но фактически подрывает их основы. Но сначала стоит начать со сходств между этими эпохами. Обе характеризуются революционным оптимизмом и верой в трансформацию будущего человечества. Подобно тому, как философ XVIII века Жан Лерон д'Аламбер говорил о «переломном моменте в истории человеческой мысли», современные лидеры ИИ-индустрии, такие как генеральный директор Microsoft AI Мустафа Сулейман, называют происходящее «величайшим перераспределением власти в истории». Другой важной параллелью является распространение знаний - энциклопедия Дидро и д'Аламбера XVIII века, содержавшая 74 000 статей в 28 томах, стремилась систематизировать все человеческое знание и сделать его доступным публике. Современные энтузиасты ИИ утверждают, что ChatGPT с правильными запросами может обучить чему угодно - от иностранных языков до автомеханики. А вот дальше стоит поговорить про критические различия, где просветители XVIII века намеренно создавали тексты, которые бросали вызов читателям, заставляя их бороться со сложными концепциями, размышлять над противоречиями и формировать собственные суждения. А вот взаимодействия с AI сейчас кардинально другое - пользователи управляют диалогом, задают вопросы и формируют беседы в соответствии с собственными предпочтениями. По-факту, ChatGPT не дают pushback пользователям, не челленджит убеждения пользователей или их моральные принципы - часто он просто выглядит как подхалим и лизоблюд. Причиной этого Дэвид считает коммерческую природу AI - успех таких приложений в том, чтобы предоставлять пользователям больше того, что они уже хотят. Такая бизнес-модель принципиально противоречит просветительским целям интеллектуального развития и критического мышления людей В итоге, это может привести к следующему 1. Угроза критическому мышлению Автор статьи предсказывает деградацию способности к критическому анализу. AI предоставляет информацию в «интеллектуально предварительно переваренном» виде, что лишает пользователей возможности развивать собственные суждения через борьбу с противоречиями и сложностями. Это подтверждается исследованиями Microsoft Research, где опрос 319 работников умственного труда показал, что повышенная уверенность в генеративном ИИ связана с уменьшением критического мышления. Участники исследования сообщили о снижении когнитивных усилий при использовании ИИ-инструментов. 2. Интеллектуальная пассивность В отличие от просветительских текстов, которые активно вовлекали читателей в процесс размышления через загадки, парадоксы и диалоги с противоположными точками зрения, ИИ создает среду интеллектуальной пассивности. Пользователи получают готовые ответы вместо того, чтобы развивать навыки самостоятельного анализа. 3. Подрыв просветительских ценностей Вместо развития скептического мышления, независимого суждения и интеллектуального мужества, которые были основой Просвещения, ИИ способствует формированию потребительского отношения к знанию. 4. Потеря человеческого понимания Исследования показывают, что ИИ способствует накоплению знаний, но не человеческого понимания. В отличие от науки эпохи Просвещения, которая делала загадки объяснимыми и расширяла границы человеческого понимания параллельно с знаниями, современный ИИ решает проблемы процессами, которые остаются непонятными для человека. 5. Новая форма сознания без философского руководства Автор предсказывает возникновение новой формы человеческого сознания, но отмечает отсутствие политического или философского лидерства для объяснения и направления этих новых отношений между человеком и машиной. Ради интереса сравните эту статью с предсказанием "мягкой сингулярности" от Сэма Альтмана. #AI #Software #Economics #Engineering #ML #Management #Leadership #Philosophy

The Gentle Singularity (Рубрика #AI) Пару месяцев назад Сэм Альтман написал эссе "Мягкая сингулярность", в которой поделился своим видением «мягкой» технологической революции (забавно, что фраза мягкая революция - это прямо оксюморон). Сэм считает, что человечество уже миновало точку невозврата в развитии искусственного интеллекта и набрало вторую космическую скорость. Но концепция Сэма отличается от условных апокаполиптичных сценариев, которые описывает условный Джеффри Хинтон (про позицию которого я уже рассказывал). Если кратко, то Сэм делает такое предсказание относительно эволюции возможностей в следующие три года - 2025 год - агенты, способные выполнять настоящую когнитивную работу (написание кода), которые уже кардинально изменили программирование - 2026 год - системы, способные находить новые идеи и генерировать научные открытия - 2027 год - роботы, способные выполнять задачи в реальном мире В итоге, ключевая идея этого эссе в том, что сингулярность происходит постепенно, без драматических потрясений. Сэм описывает этот процесс как плавную кривую, где «чудеса становятся рутиной, а затем ставками на стол». Люди удивительно быстро адаптируются к новым возможностям: от восхищения способностью ИИ генерировать параграф до ожидания создания целых романов. Но эти технологические возможности не приходят одни - за ними тянутся экономические трансформации. Сэм предсказывает радикальные изменения в экономической структуре, где к 2030-м годам интеллект и энергия станут изобильными ресурсами, что устранит два фундаментальных ограничителя человеческого прогресса. Стоимость интеллекта в итоге приблизится к стоимости электричества благодаря автоматизации производства. За экономикой подтянется и социальная сфера, но в отличие от негативных сценариев Сэм рисует утопическую картину будущего, где технологии освободят человека от рутинной работы. Он проводит историческую параллель: средневековый фермер счел бы современные профессии «фальшивыми», точно так же через тысячу лет наши потомки будут удивляться нашим занятиям. В общем и целом, Сэм в этом эссе выступает как техно-оптимист, но он затрагивает ряд очень важных проблем - Проблему alignment, а точнее необходимость гарантировать, что ИИ будет служить долгосрочным человеческим ценностям - Распределение доступа к AGI - важно обеспечить широкий доступ к сверхинтеллекту, а не концентрацию его в одних руках - Социальный договор - важно коллективно определить границы применения ИИ В общем, мне эссе скорее понравилось, но я вижу разрыв между утопией Сэма и текущим тактическим положением вещей, где "Business Insider" пишет об упадке мега-работадателей и нехватке мест для белых воротничков (подробнее я разбирал здесь). В итоге, эта концепция «мягкой сингулярности» сталкивается с жесткой реальностью корпоративной оптимизации. Хотя долгосрочные перспективы могут быть позитивными, переходный период создает серьезные социальные напряжения. Я думаю, что ключевым воозовом является организация перехода к AI экономике - а точнее как сделать этот процесс справедливым и управляемым, обеспечив не только технологические прорывы, но и социальную стабильность. #AI #Software #Economics #Engineering #ML #Management #Leadership

Code of Leadership #49 - Interview with Artem Puliavin about Tech Management at Alpina, FoodMate, FoodFox, CityMobile, CityDrive (Рубрика #Management) В очередном выпуске подкаста ко мне пришел интересный гость, Артем Пулявин, который работает техническим директором СитиДрайв. До этого Артем успел приложить руку к СитиМобил, Delivery Club, Food Fox (сейчас это Яндекс Еда), а также Alpina Digital. В этом видео мы успели с Артемом обсудить его карьерный путь и перепитии бытия техническим руководителем, а также как он начинал свой бизнес еще в школе. Если точнее, то мы успели поговорить про разработку, менеджмент, архитектуру и кучу других вещей, среди которых - Знакомство с гостем - Образование и первые шаги - Старт работы еще в школе - создание контент сайтов и дальше биржи контента - Учёба в университете и совмещение с работой - Работа и бизнес после университета, изменение рынка SEO и угасание проектов - Переезд в Россию и работа на стартап, создающий опросы - Переход в Альпину на новое диджитал-направление и мобильное приложение - Платформенные B2B-решения и SaaS в Альпине, обсуждение тесной интеграции ИТ и бизнеса - Карьерный перерыв, возвращение в бэкенд, работа в «FoodMate» - Интеграция «Фудмейт» в «Деливери Клаб» - Переход Food Fox (что потом стал Яндекс Едой) - обсуждение модели аутсорса логистики - Переход в UniTemp, что строила систему для привлечения синих воротничков - Переход в City Mobile и рост внутри компании - Работа над «ВК Такси», активный найм и собеседования - Трансформация организационной структуры, бизнес-юниты. - Переход в «Сити Драйв», первые трудности, оптимизация инфраструктуры, внедрение Kubernetes. - Повышение стабильности сервиса, автоматизация инцидентов. - Внешние и внутренние риски, работа 24/7, примеры технических инцидентов. - Релиз нового приложения, оптимизация с помощью ИИ и автоматизации. - Офис против удалёнки - Личная эффективность, тулы и методы - Советы по развитию карьеры Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music. #Software #Engineering #Management #Architecture #Processes #Leadership