Книжный куб

[2/2] История появления Google TPU и их эволюции (Рубрика #Engineering) Продолжу рассказ про TPU от Google с 2021 года, а точнее с TPU v4. 4. TPU v4 (2021) - Optical Circuit Switching TPU v4 представил оптическое переключение цепей для ускорения связи между чипами, что критически важно для работы со всё более сложными ИИ-моделями. Производительность составила 275 TFLOPS на чип, с улучшенными оптическими межсоединениями. 5. TPU v5 и v5e (2023) - Оптимизация затрат TPU v5e и v5p сфокусированы на экономически эффективном обучении на масштабе, с улучшенной энергоэффективностью, динамическим масштабированием и поддержкой разреженности. 6. TPU v6 Trillium (2024) - Оптимизация производительности Trillium, шестое поколение TPU, предлагает впечатляющий скачок в 4.7 раза по вычислительной производительности на чип по сравнению с TPU v5e. А также обладает следующими характеристиками - Удвоенная ёмкость и пропускная способность High Bandwidth Memory (HBM) - Удвоенная пропускная способность межчиповых соединений - На 67% более энергоэффективен, чем TPU v5e - Масштабируется до 256 TPU в одном поде с низкой задержкой 7. TPU v7 Ironwood (2025) - опять инференс Ironwood, представленный в апреле 2025 года, стал первым TPU, специально разработанным для инференса. Революционные характеристики Ironwood: - Масштабирование до 9,216 чипов с жидкостным охлаждением - 42.5 экзафлопс вычислительной мощности (в 24 раза больше самого мощного суперкомпьютера El Capitan) - 4,614 TFLOPS на чип с 192 ГБ HBM памяти (в 6 раз больше, чем у Trillium) - 2-кратная энергоэффективность по сравнению с Trillium Если суммировать то видно, что процессоры Google прошли большой путь. Правда, остается вопроса, а как они чувствуют себя в сравнении с NVidia? И ниже есть ответ на этот вопрос - NVIDIA H100: 3,958 TFLOPS (FP8), 80 ГБ HBM3, пропускная способность памяти 3.35 ТБ/с - NVIDIA H200: 3,958 TFLOPS (FP8), 141 ГБ HBM3e, пропускная способность памяти 4.8 ТБ/с - TPU v6 Trillium: ~2 PFLOPS FP16 для тензорных операций - TPU v7 Ironwood: 4,614 TFLOPS на чип, 192 ГБ HBM, 7.37 ТБ/с пропускной способности Как видим по FLOPS все норм. А если смотреть на эффективность по независимым исследованиям, то TPU v5e показывает в 50-70% более низкую стоимость на миллиард токенов для обучения крупных моделей по сравнению с кластерами NVIDIA H100. TPU v5e также потребляет значительно меньше энергии, чем H100 для аналогичной рабочей нагрузки (H100 может потреблять в ~5 раз больше энергии, чем чип TPU v5e под нагрузкой). В реальных задачах показатели примерно такие - Для обучения GPT-масштабных моделей: TPU более экономически эффективны в 4-10 раз по сравнению с GPU - Для инференса: TPU v5e обеспечивает в 3 раза больше пропускной способности на доллар - TPU v4 показал производительность 1.2-1.7 раза быстрее и использует 1.3-1.9 раза меньше энергии, чем NVIDIA A100 В итоге, у TPU есть как преимущества, так и недостатки (+) Специализация для тензорных операций и глубокого обучения (+) Высокая энергоэффективность и экономическая эффективность (+) Интеграция с Google Cloud и оптимизация для TensorFlow/JAX (+) Масштабируемость в экосистеме Google Cloud (-) Доступность только через Google Cloud (-) Меньшая гибкость по сравнению с GPU для различных типов вычислений (-) Ограниченная экосистема разработки по сравнению с CUDA (-) Меньший объём памяти на чип по сравнению с новейшими GPU (до недавнего времени) Если подводить итоги, то кажется, что у Google все хорошо со своей линейкой процессоров для Gen AI / ML задач и они дальше продолжат отстраивать эту инфру, которая дает им значимое конкурентное преимущество в эпоху лета Gen AI приложений. А вот для остальных эти процессоры означают vendor lock при прямом использовании или ориентир, куда стоит стремиться, если смотреть в будущее. #AI #ML #Software #Engineering #Architecture #Infrastructure #Data

[1/2] История появления Google TPU (Рубрика #Engineering) Буквально вчера я рассказывал про доклад "CodeFest Russia: Куда катится железо для нейронок?", а сегодня я решил рассказать про то, как у Google появились свои процессоры для перемножения матриц. Собственно все начиналось еще в начале 2000х годов, когда Google активно внедряла ML модели к себе в продукты (поиск, переводчик, фото). Они делали это настолько успешно, что с появлением сложных нейронных сетей (а мы помним феерию с CNN сетями и ImageNet в 2012) захотели внедрить и их к себе в продукты, но вычислительная мощность как обучения, так и инференса расла экспоненциально. В 2013 году Google осознали, что если ничего не менять, то придется удваивать количество датацентров на существующем оборудовании (существующих тогда CPU и GPU). В итоге, ребята подумали и придумали проект создания TPU с такими целями - Создать Application-Specific Integrated Circuit (ASIC), который обеспечит 10-кратное преимущество в соотношении стоимость/производительность при выполнении инференса по сравнению с GPU - Построить решение быстро (ASAP или в сжатые сраоки) -Достичь высокой производительности на масштабе с новыми рабочими нагрузками "из коробки", оставаясь при этом экономически эффективным Досталось рулить проектом Норману Джупи (Norman "Norm" Jouppi), выдающийся компьютерный архитектор и Google Fellow. Норман до этого успел отличиться в проектировании MIPS процессоров. А непосредственно до Google он он работал в HP Labs, где руководил лабораторией передовых архитектур. Интересно, что по словам Джонатана Росса, одного из первых инженеров TPU (впоследствии основателя компании Groq), три отдельные группы в Google разрабатывали ИИ-ускорители, но именно дизайн TPU был в итоге выбран для реализации. Если говорить про результаты, то они получились хорошими, особенно, если учесть то, что уже доступна седьмая версия TPU. А вот как они выглядили в динамике (я ориентировался на статью "TPU transformation: A look back at 10 years of our AI-specialized chips" от Google Cloud) 1. TPU v1 (2015) - Инференс Он разработан с рекордной скоростью - всего за 15 месяцев с момента начала проекта до развёртывания в дата-центрах Google в начале 2015 года. Такая скорость была достигнута благодаря использованию "устаревшего" 28-нанометрового техпроцесса и относительно низкой тактовой частоты 700 МГц, что позволило относительно просто уложиться в сроки. Энергопотребление было 40 Вт, а производительность 92 TOPS для 8-битных целых чисел. Этот процессор был предназначен только для инференса. Чип показал производительность в 15-30 раз выше, чем современные ему CPU и GPU, с 30-80-кратным преимуществом по энергоэффективности. 2. TPU v2 (2017) - Инференс + Обучение Уже в конце 2014 года, когда TPU v1 находился в производстве, Google осознала, что возможность обучения становится ограничивающим фактором для создания моделей. TPU v2, представленный в 2017 году, стал революционным шагом — это была уже не просто микросхема, а полноценная суперкомпьютерная система. Ключевые нововведения TPU v2: - Поддержка как обучения, так и инференса - TPU Pod - сеть из 256 чипов TPU v2 с высокопропускной межсоединительной сетью - Производительность: 180 TFLOPS - Память: 64 ГБ HBM 3. TPU v3 (2018) - Жидкостное охлаждение TPU v3 ввёл жидкостное охлаждение для эффективного управления теплом, что позволило работать на более высоких уровнях производительности. Производительность выросла до 420 TFLOPS, была улучшена межсоединительная сеть и пропускная способность памяти. Продолжение истории в следующем посте. #AI #ML #Software #Engineering #Architecture #Infrastructure #Data

Code of Leadership #52 - Interview with Alexander Chernikov about Management and IC Track (Staff +) В очередном выпуске подкаста ко мне пришел интересный гость, Александр Черников, staff+ engineer в Т-Банке. Мы с Александром поговорили про его интересный путь через увлечение технологиями после фильма "Хакеры", а дальше попадание в IT, развитие по менеджерскому треку в разных российских бигтехах, а потом попадание в Т-Банк. Именно здесь Саша перешел из ветки engineering managers в ветку staff+ engineers и это ему понравилось. Больше историй про стафф инженеров можно услышать в подкасте, причем за полтора часа мы успели обсудить много тем - Введение и знакомство с гостем - Переход от инженера к менеджеру: кейсы, страхи, структура карьерных путей IC и менеджера - Роли и вызовы Staff+ IC: ключевые компетенции, драйверы мотивации - Взаимодействие между Staff+ IC и менеджерами: ожидания, конфликты, преодоление барьеров - Стратегическое влияние инженеров высокого уровня: как IC влияют на архитектуру и бизнес - Ошибки и ловушки развития сотрудников: что мешает росту, способы выхода из тупика - Советы по выбору трека (IC или менеджмент), разбор типичных сценариев - Заключение и рекомендации для роста как инженерам и менеджерам Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music. #Software #Engineering #Management #Career #Science #Conference #Leadership

Retrospective on "In-Datacenter Performance Analysis of a Tensor Processing Unit" (Рубрика #AI) Интересная заметка на две страницы про то, как и почему появился TPU в Google, продолжая тему прошлого поста про железо для ML/AI. TPU оказался отличным решением и поддерживал продуктовизацию deep learning инициатив внутри Google уже 10 лет подряд, начиная с начала 2015 года, когда он появился в проде. Завтра будет заметка побольше про всю историю эволюции TPU, а для завтравки рекомендую прочитать этот мини whitepaper, где есть такое объяснение старту проекта

A key signal soon afterward was that matrix multiplication exceeded 1% of CPU fleet cycles in Google Wide Profiling. Another signal was the analysis by Jeff Dean (a Google Fellow, now the Chief Scientist) that processing a few minutes of speech or video by 100M users would require doubling or tripling the size of the CPU fleet. Other options were clearly required.

#AI #Infrastructure #Engineering #Architecture

CodeFest Russia: Куда катится железо для нейронок? (Рубрика #AI) Интересное выступление Валентина Мамедов из Сбера, где он провел анализ рынка железа для AI. Начал он с рассказа про рыночные реалии, которые таковы - ChatGPT - это сейчас 5-й по популярности сайт в мире - NVIDIA контролирует 92% рынка GPU для дата-центров - H100 стоит $30,000, а стек из 8 таких карт - $250,000 Если сравнивать карты потребительского и серверного сегментов, то - RTX 4090 стоит 2к$, а H100 порядка 30к - разница в 15 раз при схожей пиковой производительности - Пропускная способность памяти RTX 4090 1 ТБ/с, а у H100 уже 3 ТБ/с - H100 оптимизирована для вычислений с точностью BF16 - специального типа для нейросетей Но основная проблема даже не в железе, а в экосистеме для разработки - NVIDIA работала над этим последние 20 лет и у них отличные фреймворки, пофикшены баги и вот это все - Flash Attention на AMD появился только через год после NVIDIA - Переход на альтернативы = риски и потеря времени разработки Если говорить про бюджетные альтернативы, то - Ноутбук Apple M4 Pro сравним с RTX 4090 для многих ML-задач - Apple M-кластер за $20,000 может запускать DeepSeek v3 со скоростью 20 токенов/сек - Но потребительские GPU нельзя эффективно объединить в кластер для обучения (эта опция есть только в промышленных картах от NVidia) Основные выводы доклада следующие - Монополия NVIDIA держится на софте, не на железе - экосистема CUDA критически важна - Но конкуренты растут - им не дает покоя маржа NVidia с промышленных карт, которая по оценкам достигает 57% (воистину во время золотой лихорадки выигрывает продавец лопат) - Среди конкурентов есть Cerebras ($2.5M за чип), AWS Trainium и Google TPU v7 (по оценке автора чипы TPU для Google стоят в два раза дешевле, чем использование NVidia карт) - Для персонального инференса или даже для малого бизнеса достаточно RTX 4090 - Для инференса побольше подойдет кластер из Apple M #AI #Engineering #Software #ML #Hardware #Future #DevEx

Anthropic Threat Intelligence Report: August 2025 (Рубрика #Security) Anthropic опубликиковали в августе интересный отчет про анализ угроз, а точнее о том, как злоумышленники злоупотребляют их ИИ-моделью Claude для проведения киберпреступлений. Отчет раскрывает несколько тревожных тенденций в эволюции киберугроз, где ИИ становится не просто консультантом, а активным участником атак. Вот основные случаи 1. "Vibe hacking" на базе Claude Code: один оператор с Kali Linux использовал Claude Code как движок для атаки — от массового рекона и подбора VPN до внедрения в AD/SQL-инъекций, разработки обходного софта (обфускация/анти-детект), эксфиляции и расчёта суммы выкупа. По оценке Anthropic, за месяц затронуто не менее 17 организаций (госструктуры, здравоохранение, экстренные службы, религиозные организации). Вымогательство шло через угрозу публикации украденных данных (без шифрования), суммы от $75k до $500k в BTC. Злоумышленник задавал Claude Code "операционный playbook" через CLAUDE.md, а агент помогал и тактически (эвейжн), и стратегически (что красть, как давить). 2. "Удалённые северокорейские айтишники": северокорейские ребята применяли Claude, чтобы выглядеть компетентными при устройстве на удалёнку, поддерживать перформанс на работе и обходить санкции, фактически масштабируя схему "фальшивого трудоустройства". Этакие корейские "волки":) 3. "No-code malware" / RaaS-операторы: один персонаж развивал и продавал AI-сгенерированный рансомвар с продвинутым обходом детектов на дарк-форумах (Dread, CryptBB, Nulled) - ИИ закрывал пробелы в имплементации даже у не самых сильных технарей. Отдельно описан русскоязычный девелопер, генерировавший продвинутые Windows-эвейжн техники через Claude. 4. Китайские ребята против критической инфраструктуры Вьетнама: систематическая интеграция Claude почти по всем тактикам MITRE ATT&CK (сканеры, fuzzing загрузок, WordPress-эксплойт-фреймворки, эскалации привилегий, прокси-цепи, data staging). 5. AI в экосистеме фрода: показаны кейсы по всему конвейеру - анализ stealer-логов через MCP для профайлинга жертв, кардинг-стор, роман-скам-бот, синтетические личности. В итоге, если экстраполировать эту тенденцию, то увидим тренды 1. Один человек ≈ целая команда: агентные инструменты превращают соло-актора в «многостаночника» - автоматизация даёт одновременную работу по множеству жертв, а ИИ сам принимает и тактические, и бизнес-решения (что/где эксплуатировать, сколько требовать, как давить регуляторикой/репутацией). Примерно также это работает с software engineers:) 2. Порог входа стремительно падает: сложные операции (эвейжн, пост-эксплойт, монетизация) теперь доступны менее квалифицированным преступникам ("no-code malware", кардинг-платформы). 3. Оборона усложняется: атаки адаптивны в реальном времени, "шифровать" уже не обязательно - достаточно украсть и грамотно упаковать шантаж (персданные, финансы, медицинские записи, ITAR-документы). Понятное дело, что Anthropic такое использование их инструментов не понравилось, поэтому они предприняли ряд шагов для фикса проблемы 1. Инженерные меры прямо по следам инцидентов - Забанили связанные аккаунты; - Развернули новые детекторы/классификаторы под этот класс активностей (в т.ч. обнаружение загрузки/правок/генерации малвари на платформе); - Включили паттерны злоупотребления в "стандартный конвейер" enforcement’а; - Поделились техиндикаторами с экосистемой/властями. 2. Структурные выводы о ландшафте угроз - Агентные системы уже weaponized: модели не просто "советуют", а действуют - Барьер к sophisticated-киберкриминалу снижен (быстрый доступ к опыту и код-генерации). - Преступники встраивают ИИ во все стадии: разведка → эксплуатация → эксфиль → анализ → вымогательство/монетизация → саппорт-операций. - Нужны новые рамки оценки рисков, где сложность атаки не равна квалификации атакующего - ИИ добавляет "искусственную компетентность" - Эффективность проактивной безопасности: кейс с автоматическим срывом DPRK-кампании показал ценность risk-scoring и auto-enforcement до промптов #Security #AI #Software #Engineering #Devops #DevEx

День знаний в Высшей Школе Экономики (Рубрика #Edu) Сегодня вечером я приезжал в гости на факультет компьютерных наук в ВШЭ, чтобы выступить перед первокурсниками прикладными математиками и замотивировать их на обучение. Это был интересный опыт выступления экспромтом (я не верю в выученные речи). Тезисы выступления были примерно такие Для начала я вспомнил как 23 года назад тоже был первокурсником по специальности прикладная математика и физика, только не в Высшей Школе Экономике, а на Физтехе. Тогда тоже жизнь казалась полной динамизма и изменений и дальше были такие технологические эпохи - Пузырь доткомов, который случился еще до моего поступления, но привел к дальнейшему развитию веба и сайты появились даже у шаурмячных - Появление сенсорных мобильных телефонов и переход из веба в мобильные аппки, что опять заполонили планету - Чуть позже мы увидели все возможности сетевых эффектов, как в социальных сетях, так и в платформах типа Amazon или App Store и Google Play - Потом нас захватила волна уберизации индустрий и цифровой трансформации обычных предприятий - Потом мы ушли на удаленку во времена Covid и цифровизация стала baseline, без которой компании не выживали - В 2022 году случился ChatGPT момент и глубокое обучение захватило воображение всех без исключения - В текущий момент мы находимся в ситуации неопределенности, когда старые подходы к работе заменяются новыми - фактически, мы до конца не знаем как будет выглядеть работа software engineer через четыре года, когда бакалавры закончат свое образование. Это создает неопределенность, но и новые возможности, особенно для молодых и умных:) Если бы я сейчас был студентом-первокурсником, то я бы посоветовл сам себе же - Максимально использовать ресурсы - все возможности, которые даёт обучение, включая получение знаний и опыта - Набивать практический опыт через стажировки и решение реальных задач, предоставляемых компаниями-партнёрами, включая Т-Банк - Участвовать в проектной работе во время обучения - этот тип обучения сейчас более популярен и доступен, чем 20 лет назад - Растить нетворкинг - общение с однокурсниками и выстраивание взаимоотношений - это важная часть успеха (но обычно это понимаешь уже обучаясь на MBA программах) - Активно вовлекаться в происходящее - следует участвовать во всех доступных активностях, пробовать новое и не терять время зря. Это должно быть похоже на приятную усталость после тренировки в фитнесе Если смотреть в ближайшее будущее, то - Преподаватели и партнёры вуза помогут студентам, предоставляя возможности для стажировок и решения практических задач. - Если следовать советам выше, то через 4 года выпускники будут лучше подготовлены к будущим вызовам, чем текущие разработчики, многим из которых сложно успевать за меняющейся реальностью (и это мы раньше шутили про скорость появления js библиотек и фреймворков - а теперь посмотрите на gen AI инструменты) #AI #Career #Edu #Future #Leadership #Software #Engineering

Why AI Isn’t Ready to Be a Real Coder? AI’s coding evolution hinges on collaboration and trust (Рубрика #AI) Интересная статья от 26 августа из IEEE Spectrum про текущее состояние AI инструментов, которые по мнению авторов быстро прогрессируют, но до подной автономии им далеко. По мнению автора статьи они полезные как ассистенты, но не могут автономно решать задачи с большим контекстом, сложной логикой и длинным горизонтом планирования. В итоге, сейчас стоит стремиться не к замене разработчика, а к выстраиванию эффективного взаимодействия человек <-> AI. Интересно, что эта статья основана на мартовском whitepaper "Challenges and Paths Towards AI for Software Engineering", представленной на ICML-2025 (Cornell, MIT CSAIL, Stanford, UC Berkeley, UPenn). В котором - Даётся таксономия задач ИИ в разработке (не только генерация кода, но и тестирование, анализ, рефакторинг, сопровождение и т. д.); - Перечисляются bottlenecks: оценивание и бенчмарки, эффективное пользование инструментами, коллаборация с человеком, долгосрочное планирование, огромный контекст, семантическое понимание кодовых баз, низкоресурсные языки/редкие библиотеки, обновления API/версий, высокая логическая сложность; - Предлагаются пути вперёд: лучший сбор и курирование данных, RL-окружения для кода, быстрая адаптация к конкретным кодовым базам, обучение моделей совместной работе с людьми, семантически осведомлённый поиск/ретривал, глубокая интеграция с инструментами и процессами разработки А в статье "Why AI Isn’t Ready to Be a Real Coder?" помимо опоры на эту статью приведены идеи и других ученых, которые поделились своими мыслями - Armando Solar-Lezama (MIT CSAIL) рассказал о том, что нынешние интерфейсы и взаимодействие с ИИ ещё далеки от работы с живым коллегой. - Koushik Sen (UC Berkeley) поговорил о трудностях поиска и правки сложных дефектов (например, проблем с безопасностью памяти) в больших кодовых базах. - Shreya Kumar (University of Notre Dame) подняла вопрос о цене "промпт-инжиниринга": иногда проще написать код, чем объяснить его ИИ. - Abhik Roychoudhury (National University of Singapore) высказался о критичности захвата пользовательского намерения при создании софта (архитекторы и аналитики обычно говорят об этом в формате problem space и solution space, а также функциональных и нефункциональных требования). Также Abhik поговорил о роли "агентного" ИИ и возникающем при этом вопросе доверия Если суммировать, то вот основные выводы статьи 1. Полная автономия ещё не здесь: модели часто «галлюцинируют» причины багов, дают нерелевантные фиксы и плохо держат длинный контекст/план. Нужен обязательный human-in-the-loop. 2. Прорыв потребует не только больших моделей, но и правильной организации работы: новые интерфейсы взаимодействия, умение модели выражать неуверенность и проактивно уточнять требования, явный захват user intent. 3. Агентные и эволюционные подходы дают обнадёживающие сигналы, но проблема доверия и проверки останется центральной. Кстати, в статье упоминается AlphaEvolve, про который я рассказывал раньше #AI #Engineering #Software #Metrics #Devops #DevEx #Architecture

Силиконовые дали. Будущее, в котором мы живем сегодня (Рубрика #Startup) Иногда вечером уходя с работы, я уже не способен читать сложные книги и тогда я снимаю с полки что-то попроще из серии попкорна для уставшей головы. На прошлой неделе я так начал читать книгу "Силиконовые дали" за авторством Владимира Смеркиса. Книга была издана в уже далеком 2022 году издательством "Альпина ПРО". Она представляет собой компиляцию идей Владимира, подкрепленных цитатами из 250+ интервью с успешными предпринимателями и топ-менеджерами. Книга напоминает о прошлом, когда - Еще не случились события, приведшие к изоляции России - Все еще не разочаровались в Web3 и NFT (автор как раз активно за эту тему топит) - Все еще не наступила новая волна хайпа с Gen AI - Все еще было модно говорить про digital transformation В общем, автор привел в своей книге - Практические рекомендации по построению цифрового будущего, щедро досыпав цитат от успешных предпринимателей - Истории успеха и опыт российского интернет-бизнеса - в начале были истории про ранний Яндекс, Рамблер и даже Ozon - Блокчейн-технологии и построение бизнеса на их основе - NFT должен был всех спасти на пару с блокчейном:) - Экономику данных и ее перспективы - здесь тезисы в стиле "данные - это новая нефть" - Цифровые стартапы: от поиска идей и инвесторов до типичных ошибок В общем, я прочитал книгу быстро и скорее вспомнил

... как все начиналось Все было впервые и вновь Как строились лодки и лодки звались

чем получил какие-то практические инсайты про будущее. #Economics #Startup #Management #Leadership

Примавера парк (Рубрика #Kids) Выбрались с детишками в недавно открывшийся парк на берегу Москва-реки. Детишкам понравилась новизна игровых площадок с горками и песочком, а мне с женой хоть какое-то разнообразие. Утром мы уже успели прогуляться по парку на Ходынке и решили съездить в новое место. #ForKids

ACM Professional Membership (Рубрика #ComputerScience) Год назад я рассказывал как оформил себе ACM Professional Membership, для доступа к платформе O'Reilly и whitepapers, вышедших в журналах под эгидой Association for Computing Machinery (ACM). Год прошел и мне надо было оценить продлевать ее или нет - я решил, что она стоит своих денег - за прошедший год помимо большого количества бумажных книг я прочел еще тонну разных научных статей, а также пользовалься платформой O'Reilly в формате поиска книг, а также общения с их чатботом, что умеет строить ответы на основе лицензированных книг из этой библиотеки. В общем, подписка была продлена, а вам я хотел напомнить бенефиты, что в нее входят 1) Professional Membership Эта подписка дает доступ к печатной и онлайн подпиской на "Communications of the ACM", доступ к MemberNet, TechNews, CareerNews, доступ к ACM Career и Job Center 2) ACM Skills Bundle Add-On Тут есть доступ к онлайн-книгам, курсам, тренировочным видео от O'Reilly, Skillsoft Percipio, Pluralsight 3) ACM Digital Library Add-On Доступ к ACM Digital Library, в котором есть 2 миллиона проприетарных и third-party текстов, больше миллиона биографических цитат, и так далее Если вы тоже теперь решили стать членом Ассоциация вычислительной техники, то оформление подписки доступно здесь. #Software #Architecture #SoftwareDevelopment #SystemDesign

Распродажа в издательстве «Питер» в последний викенд лета (Рубрика #Sales) В издательстве Питер очередная распродажа со скидками в 35% на бумажные книги и 50% на электронные. Для получения этой скидки надо использовать промокод "Бумажная" (или "Электронная", если покупаете элетронную версию) при оформлении заказа. На прошлых распродажах я уже купил себе пачку книг, а в этот раз обратил внимание на следующие книги, последние три из которых докупил себе в коллекцию - Технический директор. Эффективное техническое лидерство - в оригинале эта книга называется "The Engineering Executive's Primer" и я бы перевел ее как букварь технического директора:) Я прочитал ее с большим удовольствием год назад и могу порекомендовать ее любому техническому руководителю - Разработчик ПО: Путеводитель по карьерной лестнице для будущих сеньоров, техлидов и стаффов - я уже рассказывал, что у меня появилась эта книга и я ее потихоньку пока читаю. Впечатления от нее отличные. - Масштабируемые данные. Высоконагруженные архитектуры, Data Mesh и Data Fabric. 2-е изд. - в наш век GenAI приложений меня очень интересуют подходы к созданию платформ данных. Примерно про это мы говорили с моим коллегой, Сергеем Михалевым, в выпуске моего подкаста Code of Leadership - Causal Inference на Python. Причинно-следственные связи в IT-разработке - я глубоко погружен в разработку нашей a/b платформы, а также в дизайн некоторых опросов (в стиле DORA), поэтому в последнее время я много читаю про статистику. Еще одна книга на эту тему будет не лишней. - Дизайн и поведение пользователей. Применение психологии и поведенческой экономики в разработке и UX - эта тема продолжает планирование исследований и экспериментов, но уже внутри продукта. #Sales

JVM Day в Т-Банке (Рубрика #AI) Этот солнечный субботний день я провел в отличной компании в нашем офисе на конфе JVM Day. Меня позвали поучаствовать в панельной дискуссии "Инструменты разработчика — плагины vs AI-агенты", где мы обсудили как классические плагины для IDE, так и современные и современные AI инструменты ускоряют написание кода. Дискуссию модерировал мой коллега, Павел Гордеев, а участвовали в обсуждении джентельмены - Евгений Ненахов, CTO CDP BigData, MWS (МТС Web Services) - Александр Шустанов, менеджер продукта, Haulmont - и автор этого канала Беседа получилась интересной и я позже напишу отдельный пост на эту тему. А вообще конфа мне понравилась - людей было много, доклады интересные, а еда вкусной:) В общем, наши конференции становятся хорошей традицией. #Engineering #Software #AI #Conference

Machine Learning System Design (Рубрика #ML) Пока я отдыхал на плато Путорана без интернета, то читал книгу "ML System Design" от Валерия Бабушкина и Арсения Кравченко. Она была интересна для меня по двум причинам: мне близка тема классического system design и я интересуюсь machine learning:) Мне близка идея авторов о том, что проектирование систем (ML систем в том числе) - это многоэтапный процесс, где пригодятся навыки из различных областей, которые стоит использовать в рамках системного подхода. Причем для ML этот многоэтапный процесс содержит гораздо больше шагов, чем просто выбор правильной модели/алгоритма. Если сравнивать обычный и ML дизайн, то есть такие моменты, что их отличают друг от друга 1. Детерминизм vs вероятность Обычные системы мы стараемся проектировать с определенной долей детерменизма, причем для проверки предсказуемости покрываем их тестами. ML системы носят by design вероятностный характер. В обычных системах у нас обычно есть четкий алгоритм, превращающий входные данные в выходные, а всю недетерминированная часть обычно находится на стороне эксплуатации (работа под нагрузкой, надежность и работа с отказами). В ML системах сама модель исполнения недетерминирована, что добавляет сложности оценке качестве ее работы 2. Одно и двух-фазная архитектуры В ML системах обычно есть две сильно отличные фазы работы: training и inference. В обычных приложениях у нас нет фазы тренировки - оно руками инженеров уже обучено выполнять нужную работу (ака работать в режиме inference). 3. Зависимость от данных В традиционной разработке у нас обычно есть структурированные данные, с которыми работают приложения - при дизайне мы проектируем модели данных и моделируем их взаимосвязи, часто это OLTP системы. В ML системах у нас степень контроля над данными сильно меньше - нам приходится городить пайплайны и зачастую при обучении работать с OLAP конструкциями, одновременно на inference работать в формате более близком к традиционным системам, чтобы успевать делать Inference с приемлемым временем отклика В своей книге авторы уделяют много времени и места обсуждению архитектурных соображений - Конвейеры данных Построение надежных data pipeline становится фундаментальным компонентом архитектуры, поддерживающим поглощение данных, обработку в реальном времени и масштабируемые решения для хранения. - Модульный дизайн Необходимость отделения ML-компонентов от основной логики приложения, что позволяет независимо обновлять модели без нарушения работы основной системы. - Мониторинг и наблюдаемость Традиционные системы логирования должны эволюционировать для включения специфических метрик ML, таких как drift данных и производительность модели. Отдельно отмечу интересный формат историй у костра (campfire stories), где авторы делятся своими историями из прошлого, рассказывая о решении реальных задач из своего опыта. Это выглядит интересно и похоже на то, когда мы рассказываем байки у костра за кружечкой горячего напитка. В общем, мне книга показалась интересной и полезной - ее полезно почитать как ML инженерам, так и классическим software engineers, которым все больше приходится проектировать Gen AI приложения. #ML #AI #Engineering

Арктический сертификат (#Travel) Организаторы нашего тура на Плато Путорана, о котором я уже рассказывал, выдали всем участникам по его окончании тура артический сертификат настоящего полярника:) Интересно, что я жил первые восемнадцать лет практически у полярного круга, но никогда его не пересекал. А теперь этот сертификат пополнил мою коллекцию памятных бумажек, а вот красивых картинок я уже добавил в пост самостоятельно:) #Travel

Auf Wiedersehen, GitHub ♥️ (Рубрика #AI) Так Томас Донке, CEO Github с 2021 года, в начале августа попрощался и объявил о своем уходе. Это решение стало поворотным моментом в истории GitHub, так как Microsoft решило не назначать нового "независимого" CEO. Вместо этого платформа глубже интегрируется в блок CoreAI, а руководящая команда будет репортить внутрь структуры Microsoft. Изменения произошли по двум причинам 1. Томас Донке решил вернуться к своим стартап-корням (насколько это правда оценим по дальнейшей деятельности Томаса) 2. Microsoft решила усилить консолидацию AI-продуктов в единую стратегию CoreAI, где Copilot - один из ключевых активов. СМИ отмечают именно это смещение центра тяжести с "платформы-репозитория" к "AI-платформе разработки" Что ждет GitHub в будущем GitHub станет центральным элементом AI-стратегии Microsoft. CoreAI под руководством Джея Париха сфокусируется на - Создании AI-платформы для внутреннего использования и клиентов Microsoft - Развитии агентного AI и автономных систем разработки (copilot станет полноценным агентом) - Углублении интеграции с Azure, Windows и Office 365 - Усиление корпоративных функций: security, миграции, расширение marketplace Если говорить о том, а что это значит для экосистемы разработчиков, то можно описать это так 1. GitHub теперь "Copilot-first" платформа. Ожидайте ускоренной интеграции агентных сценариев (автозаведение PR, фиксы по задачам, рефакторинги по описанию) в веб-интерфейсе и IDE, плюс более тесной связки с Azure/CoreAI. Для вас это означает рост продуктивности… и рост значимости "правил использования ИИ" в командах. 2. Новая экономика AI с отдельными бюджетами Бюджеты на ИИ-запросы станут таким же нормальным CAPEX/OPEX, как минуты CI/CD. Планируйте квоты "premium-requests", обратную связь командам и политики выбора моделей. 3. Безопасность и комплаенс добавлены в платформу по умолчанию Дальнейшее развитие GitHub Advanced Security/Dependabot/Secret scanning и риск-оценок будет стандартом для enterprise. Это снизит time to recovery на инциденты в цепочке поставки и потребует "security-by-design» в процессах (кстати, про secure by design мы общались с моим коллегой, Артемом Меретцом, в подкасте «Research Insights Made Simple») 4. GitHub - это часть экосистемы Microsoft Плотная интеграция с Microsoft ускорит релизы AI-фич, но увеличит стратегическую зависимость от экосистемы MS (идентификация, биллинг, облачные сервисы). Это важно учитывать, если вы мульти-вендор. #AI #Engineering #PlatformEngineering #Cloud #Software #Leadership

Code of Leadership #51 - Interview with Alexey Fyodorov about Management & Conferences (Рубрика #Management) В очередном выпуске подкаста ко мне пришел интересный гость, Алексей Федоров, один из основателей компании JUG.RU, что проводит крутые конференции по различным технологиям на российском рынке. Мы с Алексеем поговорили про его интересный путь через науку в технологии, а потом к организации конференций. Отдельно мы поговорили про первую конференцию для менеджеров, которая называется InBetween, про которую я уже рассказывал отдельно. Краем мы задели даже ICPC, финал которого с 31 августа по 5 сентября - мы записывали этот выпуск, когда Леша уже прилетел в Баку, чтобы помочь в организации финала чемпионата мира по программированию. В общем, за два часа мы успели обсудить много тем - Введение и знакомство с гостем - Принципы и традиции выбора названий конференций от JUG.RU - Биография Алексея Фёдорова, академический путь, переход в ИТ - Особенности работы с Java и интеграция в мировое комьюнити - Размышления о роли и подготовке спикеров, критика качества выступлений, путь к евангелизму - Рост и стандартизация вендерских конференций, примеры крупных ивентов от компаний - Ощущения участников от повторных посещений конференций, скорость изменений - Появление и специфика менеджерских конференций, развитие треков по управлению, вопросы специализации - Влияние Agile на рынок, книги как источники знаний - Коллаборации между российскими ИТ-компаниями, опыт совместных академий и стажировок, проблема отсутствия обмена экспертизой - Фронтирные модели: стоимость, доступность, дилемма заключённого и борьба за ресурсы между компаниями - Роль государства, эволюция рыночных механизмов и регулирование - Менеджмент, прозрачность и доверие в командах, контроль результатов, анализ мотивов через вопросы и рефлексию - Влияние платформенной инженерии и формализации процессов на скорость и предсказуемость разработки, инертность крупных систем - Обзор онлайн активностей на конференции InBetween, что уже прошли в августе - Примеры докладов с оффлайн части конференции, что будет 8 сентября - Предполагаемая аудитория конференции - Влияние кризисов на менеджмент - Экосистемы и их устойчивость к кризисам - Конкуренция в экосистемах - Анонс финала ICPC, где Алексей помогает проведению этих соревнований по программированию Рекомендации для чтения от Алексея - Джоэл о программировании - Серия «Профессионально (Символ)» Также Леша упоминал про Академию современного программирования Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music. #Software #Engineering #Management #Career #Science #Conference #Leadership

Плато Путорана (Рубрика #Travel) Вот и закончилось путешествие на плато Путорана, остался только перелет в Москву. Виды были изумительными, поход в горку изнурительным, банька и купание в озере Лама идеальными, компания отличной. Единственное - сюда надо ехать недели на две, а не на четыре дня. Так что я сюда еще вернусь с женой и детьми, но мы выберем маршруты попроще. #Travel

Apache Iceberg: What It Is and Why Everyone's Talking About It (Рубрика #Data) Отличное короткое выступление Тима Берглунда VP Developer Relations в Confluent про Apache Iceberg и почему про него так много говорят. Если упрощать, то Apache Iceberg - это открытый формат аналитических таблиц, принесший ACID-ранзакции и эволюцию схемы в мир «сырого» дата-лейка. В этом видео Тим помимо Iceberg еще рассказывает про TableFlow от Confluent, что является автоматической материализацией Kafka-топиков в Iceberg-таблицы. Вот основные тезисы Тима 1. Он начинает с рассказа про эволюцию подходов по работе с данными - Data warehouse (DWH) : с 1990-х, ночной ETL, строгая схема, отчёты на следующий день - Data lake: с 2010-х, сначала Hadoop, затем S3/Blob; схема on read, ELT-паттерн, масштаб до петабайт - При переходе к data lakes потерялось: строгая схема, транзакционность и согласованность при параллельных записях 2. Проблемки в data lakes были примерно такие - Отсутствие метаданных на уровне файлов - это приводило к долгим directory-list операциям в S3; непредсказуемым SQL-запросам - Нет ACID-транзакций - это приводило к «грязным» данным при частичных перезаписях, race conditions - Сложная эволюция схемы - получались «zombie»-колонки, а также сложные перекатка партиций вручную 3. Но тут на помощь пришел подход с Apache Iceberg, который принес слои, что решили предыдущие проблемы. Эти слои выглядят так по мере увеличения уровня абстракции - Data Files (Parquet/Avro/ORC) - неизменяемые фрагменты данных. - Manifest Files - JSON-файлы, перечисляющие конкретные Data Files плюс статистику колонок (min/max, null-count). - Manifest List - набор manifest-ов для одной операции добавления/удаления файлов - Snapshots - атомарные состояния таблицы; каждый snapshot указывает на конкретный Manifest List, тем самым формируя точку во времени - Metadata File (metadata.json) - хранит список всех snapshot-ов, схему, сорт-ордера. - Catalog - внешний сервис (Hive Metastore, JDBC-DB, REST-каталог) сопоставляет имя таблицы с текущим Metadata File 4. Такая схема обеспечивает следующие свойства и механизмы, что решают указанные выше проблемы - ACID-транзакции - обеспечивается посредством copy-on-write + optimistic concurrency, а дает это безопасные параллельные INSERT/DELETE - Time Travel - обеспечивается посредством чтения по snapshot-ID или timestamp, а дает аудит и reproducible query - Schema evolution - обеспечивается посредством полнотекстовыъ JSON-метадатанных; идентификаторов колонок, а не их порядка, а дает это возможность добавление/переименование колонок без перезаписи - Hidden Partitioning - обеспечивается это посредством вычислимых трансформ (bucket, truncate, day), что спрятаны от пользователей, а дает fast scans без manual-фильтров - Row-level Deletes - обеспечивает посрдеством V2 spec: delete deltas с позиционными ссылками, а дает GDPR-delete и upsert-паттерны 5. Если говорить про физическую реализацию, то - Iceberg сам по себе - НЕ сервер. Это спецификация + библиотеки (Java, Python, Spark, Flink, Trino, Hive) - Метаданные и данные - обычные файлы в объект-сторидже; каталог - «плагин» (Hive Metastore, AWS Glue, REST). - Отказоустойчивая схема без rename/list операций - важно для S3, GCS. Часть про TableFlow от Тима я рассказывать не буду, так как мне самым важным было рассказать про часть про Apache Iceberg. Если подводить итоги, то - Iceberg решает три исторические боли data lakes - ACID-транзакции, управляемая эволюция схемы, консистентные snapshot-ы. - Архитектура основана на простых JSON/Parquet-файлах и внешнем каталоге; никакого «Iceberg-сервера» не требуется. - Экосистема растёт: Netflix перешёл на «Iceberg-only» lake (≈1 EB); Databricks покупает Tabular, чтобы конвергировать Delta↔️Iceberg. - Iceberg становится де-факто стандартом открытых табличных форматов, а в ближайшие годы data-платформы будут сходиться к унифицированному lakehouse-стеку, где Iceberg играет роль «общего языка» между потоковыми системами и батч-аналитикой #Data #Dateabases #PlatformEngineering #Software #Architecture #Engineering #DistributedSystems

Реорганизация Meta AI Labs: Структурный поворот к суперинтеллекту (Рубрика AI) Недавно читал заметку Александра Ванга "Superintelligence is coming", из которой видно, что Meta (запрещенная в России организация) провела крупнейшую реорганизацию своих подразделений искусственного интеллекта в истории компании, объединив все AI-команды под новой структурой Meta Superintelligence Labs (MSL). Эта четвертая реорганизация за последние шесть месяцев направлена на ускорение достижения "суперинтеллекта". Новая схема становится централизованной, где прямое управление сосредоточено у 28-летнего Александра Ванга, который ранее был CEO Scale AI. Он был привлечен Meta в рамках сделки стоимостью $14,3 млрд и теперь он возглавил MSL в качестве Chief AI Officer (а помните я шутил раньше про роль CAIO). Если говорить про ключевые направления, то их четыре и вот они 1) TBD Lab, которым руководит непосредственно Ванг и которое сфокусировано на обучении и масштабировании больших моделей и разработки "omni" модели, чтобы это не значило. По-факту, от этой лабы мы ждем новых LLama моделей, которые будут получше, чем провальная четверка 2) FAIR, которым руководят Роб Фергус + Янн ЛеКун (Chief Scientist), которые теперь отчитываются Вангу. Эта лаба занимается фундаментальными исследованиями и будет инновационным движком MSL. Если ранее между FAIR и генеративным AI-подразделением Meta было относительно мало взаимодействия, то теперь исследования FAIR будут напрямую интегрироваться в масштабные запуски моделей, проводимые TBD Lab. 3) Products & Applied Research, которой руководит Нат Фридман в прошлом из GitHub, который тоже отчитывается Вангу. Тут цель проста - интегрировать AI в продукты Meta, а также вести прикладные исследования. Команда объединяет ранее разрозненные группы, работавшие над Assistant, Voice, Media, Trust, Embodiment и Developer pillars. Это обеспечивает более тесную связь между продуктовыми исследованиями и разработкой продуктов. 4) MSL Infra, которой руководит Апарна Рамани, который тоже отчитывается Вангу, а также развивает инфру под AI проекты Интересно, что - Теперь в этой структуре два главных ученых (chief scientists): Янн ЛеКун (FAIR) и Шенцзя Чжао (общий для MSL). ЛеКун сохраняет фокус на долгосрочных исследованиях и "построении следующих AI-парадигм", в то время как Чжао, соавтор ChatGPT, устанавливает исследовательскую повестку для всей лаборатории. - В рамках реорганизации Meta ликвидировала команду AGI Foundations, созданную всего в мае 2025 года. Это уже вторая крупная AI-команда, расформированная компанией в этом году - ранее была ликвидирована GenAI division после прохладного приема Llama 4. Сотрудники AGI Foundations распределены между продуктовыми, инфраструктурными командами и FAIR, но не в TBD Lab. Если говорить шире, то эта реорганизация является ответом на отставание Meta в конкурентной гонке. Постоянные реорганизации контрастируют со стабильностью конкурентов, которые сталкиваются с меньшими организационными потрясениями Для усиления компания активно переманивала таланты, предлагая пакеты компенсации до $100 млн, а в одном случае - до $1,5 млрд. Компания привлекла более 50 исследователей и инженеров от конкурентов, однако эта кампания завершилась заморозкой найма в AI-подразделении в августе 2025 года, что сигнализирует о необходимости консолидации после периода интенсивного расширения. Подход Meta строится на том, чтобы предлагая высококачественные модели бесплатно, стремится коммодитизировать уровень foundational моделей и подорвать бизнес-модели конкурентов, которые монетизируют доступ к своим моделям через API. Ведь основная монетизация самой Meta происходит через увеличенное вовлечение пользователей и данные, генерируемые на ее платформах. Интересно будет посмотреть насколько сработает их стратегия и что родит MSL, ведь прошлых заход с 4 ламой был слабее, чем все ожидали от таких вложений. #AI #ML #Software #Economics #Engineering #Management #Leadership #Future