Архитектор Данных

Прогноз AI в 2026 году Читаем на Хабре Большой разбор Александра Волынского о будущем ИИ в 2026 году. Итак, в 2026-м мы получим 1️⃣ Дешевый инференс моделей для технологических гигантов (Google, AWS) за счет TPU собственной разработки. 2️⃣ Как следствие, угасание доминирования NVidia

Эра безальтернативных универсальных GPU подходит к концу. Специализированные чипы (ASIC) под инференс дают слишком большое преимущество в цене, чтобы их игнорировать

Где-то я это уже видел. В майнинге криптовалют, где ASIC вытеснили видео на рынке молочения хешей. 3️⃣ Рост качества маленьких моделей. Современные модели 10В показывают результаты на уровне лидеров 2024 года. А это значит, рост доступности инференса в сегменте «небольших» ИИ-платформ на несколько десятков видеокарт. 4️⃣ Рост использования ИИ-инструментов для взлома и другой незаконной кабер-активности. Как вам вирус, который переписывает собственный код за минуты в случае неудачной атаки? Как вам ЛЛМ-агент, умно управляющий ботнетом? Уже молчим про то, что в социальной инженерии агенты применяются массово уже сейчас. Можно ли против такого бороться стандартными ИБ-средствами? 5️⃣ Законотворческое противостояние распространению ИИ-«заразы». В разных странах по-разному. Плюс к тому разного рода общественный активизм, атаки на дата-центры. Кстати, а куда вдруг делись зеленые? Что-то не слышно их воплей на новости по строительству гигаваттных дата-центов. 6️⃣ Конец эпохи дешевого венчура, когда сотни миллионов выдавались под что-то-там-ИИ. Это давно пора. Пойду перечитывать "Нейроманта", где ИИ собирает команду людей и кибер-средств для взлома корпорации и доступа к своему ИИ-"брату", а потом оба отправляются бороздить паутину.

🤘🤘🤘🤘🤘 🤘🤘🤘🤘🤘 🤘🤘🤘🤘🤘 https://huggingface.co/nn-tech/MetalGPT-1

Рубрика «непрошеные советы» Люди любят непрошеные советы от дедов. И поощряют их большим количеством клоунов. Поэтому позвольте продолжить. Остро всех резанул вопрос об ипотеке. Квартирный вопрос нас всех очень испортил. Не так давно стал замечать, что постепенно залезаю в образ дядьки, которого младшие родственники и младшие коллеги спрашивают, покупать или нет им свою берлогу. Мамка пушит, на каждом билборде висит реклама, друзья покупают, а мне что делать, дед, подскажи. Я подсказываю следующее. Соображение первое. Если видишь инвестиционный инструмент, это говорит о том, что тебе пытаются впарить образ простой русской халявы. 90% вероятность, что халявы там никакой нет, и тебя хотят нагреть неким сложным образом, который ты не выкупаешь. Например зашить эту ставку в цену, которая образует неплохую дельту с аналогами на вторичке - это самый популярный вариант. Есть и сильно более изощренные схемы на..балова финансового инжиниринга. Есть просто мелкий шрифт, что сниженная ставка на 2 года, а дальше рост до рынка. Одним словом - нет ни у кого цели раздать тебе халявы, подумай об этом. Соображение второе. Тебе 22 года, у тебя есть большое преимущество перед теми, кому 35. Те обросли кредитами, дачами, детьми, собаками и тещами, у них нет возможности исследовать новые полянки. Цена провала для них - семья на улице. Они будут сидеть в своих корпорациях. Ты можешь изучать крипту, строить продукты на нейросетях, делать гейм-беттинг стартапы и заниматься чем-то еще рисковым на новых полянках, где еще не вытоптано. Используй это время. Не спеши обрасти обязательствами, как они. Успеешь. Третье. Жилье покупается на твои потребности не сейчас, а через 5 лет. Я стал многодетным отцом в 28 лет, имел ли я в 23 хоть какую-то возможность так все рассчитать, грамотно спланировать под себя в 28? Или хотя бы представить себе, что именно и где мне понадобится? Да ни малейшего шанса! И уж точно однушка где-то в кукурузных полях не принесла бы мне счастья. Просто болталась бы на балансе, и ни уму ни сердцу. Ты не сможешь дать себе «пас на ход» на 5 лет вперед, не стоит и пытаться. Оговорюсь, есть разные ситуации. Один младший друг купил подмосковье, когда его девушка мечты заявила, что готова съехаться только если будет СВОЕ жилье. Ну это прикол конкретной девушки, и могу сказать, в этой ситуации это шаг был оправдан. Но в основной массе 25-летних я замечаю скорее движение к социальной норме, пуши мамок и советчиков. Результат - преждевременное якорение себя куда-то к чему-то, когда этого можно не делать. От этого и пытаюсь отвадить по мере сил. Сейчас прибегут советчики рассказывать, как они классно вложились и как у них все выросло. Напомню им, что у нас жанр - советы тем кому 20-25 сегодня. У вас было удачное решение, не спорю. Не правильное, а именно удачное. Вы уверены, что снова в этом же месте сегодняшние молодые люди этот же результат повторят? Если нравится, ставьте клоунов. Когда накопится 50 🤡 и 💩, мы продолжим.

Что делать тем, кому 20 7 советов тем, кто строит карьеру в айти: 1. Фильтруй информацию и думай своей головой. Контента и мнений очень много, пока один что-то рассказывает, другой держит, третий обводит. Все трое – идиоты. Лучше думать своей головой, а все остальное принимать к сведению. 2. Зарабатывай пруфы. К 30ти надо иметь на руках какие-то доказательства, что ты не астронавт. Либо проект, который ты построил, и он получился. Либо понятные сделанные тобой вещи в найме, которые можно показать и они подтвердят что ты шаришь. Если ты красишь кнопки в админке, которую никто не видит – это огромная проблема. 3. Миром правят гуманитарии. Теперь с каждым годом количество людей в IT увеличивается, а предложение падает, и так будет и дальше. Заработают два типа людей: супер-коммуникаторы, и те, кто делает невозможное возможным. Сейчас это AI. 4. Work-life balance в 20 это бедная старость в 60. 5. Без риска нет результатов. Можно сидеть и просто получать зарплату в корпорации, пока тебя не заменит AGI. Можно рисковать и создавать свои проекты, идти работать в стартапы, ехать с рюкзаком в долину на собеседование к Илону Маску . Очень часто риск мы себе придумываем, а награду не видим, потому что она не близко. Хотя риски минимальны, а награда высока. 6. Никаких кредитов, кредиток, ипотек и других заемных денег на что бы то ни было. 7. Open-source – это мощный карьерный лифт. Многие проекты, которые пилятся энтузиастами сейчас, потом сделают этих людей миллионерами через 5-10 лет.

Отвез джунов в живописное место. Нашли памятные места известных людей (цитата): Марина Цветкова, Белая Ахмадуллина, Пауковский. Также живописную Оку и богатую культурную жизнь. Вопрос к знатокам: угадайте место!

Когда придумано идеальное название для стартапа

ЧатГПТ 5.1 подтверждает что разницы с архитектурой данных никакой. Интересно, когда пинский комбинат догадается переименовать должность в Senior Pig Engineer для повышения престижа профессии. И тогда впреед к новым карьерным перспективам.

А можно я лучше в колбасный цех?

Увидел в Airflow одну очень прикольную фичу — Human-in-the-Loop операторы. Можно просто встроить человеческое подтверждение прямо в DAG. Работает это так: AI или любая задача что-то генерит → Airflow ставит паузу и ждёт решения → человек получает ссылку, жмёт approve/reject → пайплайн продолжает работу. Никаких кастомных сенсоров, костылей и блокировок воркеров — всё из коробки в 3.1. Очень удобная штука для тех, кто запускает AI в проде и хочет держать ручной контроль там, где это реально важно. @five_minutes_of_data

Во время запуска таких проектов на прод атеистов в компании нет 😇

👏 Вчера на TAdviser SummIT 2025 сразу два проекта VK Tech берут награды в номинации «Проект года». 🛢 ПАО Сургутнефтегаз Компания перешла на технологическую платформу на базе VK Private Cloud: запустила первые бизнес-приложения, выстраивает собственный центр компетенций и внедряет DevSecOps-подходы. Это модульное частное облако в ЦОДе заказчика — с надежностью, катастрофоустойчивостью и масштабированием под цифровые инициативы. 🏛 Федеральное казначейство «Электронный бюджет» ускорили за счет миграции неструктурированных объектов из реляционных баз данных в S3-совместимое хранилище VK Object Storage. В итоге получили –50% к отклику БД, 30–60% экономии пространства хранения, 5 миллиардов объектов в хранилище и +50 миллионов объектов каждую неделю. 🎉 Поздравляем команды и продолжаем делать проекты, которые двигают инфраструктуру страны вперед.

Там Яндекс рост облаков в 3 раза к 2030 году нашел. Пока же у нас нередки заказчики, у которых в ТЗ на облако написано требование каждый день предоставлять фотоотчет о состоянии их серверов. Многие не понимают как управлять ИТ инфраструктурой когда нет решетки, бирочек, ключиков и Яков Саныча с журналом доступа.

Впервые увидел себя в выдаче гугла 😎 А конкретно - эта статья на хабле

Грустная и поучительная история Очень много стартапов, основанных технарями, погибли от неуместного использования google scale решений. Обратная сторона гипер-доступности технологий.

В S3 папок нет! Не все понимают свойства и ограничения такого сервиса как S3. Все считают что это такая большая файлопомойка, к которой можно примонтировать все что нужно. Хоть Windows проводник. Но нет. В S3 даже файлов и папок нет. Вместо файлов - объекты, вместо папок - некоторым образом похожие ключи. Отсюда и то, что если ты прямо серьезно собрался работать с S3 на больших объемах и нагрузках (привет Лейкхаус и ML-at-Scale), то и подходы надо менять.

Не удивлюсь, если скоро при подаче книги в издательство или статьи в журнал будут спрашивать рукописный черновик ✍️

Как контент-фабрики убивают интернет 🌸 Каждый второй в IG — "эксперт" по контент-фабрикам и автоматизации. YouTube — завален тоннами "образовательного" контента и рыжими котами, которые вечно дерутся и беременеют. Проблема — не в том, что контент поверхностный. Проблема — он неправдивый. Когда образовательные ролики генерятся пачками без проверки фактов, это не просто засоряет платформы — это подрывает доверие к информации вообще. Эффект снежного кома: фейковая инфа попадает в обучающие датасеты и материалы для дипресёрча, потом в новый контент, и так по кругу. При этом экономика сломана так, что качество проигрывает количеству. Платформы поощряют объём (алгоритмы любят частоту постинга), а не глубину. YouTube не особо заинтересован банить слоп, пока он генерит просмотры и рекламные деньги. Генеративные тулзы могут быть черновиком для качественного контента, а могут быть финальным продуктом для быстрых денег. Разница — в ответственности создателя. Думаю мы движемся к расслоению. Будет "премиум-интернет" — курируемые платформы, проверенные источники, подписки — и "слоп-интернет" из автогенерации. Доступ к правде и качеству станет платным де-факто. Что делать? А черт его знает. Голосовать вниманием, например. Поддерживать создателей, которые не автоматизируют финал. Быть занудой и проверять факты. Если производите контент — нанимать людей для факт-чека и контролировать продакшн-качество. Ну или просто жить в лесу и трогать траву каждый день. 🥰

Посоветовавшись с голосами в голове GPT, стало понятно, что по правилам МАГАТЭ и Ростехнадзора подключать ЦОД к градирне или дизелям АЭС конечно же нельзя. Это может сказаться на работе самой станции и повлиять на ее безопасность. Контуры охлаждения, резерв питания и всего остального должны быть разделены, это правильно. Так что АЭС для ЦОД просто недорогая и стабильная розетка. Кроме того, как подсказали в коментах, у РосАтома есть проект арендных ЦОД atomdata. Но в Москве.

Пока все обсуждают датацентры в космосе, я удивляюсь, почему ЦОДы не строят вплотную к атомным станциям. Дешевая розетка - есть Градирня или пруд для охлаждения - есть Дизеля - есть РосАтом-ЦОД - идея-то рабочая.

Пополнение плейлиста Пополняем коллекцию полезных видео. 1️⃣ Запись 2-го эпизода «разговоров на архитекторском». С Олегом Королевым из Авито говорим о построении и развитии ИИ-платформ в крупном бизнесе. А также чем отличается витрина в КХД от МЛ фича-стора. За качество - извините, так вышло 🙂 2️⃣ Плейлист Лейкхауса пополнен записью демо с Алексеем Рыбаком. Приятного просмотра!