Inite Solutions | Channel

В мире, где каждый инженер знает о AWS S3 как о своих пяти пальцах, а Apache Kafka стал почти семейным словом (разработано в LinkedIn в 2011, если кто забыл), мы продолжаем радоваться технологическим новинкам. Например, Triplebyte позволяет выдающимся инженерам пропускать этапы отбора в таких компаниях, как Apple и Dropbox. Ну а если вы не знаете, кто такой Stanislav Kozlovski, то скорее подключайтесь к его Twitter и LinkedIn, ведь он не только коммитер Apache Kafka, но и человек, который явно знает толк в распределенных системах. А для тех, кто не представляет свою жизнь без разработки и хочет быть на гребне волне инноваций, есть масса предложений. Например, Kinsta ищет DevOps инженера, который поможет им держать инфраструктуру на острие технологий. Или можете присоединиться к команде Stream, которая разрабатывает API для новостных лент и активно набирает Devops и разработчиков на Python/Go в Амстердаме. Не упустите шанс стать частью чего-то большого, ведь ваша карьера может разгоняться не хуже серверов AWS!

В мире, где каждая клетка - это вселенная, а самые детализированные изображения человеческих клеток соревнуются с первым байтом RAM 1946 года и 5MB данных 1966 года, мы продолжаем удивляться технологическому прогрессу. Например, Cloudflare использует лавовые лампы для генерации криптографических ключей, что звучит как сюжет для научно-фантастического фильма, а не для реальной жизни. В то время как в стадионах фанаты спорта выражают свои эмоции, держа в руках плакаты и логотипы команд, дома они могут делать то же самое, используя эмодзи. А в Париже в 2008 году, когда Трэвис Каланик и Гарретт Кэмп не смогли поймать такси, родилась идея Uber. Так что, если вы думаете, что ваша идея слишком абсурдна, вспомните, как начинался Uber!

В мире, где каждый инженер знает о AWS S3 как о своих пяти пальцах, а Apache Kafka стал почти синонимом LinkedIn, неудивительно, что статьи о технологиях переписываются и перепечатываются быстрее, чем успевают обновляться новостные ленты. Например, статья Джоша Клемма о том, как однажды холодным вечером в Париже Трэвис Каланик и Гарретт Кэмп не смогли поймать такси, уже успела обрасти репостами и одобрениями. А ведь всё начиналось с обычной неудачи в поиске такси! С другой стороны, если вы мечтаете о карьере в IT и хотите прокачать свои навыки, то предложения о работе и обучении летят к вам, как спам-письма после случайного клика по сомнительной рекламе. Например, Kinsta ищет DevOps инженера, который поможет им оставаться на грани технологического прогресса, а Triplebyte предлагает инженерам пропустить стандартные этапы отбора в таких компаниях, как Apple и Dropbox. Ну а если вы всё ещё думаете, что ваша карьера в IT - это долгий марафон, то, возможно, пора ускориться до скорости света с помощью новых предложений и курсов.

Ах, вот и новая забава для регуляторов — предложение вертикально разделить облачные сервисы, как будто это старые добрые железные дороги, которым запретили возить грузы поверх пассажирских перевозок. Ну да, конечно, облака точно такие же, как поезда, только летают в виртуальном пространстве и перевозят байты, а не бабушек с сумками. Идея, мягко говоря, спорная. Разделение услуг облачных провайдеров на "основные" и "дополнительные" звучит как попытка устроить пикник на раздвижных дверях метро — теоретически возможно, практически бессмысленно. Представьте, что вам не разрешают использовать все блоки в наборе LEGO, потому что кто-то решил, что некоторые из них слишком "дополнительные". В итоге, вместо того чтобы строить замки и космические корабли, вы ограничены в выборе и творчестве. Так и с облачными сервисами: ограничьте их — и ограничите возможности разработчиков создавать качественные продукты. Но кто в здравом уме захочет возвращаться к эпохе, когда все делалось вручную? Ну, только если очень ностальгирует по дискетам и модемам с шумом похожим на крик птеродактиля.

В мире технологий всё меняется быстрее, чем успеваешь обновить свой смартфон. В 2008 году в холодном Париже Трэвис Каланик и Гарретт Кэмп не смогли поймать такси, что, собственно, и подтолкнуло их к созданию Uber. А вот в 2021 году инженеры уже возятся с квантовыми компьютерами IBM, пытаясь настроить энтанглмент. На стадионах фанаты машут плакатами, а дома – смайликами в чате. И если вы думали, что ваша подписка на Netflix – это что-то из ряда вон выходящее, то знайте, что IBM планирует к 2030 году получать 10% своих доходов именно от подписок. AWS S3, сервис, который научил мир хранить данные в холодильнике (ну, почти), продолжает держать марку, а Apache Kafka, разработанный в LinkedIn в 2011 году, стал одним из самых популярных проектов Apache. В общем, если вы ещё не в теме последних технологических трендов, самое время начать – и не забудьте, что всё это началось с невозможности поймать такси в Париже.

В мире, где каждый стремится быть на острие технологического прогресса, неудивительно, что даже обычные пользователи начинают разговаривать на языке облачных технологий. Например, облачные вычисления, которые позволяют нам хранить огромные объемы данных без необходимости покупать дорогостоящее оборудование. Это как волшебная палочка для стартапов и крупных компаний, которые хотят экономить на всем, кроме кофе для программистов. И вот, неожиданно, на сцену выходит серверное вычисление, которое обещает еще больше упростить жизнь разработчиков. Теперь они могут сосредоточиться на создании приложений, не беспокоясь о серверах, которые, кажется, ушли на пенсию вместе с дискетами и модемами. Это новая эра, где "сервер" становится почти мифическим существом, о котором будут рассказывать будущие поколения, как о легенде старого мира.

В мире системного дизайна появилась новая звезда - последовательное хэширование, которое обещает решить все ваши проблемы с динамической нагрузкой, как магическая палочка. Этот метод, использующий виртуальное кольцо (hash ring), позволяет минимизировать количество переназначений ключей при изменении количества узлов. Так что если ваш сервер вдруг решит "отдохнуть" (то есть упадет), не беспокойтесь: ваши данные благополучно "переползут" к соседу. И не думайте, что все так просто! При добавлении нового узла вам придется столкнуться с перераспределением данных, что, конечно, добавляет немного веселья в процесс управления кэшем. Но благодаря использованию виртуальных узлов, которые можно настроить под разную нагрузку, система становится более устойчивой к сбоям и обеспечивает лучшее балансирование нагрузки. Так что, готовьтесь к небольшому количеству математики и большому количеству улучшений в производительности вашей системы!

Ах, распределённые системы, эти вечные головные боли современных IT-специалистов! Вот вы думаете, что управление состоянием системы — это что-то из разряда фантастики? Нет, это скорее всего ваш новый лучший друг Apache Zookeeper, который, правда, любит играть в "одна точка отказа" и не особо дружит с масштабируемостью в больших системах. Но не стоит отчаиваться, ведь есть и другие ребята в этом дворе — например, госсип-протокол, который, как сплетни в офисе, распространяет информацию между узлами. Этот метод не только повышает доступность и масштабируемость, но и делает систему устойчивее к сбоям, потому что каждый узел — это маленький сплетник, который не может дождаться, чтобы поделиться новостями. И если вы думаете, что все способы передачи сообщений в распределённых системах скучны и однообразны, то вы явно не знакомы с разнообразием госсип-протоколов. От анти-энтропийных алгоритмов, которые усердно стараются снизить хаос в данных, до моделей слухов, которые забрасывают сеть сообщениями как подростки — мемами в соцсетях. И каждый из этих методов имеет свои особенности, требования к пропускной способности и задержкам, так что выбор метода распространения сообщений — это целое искусство, которое требует не только технических знаний, но и немного везения.

Ах, вот и новости из мира больших данных! Компания Meta, ранее известная как Facebook, рассказывает о своих приключениях с масштабированием Presto - SQL-движка, который, кажется, работает быстрее, чем новости о смене названия компании. За последние десять лет в Meta научились не только менять названия, но и масштабировать Presto до невиданных размеров. Используя сложные слова типа "автоматизация" и "балансировщики нагрузки", они добились того, что система теперь может обрабатывать запросы даже в самые напряженные часы пик. Как же они это делают? Всё просто (ну или не очень): каждый кластер Presto теперь стоит за балансировщиком нагрузки, который решает, куда направить очередной запрос от пользователя. А когда приходит время обновления, кластеры аккуратно "сливаются", чтобы пользователи даже не заметили, что где-то там, в недрах серверных, что-то меняется. И все это благодаря автоматизации, которая позволяет не только добавлять новые кластеры, но и избавляться от старых без лишнего головняка и потери данных. Ну не чудо ли?

В мире, где каждый стремится к мгновенному выражению своих эмоций, стадионы и спортивные арены уже не единственные места, где можно кричать в поддержку любимой команды. Теперь, благодаря эмодзи, каждый может выразить свои чувства прямо из уютного кресла дома. Не нужно мерзнуть на трибунах или толкаться в очереди за попкорном. Просто выбери подходящий смайлик, и вуаля – ты как бы там, но на самом деле здесь. И если вы думали, что это самое впечатляющее технологическое достижение последних лет, то вас ждет сюрприз. Ведь в 2008 году в холодном Париже Трэвис Каланик и Гарретт Кэмп не смогли поймать такси, что привело к созданию Uber. Так что, если следующий раз вы не найдете свободное такси, просто помните, что это может быть началом вашей миллиардной бизнес-идеи.

Ах, Swedbank и их недавний казус с IT-системами, который обошелся им в кругленькую сумму в 85 миллионов долларов. В апреле 2022 года банк решил внести изменения в IT-системы без одобрения, что привело к тому, что почти миллион клиентов остались с некорректными балансами и не могли совершать платежи. Шведское финансовое управление (FSA) не оценило такой подход и наложило штраф. Но что интересно, вместо отзыва лицензии или предупреждения, регулятор ограничился замечанием и административным штрафом. Ну не красота ли? И вот тут на сцену выходит вопрос о том, насколько эффективны традиционные методы управления изменениями в IT. Ведь, как показывает практика и исследования, большинство изменений все равно проходят одобрение, даже если они не всегда безопасны и надежны. Все эти советы по согласованию изменений (CAB) и внешние утверждения, похоже, работают не лучше отсутствия процесса утверждения вовсе. Но зато как замечательно они замедляют работу! Итак, если вы не хотите платить штрафы и при этом снизить вероятность инцидентов, возможно, стоит задуматься о более частых и менее рискованных изменениях. Ну и конечно, не забывайте про мониторинг в реальном времени, чтобы не пропустить незадокументированные изменения.

В мире системного дизайна наступила эра кольцевых цирков, и главные артисты здесь — не клоуны, а узлы и данные. Представьте себе, что каждый узел и каждый ключ данных — это артисты, которые должны найти своё место на огромном круге, который называется хеш-кольцом. И каждый раз, когда в систему добавляется новый узел или один из узлов выходит из строя (похоже на сценарий драматического сериала), начинается перетасовка, которая напоминает музыкальные стулья. Но вместо того чтобы просто сесть на ближайший стул, данные перемещаются к соседнему узлу по часовой стрелке. И чтобы сделать всё это ещё более занимательным, в игру вступают виртуальные узлы. Это как дублёры в кино: один узел может иметь несколько ролей на хеш-кольце, что помогает равномерно распределить нагрузку и избежать создания "горячих точек", которые могут привести к сбою системы. И если вы думали, что ваша работа сложна, представьте, как чувствует себя бинарное дерево поиска, которое должно управлять всеми этими позициями на хеш-кольце, обеспечивая быстрый поиск, вставку и удаление данных. Вот это да, системный дизайн не для слабонервных!

Ах, распределённые системы, эти вечные головные боли современных IT-специалистов! Вот вы думаете, что управление состоянием — это что-то из разряда рутинной задачи? Но нет, здесь на помощь приходит Apache Zookeeper, который, как верный страж, следит за каждым узлом в системе. Правда, есть один маленький нюанс: если Zookeeper упадёт, то вместе с ним рухнет вся система. Ну а что, маленький риск для большой компании, правда? И если вам не по душе играть в русскую рулетку с Zookeeper, то добро пожаловать в мир gossip-протоколов, где каждый узел системы сплетничает с другими, как бабушки на скамейке. Эти протоколы не только обеспечивают высокую доступность и масштабируемость, но и позволяют системе выживать в самых непредсказуемых ситуациях, распространяя информацию так же быстро, как слухи о новом сезоне любимого сериала.

В мире облачных технологий AWS S3 занимает место старожила, который все еще умудряется быть на переднем крае инноваций. Запущенный в далеком 2006 году, этот сервис не только научил мир хранить данные "на холоде", но и продолжает радовать нас своими обновлениями. Например, внедрение ShardStore, написанное на Rust всего лишь в 40 тысяч строк кода, показывает, что даже старички могут быть модными и технологичными. И несмотря на то, что жесткие диски, которые S3 использует, далеко не идеальны (ограничены по IOPS и имеют высокую задержку), сервис находит способы обойти эти ограничения, используя параллелизм и кодирование с избыточностью. Кто бы мог подумать, что система, построенная на миллионах жестких дисков, может быть такой гибкой? AWS S3 доказывает, что даже в мире высоких технологий есть место для старой доброй инженерной изобретательности. И если вы думали, что ваша 3,7-петабайтная корзина S3 — это что-то из ряда вон выходящее, представьте, что для обработки 2,3 миллиона операций в секунду потребуется более 19 тысяч дисков. Это как маленький город, полностью посвященный хранению ваших данных!

Ах, вот и новости из мира больших данных! Компания Meta, которая, как известно, никогда не стоит на месте, решила поделиться своим десятилетним опытом масштабирования Presto — свободного SQL-запросного движка. Итак, что же мы узнали из этого опыта? Во-первых, если вы хотите, чтобы ваша система работала как швейцарские часы, забудьте о ручном управлении. В Meta все автоматизировано: от развертывания новых кластеров до их декомиссии. Ведь кто в наше время будет вручную настраивать сервера? Только не мы! Второй момент — это надежность и доступность. Каждый кластер Presto защищен от сбоев благодаря умной системе балансировки нагрузки. И если вдруг один из кластеров решит взять паузу, система автоматически перенаправит запросы на другие, не дав пользователю даже заметить проблему. И все это благодаря чуду инженерной мысли, которое называется Gateway. Ну а если вдруг что-то и пойдет не так, то на помощь придут анализаторы, которые не только быстро найдут причину неполадок, но и предложат готовое решение. В общем, живем в эпоху, когда даже SQL-запросы у нас под защитой!

В апреле 2022 года Swedbank устроил своим клиентам незапланированный тест на стресс, случайно "потеряв" их деньги из-за неподтверждённых изменений в IT-системах. Почти миллион пользователей оказались с некорректными балансами, и многие не смогли провести свои платежи. Шведский финансовый регулятор, не особо впечатлившись креативностью банка, оштрафовал его на 85 миллионов долларов. Видимо, в Swedbank решили, что стандартные процедуры управления изменениями - это так, рекомендации для особо педантичных. Интересно, что исследования показывают: чем чаще и мельче изменения, тем меньше шансов на косяки. Но нет, классика жанра - большие и редкие апдейты, которые в итоге могут привести к катастрофе. В Swedbank, видимо, решили проверить эту теорию на практике, и она сработала, как часы. Так что если ваш банк вдруг начнёт учить вас жизни, переводя деньги в никуда, не удивляйтесь. Просто технологии меняются, а методы управления рисками в некоторых местах остаются в прошлом веке.

Ах, Uber, ты как вино - с годами только лучше! Началось всё с несчастной парижской ночи 2008 года, когда два друга не смогли поймать такси. Вот так, из банальной неудачи, родилась идея сервиса, который теперь знает весь мир. Сначала был простой LAMP стек и код на испанском, а теперь? О, это уже целая империя с микросервисами, Node.js, Python и кучей других технологий. И все это ради того, чтобы мы могли лениво нажимать кнопку в приложении и ждать, когда к нам подъедет авто. И если вы думаете, что на этом развитие остановилось, то глубоко ошибаетесь. Uber продолжает эволюционировать, разделяя свои монолитные системы на сотни микросервисов, каждый из которых отвечает за свою узкоспециализированную задачу. От решения проблем с производительностью одной большой базы данных до создания Schemaless для хранения данных о поездках и Cassandra для других нужд. И всё это для того, чтобы в один прекрасный Хэллоуин Uber не превратился в тыкву под напором запросов. Ну не чудо ли?

В мире, где каждый эмодзи на счету, команда Hotstar приняла смелое решение отказаться от услуг третьих лиц и создать свою собственную систему обработки миллиардов эмоций фанатов крикета. Используя Kafka и собственную платформу данных Knol, они обеспечили низкую задержку и высокую пропускную способность, чтобы каждый мог мгновенно поделиться своими чувствами во время матчей. И не просто поделиться, а сделать это так, чтобы сервера не упали под тяжестью бесконечных "🏏" и "👏". Казалось бы, задача проста: собрать эмодзи, отправить в Kafka, обработать в Spark и выдать обратно в реальном времени. Но нет, каждый шаг таит в себе инженерные вызовы, достойные настоящих героев backend-разработки. И вот теперь, когда система работает как часы, можно не только радоваться за каждый удар биты Dhoni, но и голосовать в реалити-шоу, не выходя из приложения. Hotstar делает ставку на интерактивность, и пока что это выглядит как ставка выигрышная.

В мире IT есть свои рок-звёзды, и одной из таких звёзд является Apache Kafka, разработанная в недрах LinkedIn в 2011 году. Эта система, которая, к слову, уже успела порадовать нас 24 релизами, стала настоящим спасением для тех, кто столкнулся с проблемами масштабирования распределённых систем. Kafka - это не просто платформа для потоковой передачи данных, это центральная нервная система компании, где данные не только хранятся, но и трансформируются, и потом потребляются другими системами. И всё это благодаря миллионам сообщений в секунду и терабайтам хранимой информации. Как же Kafka справляется с такими объёмами? Всё дело в логах, этих простых упорядоченных структурах, которые записывают данные последовательно и оптимизированы под HDD (да, те самые, которые в вашем старом компьютере). Эти логи не только быстры, но и удивительно дешёвы в обслуживании благодаря тому, что основные операции - это последовательное чтение и запись. И если вы думали, что ваш старый HDD медленный, то Kafka доказывает обратное, используя его на полную катушку. Ну и конечно, не забудем про замечательные оптимизации на уровне операционной системы, которые позволяют Kafka работать ещё быстрее и эффективнее.

Ах, вот оно что, мучения с поиском потерянных файлов в цифровых недрах могут быть оставлены в прошлом! В 2024 году нас ждёт целая плеяда программ для организации файлов, которые обещают сделать нашу жизнь проще, а рабочие столы — чище. Например, ClickUp не только поможет систематизировать проектные файлы, но и умеет искать нужное по всему пространству вашего рабочего места. А если вам надоело вечно что-то искать, то OneDrive и Abelssoft предложат вам свои решения для организации файлов, где каждый сможет найти своё место в строгом порядке, заданном вашими железными правилами. Не остаются в стороне и другие гиганты. Google Drive и Dropbox продолжают радовать функционалом для совместной работы, а Tabbles предлагает уникальную систему тегирования файлов, что особенно удобно для тех, кто любит всё систематизировать до мелочей. И если вы всё ещё думаете, что управление файлами — это скучно, то попробуйте один из этих инструментов, и вы увидите, как ваш рабочий процесс преобразится!