Dodo Engineering

🚨 У нас сегодня развалилась к херам Dodo IS! Прием заказа превратился в тыкву, мы не смогли обслужить пуши, мы не смогли обслужить акции и в итоге клиенты часа испытывали проблемы в самый пиковый день. У нас за вечер: * DDoS на 2.8млн запросов в минуту. * Пуши, которые свалили мобильное приложение, а затем и сайт. * Наш плохой релиз, который непонятно как сломал центр системы. * Сломался мониторинг раза 3-4 за вечер. * Дикая нагрузка на базу. Все эти ошибки умножали эффект друг на друга. Этим падением мы фактически уронили наш уровень сервиса, который должны держать. Когда мы роняем SL, мы останавливаем релизы и переключаемся на технические работы! Такие падения означают что мы сделали перекос в сторону фичей и недостаточно внимания уделяли нагрузке и качеству решений. Что мы обычно делаем в такой ситуации? По сути наш конвеер не работает и нам надо остановить релизы. Когда ты нарушаешь SL, это означает что ты делаешь слишком большой перекос в сторону фичей. С понедельника будет 2 важных изменения в работе команд Dodo IS. * Мы останавливаем продуктовые релизы, касающиеся приема заказа до восстановления к уровню SLO. В релиз пойдут только фиксы и технические улучшения системы * Команды Ordering и CVM Евразии останавливают свою работу и переключаются в обязательном порядке на технические работы по восстановлению уровня сервиса. Помимо них другие команды так же будут вовлечены – инженеры инфраструктуры, команда нагрузки, по мере необходимости мы будем переключать и другие команды в помощь. Адский феил с нашей стороны. Будем рассказывать о нем и пост-мортем сделаем публичным.

«В сентябре 2019 года, на выходных, мы культурно выпивали всем Dodo Engineering на турбазе под Владимиром. В это время облачный провайдер обновил минорную версию MySQL». 23 сентября на Saint HighLoad++ Олег Блохин расскажет историю о последствиях и инженерных решениях, сдобренную анекдотами из жизни в облаке. Если вы мечтаете об облаках, но никогда в них не жили — приходите послушать, как бывает. В рамках одной продолжительной истории переезда базы на managed-решение разберём, какие подводные камни, детские болезни и неприятные проблемы случаются. Смотреть будем на примере MySQL, но большая часть ситуаций не связана с конкретной базой данных и с базами данных вообще. 18:00, зал 06, Зелёный. До встречи!

Просто хотим показать немножко красоты от участников конкурса Додо Пицца в Майнкрафте. За 5 недель построили больше 3 тысяч пиццерий. Вот бы уже такие по-настоящему появились в этом мире! Посмотреть все можно в конкурсном треде в ВК.

Друзья, с 6 по 8 октября в Красной Поляне пройдёт South Hub — кэмп для СТО и тех, кто хочет ими стать. Событие топовое как минимум потому, что частично проводится на высоте 2200 метров над уровнем моря. А главное — там соберутся руководители, СТО и СЕО из IT и продуктовой разработки многих известных вам компаний. Они поделятся своим опытом и идеями о развитии отрасли в формате кейсов и fulltime-нетворкинга. Программа насыщенная, за 3 дня планируют обсудить: ▪️ кого в IT берут в C-level, а кого — нет; ▪️ как руководителям из IT говорить с бизнесом на одном языке; ▪️ что мотивирует инвесторов из БРИКС вкладываться в российскую разработку; ▪️ как привлекать и удерживать таланты, если ты стартап или корпорация; ▪️ как быть эффективным в условиях ограниченных ресурсов; ▪️ как адаптироваться в условиях турбулентности и постоянных изменений в индустрии. 🎙Среди спикеров — наш CEO Саша Андронов. У него одна из самых ожидаемых тем кэмпа – про переход из роли CTO в CEO! Саша расскажет, в чём разница между этими ролями, как перестать принимать технические решения и начать принимать бизнесовые. Расписание, стоимость билетов и другие подробности — здесь. 🤝А ещё на конференции будут наши СТО Паша Притчин, PO Антон Оникийчук и техлид Аня Морозова. Ребята будут рады познакомиться, пообщаться и обменяться опытом.

С 256-м днём в году, друзья-программисты!

Вы помните момент, когда впервые услышали, что Додо Пицца – это про IT? Как появились первые статьи на Хабре, стенд на DotNext, чат с нашими разработчиками? А когда-нибудь задумывались, что стоит за рождением IT—бренда? Точнее, не что, а кто? Ну, помимо самих разработчиков? Внимательный читатель уже догадался, к чему мы ведём: 17 сентября Вероника Ильина выступает на конференции GeekRel. Она расскажет, как у нас появился DevRel, чем занимался, сколько трансформаций пережил и как выглядит сейчас (мы считаем, что выглядит красиво). Кстати, в зале будет почти вся наша DevRel-команда — будем рады познакомиться и пообщаться лично. И вторая крутая новость: 21 сентября на онлайн-конференции «Психология в IT» будет ещё один доклад Вероники. Но уже о том, как заметить близящийся факап своего лида и спасти от него себя и того парня самого лида. Всё по-честному, без обмана и основано на реальных событиях. Ждём встречи на конференциях!

Поздравляем всех причастных с днём тестировщика! Пусть багов будет поменьше, а качества и настроенных процессов — побольше! И делимся подборкой статей и докладов, как у нас самих идут дела с тестами и процессами. Enjoy! — Про культуру, процессы и межкомандное взаимодействие — Тест-ревью: как прошли два года написания unit-тестов — TDD в мобильной разработке — Как мы тестируем сервисы, чтобы релизить их не глядя

Нам в Dodo важно помогать другим людям и делать мир вокруг чуточку дружелюбнее: через доступность приложений, через благотворительность. С каждого купленного гостями стаканчика кофе в Додо Пицце мы передаём 1 рубль в фонд «Старшие Братья Старшие Сёстры». Фонд подбирает и обучает волонтёров-наставников, которые помогают ребятам из детских домов, интернатов и кризисных семей социализироваться и подготовиться к самостоятельной жизни. На этой неделе Иван Тихов, управляющий директор Додо Пиццы в России, Казахстане и Беларуси, участвует в благотворительном аукционе MeetForCharity. С ним можно встретиться лично, а ставка, заплаченная за встречу, отправится в фонд. Встретиться можно за обедом, прогулкой или в офисе и обсудить самые разные вопросы: про жизнь, бизнес, менеджмент и не только. Кстати, когда-то давно Иван был продактом в разработке и наверняка ему есть что рассказать про свой карьерный путь. Аукцион продлится до понедельника, 12 сентября, а больше подробностей можно узнать в канале Додо Пицца. Бизнес.

Про сбои Dodo IS 1 сентября рассказывает Паша Притчин, наш СТО. Сбой 1. Более 10 минут были недоступны сервисы Менеджер смены (МС) и Менеджер офиса (МО) Причина Оба сервиса находятся в монолите вместе с другими суперкритичными сервисами для бизнеса: кассами, печатью чеков и частями приёма заказа. Все они обращаются к одной базе данных. Она ни в коем случае не должна падать от большого количества запросов, иначе мы просто не сможем принять заказы, а чеки не распечатаются. Для части некритичных сервисов мы используем подход bulkhead: устанавливаем лимит запросов к БД. Таким образом регулируется нагрузка, БД выдерживает и продолжает обслуживать другие сервисы. Когда МС и МО достигли предельной нагрузки, им сама система запретила ходить в базу. Как починили Быстрое решение — увеличить лимиты. Это помогло пережить пик в моменте. Системное решение — оптимизировать запросы в сервисах, а ещё лучше — отпилить их от монолита, чтобы каждый ходил в свою базу.

Новый рекорд — 614 заказов в минуту! Праздничные дни для нас всегда жаркие, даже в мороз. Пока в ресторанах готовят тонны пиццы, наша команда внимательно смотрит на графики и следит за работой Dodo IS. 1 сентября мы традиционно устанавливаем новые рекорды. И вот новый пик — 614 заказов в минуту в Додо Пицце в России! Это почти в полтора раза больше, чем в прошлом году. Ура! И что, даже ни разу ни один сервис не упал вчера? Да упал, конечно же, и даже не один. Но давайте сегодня просто порадуемся, а про упавшие сервисы мы напишем уже на следующей неделе. Хороших выходных и вкусной пиццы!

1 сентября — День знаний. Думаем, это хороший день, чтобы поделиться какими-нибудь знаниями с вами. Например, знаниями о телеграм-каналах которые ребята из Dodo Engineering ведут самостоятельно. Они классные, правда! Вот, смотрите сами: 99 developers — канал Саши Андронова, СЕО Dodo Engineering, с его мыслями о том, как создавать глобальные продукты и команды. Продуктовая антихрупкость — канал Саши Столярова, менеджера продуктов в Dodо. Он делится рассуждениями о том, что такое антихрупкость в разных аспектах работы над продуктом. Автостопом по аналитике — канал Али Арининой, продуктового аналитика, про — вы не поверите! — аналитику, жизнь, пиццу и грабли. Dodo Mobile (хотя мы уверены на 99%, что вы про него знаете, но всё же) — канал, в котором Миша Рубанов, Head of Mobile, рассказывает всё про мобильную разработку в Dodo. Подписывайтесь на любой или сразу на все, чтобы узнавать ещё больше!

SRE — это поиск общего языка между бизнесом и инженерией Олег Блохин, лидер инфраструктурной команды Dodo Engineering, побывал в гостях у Антона Скобина, коммерческого директора Слёрма и ведущего подкаста «Манул Слёрма». В диалоге они попробовали разобраться, когда компании нужен SRE, а когда без него можно обойтись. Поговорили о практиках и ежедневной рутине SRE в Dodo, чем занимается лидер и сама команда, с чего нужно начинать строить систему «пяти девяток. Немного затронули тему обучения и развития: Олег рассказал о своих ожиданиях от интенсива по SRE и в чём видит его ценность для своей команды. 🎧 Послушать на Яндекс.Музыке ▶️ Послушать на ютуб-канале

Блокировки и удаление приложений из App Store, прекращение прямых поставок новой техники — к чему всё это приведёт в ближайшем будущем? Надо ли пугаться и переучиваться программировать под другие OS? Роман Бусыгин, наш iOS-разработчик, вместе с Денисом Визигиным из Live Typing и Ильёй Евсеевым из Яндекс Go поделились своими мыслями на этот счёт. Читать 3 минуты

Ключевая идея в концепции Дринкита — гостю легко и приятно заказывать любимый напиток в приложении хоть несколько раз в день. Виртуальная витрина должна быть привлекательной, а процесс заказа — супер-быстрым. Оплату мы ускоряли разными способами. Сначала сделали кнопку прямо в меню, потом переделали её на слайдер. Процесс оказался необычным с разных сторон и достойным отдельной статьи. Рассказываем, какие проблемы были с кнопкой, как проектировали, зачем добавили вибрации и как с ними работать, в каком контексте живёт слайдер и о чём со стороны доступности надо подумать, чтобы сделать его удобным для всех.

SRE в Dodo появились не за один день. Несколько лет мы шли от «что-то где-то сломалось, об этом как-то узнали и это что-то починили» к внедрению SRE-подхода и автоматизации работы с инцидентами. Весной эту историю рассказывал Сергей Бухаров на HighLoad++, делимся с вами записью его доклада. Некоторые практики удалось внедрить в чистом виде, что-то пришлось адаптировать под нашу специфику, но всегда можно узнать больше и сделать лучше. Ребята в SRE-команде не перестают учиться чему-то новому и уже в октябре пойдут на интенсив «Слёрма». На курсе будут опытные спикеры, интересные кейсы и полное погружение в SRE. И, конечно, нетворкинг. Ведь учиться вместе — бесценно, для всего остального есть 💳

Пару месяцев назад мы делились заметками о том, как проходит эксперимент по проверке гипотезы за 3 дня. Главной целью было проверить сам формат дизайн-спринта и понять, можно ли его и дальше использовать в работе (спойлер — можно!). Для этого команда адаптировала фреймворк из книги Sprint: How to solve big problems and test new ideas in just 5 days. Все подробности, грабли и инсайты собрали в большую статью и опубликовали на Хабре. Читайте, добавляйте в избранное — бонусом в комментариях уже предлагают годные варианты, как ещё можно было бы быстро проверить гипотезу.

Хотите знать больше про бизнесовую часть Додо? Обычно в этом канале мы делимся технокишками из разных частей Dodo IS, рассказываем, как устроены наши процессы и изредка показываем собак. А вдруг ваши интересы шире, и вы хотите понять наш бизнес целиком? На прошлой неделе у нас прошел десятый Съезд Додо — ежегодное событие, где лидеры из бизнеса рассказывают про итоги и то, как мы дальше будем строить глобальную компанию вместе с нашими клиентами, сотрудниками, партнёрами и поставщиками. Я просто оставлю эти ссылки на топовые выступления здесь, а вы, пожалуйста, поделитесь фидбеком, интересно ли вам такое, заносить ли в канал подобный контент или оставить всё как раньше. ▪️Федор Овчинников, CEO и основатель компании: Dodo Brands — ключевые результаты и будущее компании. ▪️Иван Тихов, СЕО «Додо Пицца» Евразия: Додо Пицца Евразия — цели, стратегия, смыслы. ▪️Дмитрий Соловьев, финансовый директор Dodo Brands: Экономика в кризисе: выживать или развиваться? ▪️Николай Писков, лидер бизнес-девелопмента «Додо Пицца» Евразия: Качество. Игра по правилам/Fair play. ▪️Надя Башмакова, лидер HR «Додо Пицца» Евразия: Люди — это главное. ▪️Макс Федоров, директор по маркетингу «Додо Пицца» Евразия: Продолжаем расти. ▪️Илья Зомба, лидер международной франшизы: Итоги года и планы на будущее. ▪️Виталий Калинин и Анна Калмыкова: концепция и планы развития «‎Дринкит». ▪️Октавиан Низамов, CEO «Донер 42»: Донер 42 — курс на рост.

Ведущим подкаста «Куда катится мир» стало интересно, что стоит за платформой Dodo IS. В чём её главная задача? Сколько заказов в день через неё проходит? Как в условиях быстрого роста принимаются решения, что добавлять в платформу, а что нет? А сколько денег инвестируется в развитие? Можно ли сравнивать наш IT-продукт с Теслой? Есть ли нам что противопоставить зарубежным конкурентам? И вообще, какое будущее ждёт Dodo IS? А кто сможет ответить на эти вопросы лучше, чем наш СЕО Саша Андронов — человек, который стоял у истоков Dodo IS? И вот что он рассказал... 🎧 Слушайте на Яндекс.Музыке 📺 Смотрите на ютуб-канале

Тру сисадмины в канале есть? С праздником вас! Ровного пинга, стабильного линка, и да пребудет с вами святой Reboot! Админь!