Avito Data Tech

Как мы построили S3-шардирование без дополнительной инфраструктуры? Чтобы ответить на этот вопрос, мало просто оставить вам ссылку на статью 🤓 Лучше приходите на выступление нашего Big Data Engineer Дмитрия Листвина на SmartData 24 сентября в 12:15 и узнайте: ✨ Из чего состоит аналитическое хранилище в Авито; ✨ Где живет логика шардирования в новом решении; ✨ Как мы писали и тестирование решение; ✨ И что по итогам получили. Подробности о докладе по ссылке.

Мы Ивану Григорьевичу не завидуем… Потому что тоже идем на Avito.Tech.Conf 🏃‍♀️ Забирайте свой билет по ссылке и приходите 26 сентября не только за докладами и воркшопами, но и за общением в кругу своих, новыми знакомствами, тимлид-«техосмотром», бильярдом и редкими лотами с Авито (внезапно). Вся программа — на сайте 🤩 #tl #backend #frontend #devops

Просто хотели напомнить, что уже 20 сентября форма для подачи заявки на DS Bootcamp закроется 🔥 Если хотели попробовать себя в классическом ML, NLP и LLM, CV уже в следующем году вырасти до мидла, оставляйте заявку по ссылке. #ds #ml

Разработка MCP — это почти половина расхода токенов и четверть успеха JTBD ⚡️ Как небольшая команда Алексея Пахомова смогла массово запустить MCP для продуктовых команд, какие классы рисков принимала на старте и как была устроена архитектура — рассказали в карточках ⬆️ А полную версию доклада ищите по ссылке! #ai #analytics

🎨🎨🎨🎨🎨🎨🎨 С чего всё начиналось? С Нео из «Матрицы»? С пиксельного раннера на Денди? С разобранной микросхемы и паяльника? А может с журнала «Хакер»? Или школьного урока информатики? Каждый из нас помнит этот момент, когда технологии зацепили. И вот ты уже разработчик, архитектор, тестировщик — инженер, который делает крутые продукты для тысяч пользователей. И отмечает свой праздник каждый 256 день года.

В честь наступающего Дня разработчика вместе со студией FU2RE и 3D-художником Dmitriev Video создали большой портал в прошлое — эмулятор 2006 года будущего разработчика. Внутри — олдскульные игры и викторины, за которые можно лутать баллы и подниматься в рейтинге.

🔸Топ-3 игрокам подарим суперпак настоящих разрабов, внутри которого салфетка на монитор из нашей коллаборации с Elnik, плед, сумка и плюшевый кот Б/У. С наступающим всех 🚀 P.S. Эмулятор реально олдскульный. Поэтому для старта тапните по экрану и не забывайте кликать на иконки игр два раза на десктопной версии. Если вдруг найдёте баги, тоже пишите. Катим в прод в пятницу, как никак 👀 #tl #backend #frontend #devops

Доклады на Avito.Tech.Conf послушали, круто понетворкали в интерактивных зонах, а теперь на воркшопы! 🚀 Собрали их полный список в карточках. Ждём всех, кто управляет сложным, уже 26 сентября. Не забывайте зарегистрироваться, осталось совсем немного мест. #tl #backend #frontend #devops #analytics #ml

Хорошая новость для тех, кто хочет начать свой путь в DS — коллеги открыли набор на 12-месячный DS Bootcamp 🤩 По-классике, ждут тех, кто:

✏️ Учиться на 2-4 курсе бакалавриата, в магистратуре или на специалитете или уже получил диплом по технической, математической или ИТ-специальности; ✏️ Готов работать от 30 часов в неделю; ✏️ Владеет Python и библиотеками PyTorch, Pandas, sklearn, CatBoost; ✏️ Умеет применять ML-алгоритмы и архитектуры моделей для решения задач; ✏️ Знает, как использовать Git и писать SQL-запросы.

Остальные подробности программы ищите по ссылке. И лучше поспешить с решением — дедлайн по подаче заявки уже 20 сентября. #ds #ml

Всем привет! Меня зовут Марк Нефёдов, я Big Data Engineer в Авито. Недавно мы столкнулись с проблемой: часть данных обязана лежать 3+ года по требованиям законодательства, но читается единицами запросов в месяц. При этом она занимает место на дорогих локальных SSD боевого PostgreSQL наравне с горячими данными. В статье кратко рассказываю, как мы придумали решение, которое сэкономило нам ресурсы для хранения таких данных 📎 #dwh

У меня день рождения????? #infosec #architecture #frontend #backend

Какая она — лучшая IT-компания для работы? 👀 Хабр и ЭКОПСИ начали своё ежегодное исследование IT-работодателей, по итогам которого составят их рейтинг. Проголосовать может каждый — сам процесс простой и займёт всего 5-7 минут. 🔸 Расскажите про свою лучшую IT-компанию 🔸 В прошлом году в исследовании участвовали 34 000 специалистов, 90% из них — middle и выше. Если хотите узнать подробнее, то можно прочитать эту хабр-статью . P.S. Для нас это тоже важное исследование — по нему мы понимаем, как видят нашу команду в комьюнити. Пока полёт нормальный — уже второй год мы в топе-3. Спасибо, что смотрим с вами в одном направлении 💜 #analytics #ds #dba #ml #ai

Мы практически избавились от сетевых эффектов при тестировании алгоритмов ранжирования объявлений 😎 Наше решение — интерливинг. Подробнее о том, как это работает, рассказали в карточках ⬆️ #analytics

Продолжаем говорить про то, как LLM меняют принципы проектирования API и архитектуры систем 👀 Если ещё не читали первую часть статьи — вам в реплай ⬆️ В этой же части Дмитрий Бондарев рассказал: 🔸 Как МСР решает проблемы интеграции с LLM и создаёт новые возможности; 🔸 Как нужно изменить мышление, чтобы соответствовать реалиям рынка и нуждам бизнеса; 🔸 Когда имеет смысл применять агентов. ➡️ Читаем по ссылке #ml #backend

Только ленивый не написал о том, что скоро всех нас заменит ИИ 🤓 Дмитрий Бондарев же, backend-разработчик, решил посмотреть на этот вопрос с более технической стороны и поговорить о существующих методах интеграции и (якобы) неизбежном использовании ИИ-агентов в бизнесе. Как выглядит история эволюции API, что изменилось с появлением LLM-агентов какие сейчас существуют ограничения в методах интеграции с LLM — читаем в первой части статьи 🏃‍♀️ #ml #backend

Как мы строим ML-платформу на базе Kubeflow? 👀 Антон Алексеев, MLOps-инженер, разложил весь путь команды по полочкам, а мы собрали его в карточках выше ⬆️ ⬇️ В комментариях ждем ваш личный опыт: какой порядок этапов был у вас? P.S. Кстати, у Антона есть свой телеграм-канал, где еще больше про инфраструктуру для ML. Например, там можно прочитать, как мы докручивали опенсорс решения и контрибьютили их в опенсорс. #ml

Как мы строим ML-платформу на базе Kubeflow? 👀 Антон Алексеев, MLOps-инженер, разложил весь путь команды по полочкам, а мы собрали его в карточках выше ⬆️ В комментариях ждем ваш личный опыт: какой порядок этапов был у вас? P.S. Кстати, у Антона есть свой телеграм-канал, где еще больше про инфраструктуру для ML. Например, там можно прочитать, как мы докручивали опенсорс решения и контрибьютили их в опенсорс. #ml

Очередной классный анонс! На этот раз Avito.Tech.Conf 🔥 Встречаемся нашим уютным комьюнити руководителей и лидов 26 сентября в AG Loft в Москве, чтобы: 🔸 Обсудить AI и менеджмент в новом контексте, честные провалы на пути к C-level и управление в условиях ограниченных ресурсов; 🔸 Переключиться и отдохнуть в максимально продуманных и разнообразных зонах; 🔸 Наконец встретиться со старыми и обрести новых знакомых из «своих». Регистрация уже открыта тут. Рекомендуем подать заявку уже сейчас, пока есть места. #tl #backend #frontend #devops #analytics

🚀 Запускаем Fast Track для Senior и Senior+ Data Science специалистов Ждём вас, если у вас есть опыт от 4 лет в DS и полный цикл от ресёрча до прод-раскатки. А взамен предлагаем: 🔸 Команды: антифрод и модерация, монетизация, поиск и рекомендации, вертикальные DS-команды 🔸 Офисы в 6 городах или удалёнка — жить можно где угодно 🔸 Результат закрепляется на год — даже если пока не готов менять работу, есть смысл попробовать и оценить свой уровень 20-26 июля пройдите все этапы отбора в ускоренном формате и получите оффер всего за неделю. Регистрация открыта до 20 июля. Узнать подробности и заполнить анкету можно по ссылке. #ds

Последний шанс вписаться на HoneyBadger онлайн-CTF 🧑‍💻 Просто напоминаем, что уже 18 июля в 12:00 начнём борьбу за призовой фонд до 300 000 рублей и эксклюзивный мерч. Все подробности здесь ➡️ #qa #infosec #sre #backend #frontend