Avito Data Tech
Open in Telegram
Эксперты Авито делятся опытом развития аналитической платформы. Будет полезно для инженеров, аналитиков и тимлидов в сфере Big Data.
Show more4 134
Subscribers
+124 hours
+37 days
+5930 days
Posts Archive
4 134
Хорошая новость для тех, кто хочет начать свой путь в DS — коллеги открыли набор на 12-месячный DS Bootcamp 🤩
По-классике, ждут тех, кто:
✏️ Учиться на 2-4 курсе бакалавриата, в магистратуре или на специалитете или уже получил диплом по технической, математической или ИТ-специальности; ✏️ Готов работать от 30 часов в неделю; ✏️ Владеет Python и библиотеками PyTorch, Pandas, sklearn, CatBoost; ✏️ Умеет применять ML-алгоритмы и архитектуры моделей для решения задач; ✏️ Знает, как использовать Git и писать SQL-запросы.Остальные подробности программы ищите по ссылке. И лучше поспешить с решением — дедлайн по подаче заявки уже 20 сентября. #ds #ml
4 134
Всем привет! Меня зовут Марк Нефёдов, я Big Data Engineer в Авито.
Недавно мы столкнулись с проблемой: часть данных обязана лежать 3+ года по требованиям законодательства, но читается единицами запросов в месяц. При этом она занимает место на дорогих локальных SSD боевого
PostgreSQL наравне с горячими данными.
В статье кратко рассказываю, как мы придумали решение, которое сэкономило нам ресурсы для хранения таких данных 📎
#dwh
4 134
Какая она — лучшая IT-компания для работы? 👀
Хабр и ЭКОПСИ начали своё ежегодное исследование IT-работодателей, по итогам которого составят их рейтинг. Проголосовать может каждый — сам процесс простой и займёт всего 5-7 минут.
🔸 Расскажите про свою лучшую IT-компанию 🔸
В прошлом году в исследовании участвовали 34 000 специалистов, 90% из них — middle и выше. Если хотите узнать подробнее, то можно прочитать эту хабр-статью .
P.S. Для нас это тоже важное исследование — по нему мы понимаем, как видят нашу команду в комьюнити. Пока полёт нормальный — уже второй год мы в топе-3. Спасибо, что смотрим с вами в одном направлении 💜
#analytics #ds #dba #ml #ai
4 134
+7
Мы практически избавились от сетевых эффектов при тестировании алгоритмов ранжирования объявлений 😎
Наше решение — интерливинг. Подробнее о том, как это работает, рассказали в карточках ⬆️
#analytics
4 134
Продолжаем говорить про то, как LLM меняют принципы проектирования API и архитектуры систем 👀
Если ещё не читали первую часть статьи — вам в реплай ⬆️
В этой же части Дмитрий Бондарев рассказал:
🔸 Как МСР решает проблемы интеграции с LLM и создаёт новые возможности;
🔸 Как нужно изменить мышление, чтобы соответствовать реалиям рынка и нуждам бизнеса;
🔸 Когда имеет смысл применять агентов.
➡️ Читаем по ссылке
#ml #backend
4 134
Только ленивый не написал о том, что скоро всех нас заменит ИИ 🤓
Дмитрий Бондарев же, backend-разработчик, решил посмотреть на этот вопрос с более технической стороны и поговорить о существующих методах интеграции и (якобы) неизбежном использовании ИИ-агентов в бизнесе.
Как выглядит история эволюции API, что изменилось с появлением LLM-агентов какие сейчас существуют ограничения в методах интеграции с LLM — читаем в первой части статьи 🏃♀️
#ml #backend
4 134
Как мы строим ML-платформу на базе Kubeflow? 👀
Антон Алексеев, MLOps-инженер, разложил весь путь команды по полочкам, а мы собрали его в карточках выше ⬆️
⬇️ В комментариях ждем ваш личный опыт: какой порядок этапов был у вас?
P.S. Кстати, у Антона есть свой телеграм-канал, где еще больше про инфраструктуру для ML. Например, там можно прочитать, как мы докручивали опенсорс решения и контрибьютили их в опенсорс.
#ml
4 134
Как мы строим ML-платформу на базе Kubeflow? 👀
Антон Алексеев, MLOps-инженер, разложил весь путь команды по полочкам, а мы собрали его в карточках выше ⬆️
В комментариях ждем ваш личный опыт: какой порядок этапов был у вас?
P.S. Кстати, у Антона есть свой телеграм-канал, где еще больше про инфраструктуру для ML. Например, там можно прочитать, как мы докручивали опенсорс решения и контрибьютили их в опенсорс.
#ml
4 134
Очередной классный анонс! На этот раз Avito.Tech.Conf 🔥
Встречаемся нашим уютным комьюнити руководителей и лидов 26 сентября в AG Loft в Москве, чтобы:
🔸 Обсудить AI и менеджмент в новом контексте, честные провалы на пути к C-level и управление в условиях ограниченных ресурсов;
🔸 Переключиться и отдохнуть в максимально продуманных и разнообразных зонах;
🔸 Наконец встретиться со старыми и обрести новых знакомых из «своих».
Регистрация уже открыта тут. Рекомендуем подать заявку уже сейчас, пока есть места.
#tl #backend #frontend #devops #analytics
4 134
🚀 Запускаем Fast Track для Senior и Senior+ Data Science специалистов
Ждём вас, если у вас есть опыт от 4 лет в DS и полный цикл от ресёрча до прод-раскатки. А взамен предлагаем:
🔸 Команды: антифрод и модерация, монетизация, поиск и рекомендации, вертикальные DS-команды
🔸 Офисы в 6 городах или удалёнка — жить можно где угодно
🔸 Результат закрепляется на год — даже если пока не готов менять работу, есть смысл попробовать и оценить свой уровень
20-26 июля пройдите все этапы отбора в ускоренном формате и получите оффер всего за неделю. Регистрация открыта до 20 июля. Узнать подробности и заполнить анкету можно по ссылке.
#ds
4 134
Последний шанс вписаться на HoneyBadger онлайн-CTF 🧑💻
Просто напоминаем, что уже 18 июля в 12:00 начнём борьбу за призовой фонд до 300 000 рублей и эксклюзивный мерч.
Все подробности здесь ➡️
#qa #infosec #sre #backend #frontend
4 134
Зачем бонусам в Авито FIFO? 🤓
Бонусы — это виртуальные средства, которыми пользователи могут оплачивать услуги площадки. И, конечно, это классический FIFO — первыми списываются самые ранние начисления, что создаёт большие проблемы для SQL при обработке миллионов строк.
А вот как подружить бонусы, SQL и асимметричный N×M-граф и из-за какого подвоха SQL может превратиться в тыкву — рассказал в статье Иван Привалов, разработчик в команде BI Финтеха.
#analytics
4 134
🧑💻 Бывает странная ситуация: все дашборды зеленые, uptime отличный, алерты молчат. При этом пользователь уже в десятый раз нажимает кнопку «Оформить заказ» — и ничего не происходит.
Если бы мы знали, что это такое... А мы и знаем! Точнее знает наш старший аналитик Александр Кудрявцев техплатформы и рассказал про это в статье ➡️
#analytics
4 134
CTF — только для тех, кто занимается кибербезопасностью!А вот и нет — наш HoneyBadger CTF AvitoTech для всех! 18-19 июля онлайн мы проведем наш первый CTF. Будет две лиги — для профи в безопасности и новичков абсолютно любых направлений.
Будьте готовы к веб-таскам, нахождению уязвимостей инфраструктуры, анализу кода, расследованиям, криптографическим трюкам и другим нестандартным заданиям с инженерной спецификой!Самое главное — победители получат до 300 000 тысяч! Проходить соревнования можно и в командах, и по одному. Регистрация уже вовсю идет. Поэтому успейте занять своё место и обязательно зовите с собой коллег! #infosec #sre #qa #backend #frontend
4 134
Привет! Меня зовут Андрей, я занимаюсь аналитикой двух внутренних платформ в Авито.
Мы считаем метрики и той, и другой — технической, которой пользуются тысячи инженеров разработки и аналитической (DWH, BI, A/B‑тесты). Здесь почти нет A/B‑тестов и продакт‑менеджеров, зато много технической сложности.
🔸В статье расскажу, как мы проектируем метрики для таких продуктов: от DAU до времени детекции инцидентов, Google Lighthouse и влияния genAI. Без стандартов — сплошной R&D.
✅Кому точно будет интересно: аналитикам, которые работают с инфраструктурой или внутренними продуктами, и всем, кто устал от классических e-commerce метрик.
#analytics
4 134
🔥 Запускаем Data Science Bootcamp!
Это 12-месячная программа, в рамках которой вы будете:
🔸 Расти сначала до джуна, а затем и до мидла; 🔸 Работать с реальными продуктовыми фичами и инструментами, которые доходят до релиза; 🔸 Получать поддержку комьюнити. Ещё из важного с нашей стороны: зарплата, компенсация питания и техника 👀Лучше не тянуть с этим. Особенно, если вы:
✅ Учитесь на 2–4 курсе бакалавриата, 4–5 курсе специалитета, в магистратуре — или у вас уже есть диплом по технической, математической или ИТ-специальности; ✅ Готовы работать от 25 часов в неделю; ✅ Владеете Python и библиотеками PyTorch, Pandas, sklearn, CatBoost; ✅ Знаете, как применять ML-алгоритмы и архитектуры моделей для решения задач; ✅ Используете Git и умеете писать SQL‑запросы; ✅ Участвуете в соревнованиях, например, на Kaggle — это будет плюсом.Подать заявку можно по ссылке до 9 июля. #ds
4 134
Что ни день, то крутой анонс — запускаем Senior Data Scientist Fast Track 🔥
20-26 июля вы сможете пройти все этапы отбора в ускоренном формате и получить оффер всего за неделю!
Почему стоит попробовать фаст-трек?
✨ Все этапы отбора совмещены
✨ Даты известны заранее
✨ Это классная возможность оценить свои скилы
✨ Ваши результаты закрепляются на год
Ждём кандидатов с опытом:
— работы от 4 лет в крупных российских и международных IT, BigTech и FinTech компаниях;
— полного цикла разработки моделей от ресерча до выкатки в продакшен;
— от 1 года полного лидирования проекта.
Регистрируйтесь до 15 июля включительно на сайте — там же можно узнать все подробности 🔍
#ds
