Data Analysis / Big Data

Академия Аналитиков Авито открыла набор на курс 2024 – 25 Это бесплатная образовательная программа для тех, кто хочет развиваться как аналитик данных или DS-инженер. 13 месяцев глубокого погружения в реальные задачи бизнеса, общение с ведущими экспертами бигтеха, помощь и поддержка куратора и ментора в поисках своего места в индустрии. Присоединиться — задача не из лёгких. Нужно сдать два вступительных теста и быть готовым учиться до 25 часов в неделю, делать домашку и реализовывать неординарные проекты. Зато у выпускников есть все шансы на вау-карьеру, в том числе в самом Авито. Подать заявку. Это #партнёрский пост

How to reduce your Snowflake cost Read: https://www.startdataengineering.com/post/optimize-snowflake-cost/ @big_data_analysis

Всё о безопасной разработке расскажут на PHDays Fest 2 в Лужниках 23–26 мая Positive Technologies вместе с сообществом POSIdev подготовили несколько секций с докладами для разработчиков:  — General development, — Development Security,   — Platform Engineering, — Data Engineering, — Team Lead, — Python совместно с сообществом Moscow Python, — Dev tools, languages & frameworks. Спикеры из Samokat, Тинькофф, СберМаркет, Yandex Cloud, Kaspersky, Lamoda Tech, Aвито, Positive Technologies и других компаний расскажут про архитектуру распределённых систем, безопасную разработку приложений, алгоритмы, языки и инструменты разработки, управление командой и не только.  В перерывах можно будет поиграть в IT-крокодила, решить безопасный кроссворд, выиграть полезную книгу или просто отдохнуть в лаунж-зоне. А в субботу, 25 мая, поучаствовать в воркшопах экспертов из Positive Technologies, Yandex Cloud и Hilbert Team, Wildberries или в олимпиаде по программированию.  Программа Регистрация Это #партнёрский пост

Apache Airflow: преимущества и недостатки Одним из популярных оркестратором задач является Apache Airflow. Он, как и все инструменты, имеет свои преимущества и недостатки, о которых пойдет речь в данной статье Подробнее Читать: https://habr.com/ru/articles/811807/ @big_data_analysis

What's new in the Oracle Analytics Cloud May 2024 update Explore the latest Oracle Analytics Cloud May 2024 Update, featuring enhancements across data exploration, dashboarding, storytelling, connectivity, augmented analytics, and administration. Discover streamlined workflows, enhanced data governance, and innovative features empowering smarter, data-driven decision-making. Read: https://blogs.oracle.com/analytics/post/whats-new-in-the-oracle-analytics-cloud-may-2024-update @big_data_analysis

Сбер ищет системных аналитиков с опытом от 3-х лет   Мы пишем новую HR-платформу с применением лучших практик компонентно-реактивного подхода, без legacy и с полной свободой в выборе инструментов.   Задачи:   — Сбор требований вместе с владельцем продукта — Анализ функциональности ПО — Проектирование интеграции с источниками данных — Поддержка документации   Откликнуться можно тут Это #партнёрский пост

Расчет рентабельности инвестиций и другие задачи дата-сайентиста Как специалисты data science (DS) оперативно рассчитывают рентабельность инвестиций в проект (ROI) на реальной практике, то есть в ситуации, когда нет актуальной информации о необходимых данных? К примеру, чтобы рассчитать компонент оттока в Lifetime Value (LTV), требуются месяцы аналитики. К каким инструментам прибегают, чтобы ускорить эти процессы? Для быстрой оценки ROI есть классический метод оценки смежных компонентов: охвата, влияния и усилия. Охват можно оценить, исходя из плана проекта, где обычно содержится описание клиента, или по данным продуктовых и финансовых руководителей, которые уже составляли дорожную карту предприятия с подобными прогнозами. Влияние — это ожидаемые улучшения для целевых клиентов, обеспечиваемые продуктом. Такие улучшения достаточно точно оцениваются по аналогичным кейсам, а если таковых на рынке нет, можно использовать общую формулу, по которой на ранних этапах разработки продукта ожидается улучшение на 10–20%, для относительно зрелого улучшение на 1–2% уже будет существенным. Усилия можно оценить в технических неделях или неделях дата-сайентиста, необходимых для запуска и итерации решения. Тут тоже можно обратиться за оценкой запусков командой схожих проектов и аппроксимировать ее для нынешнего проекта. А если такой проект запускается командой впервые, то поможет разбивка этапов запуска на контрольные точки. После подобного анализа стоит отметить компоненты, которые оценивались с низким уровнем достоверности, и проверить чувствительность общей приоритизации проекта, когда неопределенная оценка отклоняется на 10 или 30%. При слишком сильном отклонении приоритизации соответственно снижается, а проект может быть перенесен или вовсе отменен. Читать: https://habr.com/ru/articles/814561/ @big_data_analysis

Яндекс впервые проведёт Young Con — фестиваль про карьеру в IT и современные технологии — 6000 участников. — Более 10 часов нетворкинга и интерактивных активностей. — 9 тематических «миров», которые погрузят участников в разные сервисы компании. — 30 руководителей Яндекса, которые расскажут, как создаются технологии, а также поделятся опытом и советами, как начать карьеру в Яндексе. Фестиваль в стиле гик-приключения понравится тем, кто интересуется технологиями и хочет узнать больше про работу и возможности для развития в крупных IT-компаниях. Young Con состоится 27 июня на Live Arena. На фестивале станет известен победитель масштабного студенческого турнира по спортивному программированию «Баттл вузов». Участники команды-победителя разделят между собой призовой фонд в 1 млн рублей. А в конце фестиваля выступят группы The Hatters и Хлеб. Young Con пройдёт в онлайн- и офлайн-формате. Чтобы попасть на фестиваль, нужно заполнить форму на сайте. У начинающих айтишников также будет возможность пройти экспресс-собеседование прямо во время ивента, чтобы в будущем получить приглашение на стажировку в Яндекс. Регистрация уже открыта. Это #партнёрский пост

GPT-4o: больше мощи, но меньше цены. Почему так и что на самом деле умеет модель? Вчера в 20:00 по московскому времени OpenAI в прямом эфире показали свою революционную модель GPT-4o. Общаться с ней можно голосом и даже по видео, при этом вообще без задержек. А еще GPT-4o понимает интонации, может шутить, отвечать с (почти) человеческой интонацией, переводить в режиме реального времени и даже петь. При всем этом модель дешевле, чем ее предшественница, GPT-4 Turbo, во всем уступающая GPT-4o. Как такое может быть, что прямо сейчас умеет модель и почему GPT-4o на самом деле первая настоящая мультимодальная разработка OpenAI? Со всем этим разберемся в статье, а еще расскажем про все-все самые интересные пасхалки Альтмана... Читать: https://habr.com/ru/articles/814161/ @big_data_analysis

CDC на примитивах CDC вам не "Centers for Disease Control and Prevention" а "Change data capture". В статье рассказано какие есть виды CDC и как реализовать один из CDC при помощи Debezium. Читать: https://habr.com/ru/articles/812797/ @big_data_analysis