Инжиниринг Данных

В этом году не получилось на конференцию по Snowflake:( Не получится набрать стикеров, футболок, бутылок и другого хлама (за счет VC и инвестиций в data стартапы), но зато все самое интересное все будут постить, а я буду репостить! 👙

Значит у нас 3 основных формата Lakehouse - Hudi, Iceberg, Delta. Hudi совсем прохудился и пропал из информационного поля. Традиционно Databricks пилит Delta (Delta Lake), а Iceberg был создан Tabular, и сейчас - Databricks Agrees to Acquire Tabular, the Company Founded by the Original Creators of Apache Iceberg Так же Iceberg популярен как независимый lakehouse, например для Trino. PS свежая книжка про Iceberg - Apache Iceberg: The Definitive Guide (вроде как Dremio приложили руку к написанию)

Привет! Замучился я ковырять helm charts, Kubernetes на GCP для Airbyte, Airflow. Мне нужно поменять настройки и посмотреть, что у меня не так, и как уже сделать правильно, уходит очень много времени и мало результата. Мне нужен эксперт, кто мне поможет поменять настройки и задеплоить этот адский open source. Я могу заплатить через PayPal (Европа, США) или по Канаде перевод, через свою корпорацию. Пишите в личку, если вы супер эксперт по этим технологиям. Если вы не в Европе/Северная Америка и у вас нет PayPal, то заплатить не получится.

VK Cloud Conf 2024 — большая облачная конференция VK Cloud 20 июня 2024 года, офлайн и онлайн, на VK Cloud Conf ведущие эксперты VK и крупнейших российских компаний расскажут про развитие облаков и поделятся опытом разработки продуктов. Вас ждут кейсы от экспертов из Битрикс24, Бургер Кинг и SimbirSoft, доклады архитекторов и руководителей групп VK Cloud, а также увлекательные дискуссии по информационной безопасности, трендам разработки и работе с данными. На VK Cloud Conf расскажут: • Как организовать высокий уровень доступности приложений и баз данных, обеспечить отказоустойчивость и масштабируемость. • Как работать с данными: от корпоративных хранилищ до аналитических и рекомендательных систем. • Как организовать виртуальные рабочие места в облаке. • По каким критериям бизнес выбирает сервисы для коммуникаций. Конференция VK Cloud Conf — прекрасная возможность узнать больше о проверенных облачных технологиях, обменяться мнениями с коллегами и найти ответы на актуальные вопросы. Зарегистрироваться бесплатно

Увлекательная история о том, как стать специалистом Data Science. Мария Косарева сейчас возглавляет Департамента анализа данных и моделирования в Газпромбанке. А в статье подробно рассказала, как выбрала профессию и построила карьеру в IT будучи женщиной.

Всем привет, одна из подписчиц, кто давно читает мой канал, активно принимает участие в проекте с пеликанами skyfly.ai попросила рассказать о своей близкой подруге и ее сборе на операцию для ребенка. Если есть возможность и есть желание, можете сделать доброе дело. Я сам тоже помогу, ведь не зря же рекламу за рубли продаю.

Внутренняя аналитика как продукт Завтра обсудим с Андреем из канала @productdo как использовать продуктовые подходы для внутренних продуктов, в том числе к аналитике и дашбордам. Это забавно, но аналитики не всегда анализируют результаты своей работы. Вот такой вот каламбур =) Покажу какие метрики мы использовали в Яндекс Go для дашбордов. И очень интересно узнать про опыт Андрея — он менеджер внутренней платформы в Booking. Трансляция YouTube канал ребят — https://www.youtube.com/@ProductDo/streams Когда 30 мая, четверг, 18:30 по Мск #выступление

✍️ Яндекс открыл приём заявок на международную научную премию Yandex ML Prizeх Премия вручается молодым исследователям, научным руководителям и преподавателям за достижения в области компьютерного зрения, машинного перевода, распознавания и синтеза речи, анализа данных и генеративных моделей. В этом году будет 5 номинаций: ▪️ Первая публикация, ▪️ Исследователи, ▪️ Молодые научные руководители, ▪️ Научные руководители, ▪️ Преподаватели ML. Лауреаты получат денежные премии. Исследователи — по 500 тысяч рублей, научные руководители и преподаватели — по миллиону рублей. ↗️ Приём заявок продлится до 21 июня, вручение премии состоится осенью.

Для нашего проекта по мониторингу пеликанов мы добавили сайт https://www.scifly.ai/ Ведь сейчас модно AI, вот и у нас есть свой AI проект - SciFi SkyFly. Еще недавно опубликовали, статья на хабре совместно с Вконтакте - Миграция пеликанов в облака: как реализовать сложный орнитологический проект на базе облачной платформы. Часть 1