Data engineering events
Data engineering events 👷♂️👷 Feedback: @NikolayKrupiy @asm0dey @Gskoba Made in @data_events 🔨 See also @AI_meetups @BI_events @data_career defaults: - time MSK (UTC+3) - online - free
Show more- Subscribers
- Post coverage
- ER - engagement ratio
Data loading in progress...
Data loading in progress...
The premier event for those adopting the leading open table format.Iceberg Summit is an event sanctioned by the Apache Software Foundation to facilitate Apache Iceberg education and knowledge-sharing across data engineers, developers and architects. The event hosts dozens of technical talks covering real-world experiences of data practitioners and developers working with Iceberg as their table format. It covers topics such as integration with compute options; data pipelines into Iceberg; use of PyIceberg; data modeling, data governance, table optimization and maintenance, security and governance.
Организаторы, отринув прочие коммерческие схемы, предложили анонс ивента за розыгрыш двух билетов для подписчков, так что если придумаете, как сиё устроить – пишите под пост – огранизуем! 😁😁
https://t.me/sql_ninja_news/27Коллеги, приглашаем вас на самую крутую конференцию по бигдате 2024-го года! Апрельский бигдатник 27.04 в 10:00 на ст. м. Бауманская в доме культуры Фламенкерия Собрали для вас самые актуальные доклады, про Kafka, Hadoop, Postgres, Clickhouse, DBT, NiFi, Airflow, Arenadata DB, Архитектуру Выступают Wildberries, Ozon, Positive Technologies, Wheely, Toloka, Arenadata, Основатель сообщества DBT, Админ сообщества NiFi erid:3apb1Qrwwr2uBg1Dvk9DwjUPdqdn44tUUuykNtGKJMe2T Реклама, ИП "Ким Лестат Альбертович", ИНН 183403475084
https://sql-ninja.rudbt: 2024 State of Analytics Engineering #DBT опубликовали отчёт о состоянии analytics engineering за 2024 год. Низкое качество данных и неясное владение ими остаются главными проблемами для дата команд. Data Mesh постоянно набирает популярность среди enterprise компаний. Это резкое отличие от отчета #Gartner о data mesh. И ещё вебинар сегодня будет (вроде только через корп-почту рега) #Саммари от 300.ya.ru: Состояние аналитической инженерии на 2024 год | dbt Labs • В отчете представлены результаты опроса специалистов по обработке данных. • Инженеры-аналитики получают значительно больший заработок, чем аналитики данных. • Специалисты по обработке данных выполняют широкий спектр обязанностей и задач. • Основные проблемы, с которыми сталкиваются группы обработки данных, включают низкое качество данных и неясное владение данными. • Повышение информационной грамотности заинтересованных сторон считается важным для групп обработки данных. • Большинство специалистов по обработке данных считают, что у них есть опыт в проведении преобразований данных. • Неколичественные цели являются основным показателем успеха для групп обработки данных. • Многие команды сообщают о сокращении бюджета и/или численности персонала, но большинство планируют сохранить инвестиции в инструменты обработки данных. • Децентрализованные архитектуры обработки данных, такие как data mesh, привлекают внимание компаний разного размера. • Растет тенденция к внедрению искусственного интеллекта среди специалистов по обработке данных. 💡Годы идут, а проблемы, задачи и тенденции всё те же +-! 🤣 источник:
https://t.me/dataexplorers/250#DataMesh #report #y2024
@task.bash декоратор. Возвращаемое значение обёрнутой в этот декоратор функции будет выполнено в виде bash-команды
Полный список изменений смотри по ссылке.
#airflowSignificant Changes Following Listener API methods are considered stable and can be used for production system (were experimental feature in older Airflow versions) (#36376): Lifecycle events: on_...
9 апреля (вт) в 20:00 мск проведем прямой эфир по продвинутому использованию Apache Spark Поговорим о продвинутых аспектах Spark и в каких случаях необходимо лезть "под капот" и разберем темы: - взаимодействие с внешними источниками - разработка собственных коннекторов - как ускорить обработку данных - антипаттерны в Spark А также расскажем подробнее про нашу программу Apache Spark Advanced, которая стартует 14 мая 🎁 БОНУС 🎁 Среди зарегистрированных участников с помощью генератора случайных чисел прямо в эфире мы выберем двух человек, кто сможет пройти программу бесплатно и еще двух, кто получит скидку 50% 📅Дата: 9 апреля (вторник) 🕗Время: 20:00 по МСК 🔴Место: YouTube 🔗[Записаться на вебинар] #live
🗓 17 апреля, 19:00 мск, Среда 💻 ОНЛАЙН |📍 ОФЛАЙН, Москва 🍕Avito Golang meetup #4 🔉Как мы управляем конфигурациями в DevPlatform с помощью kubernetes-оператора — Виктор Горячкин, backend-разработчик в команде DevPlatform, VK Tech Погрузимся в контекст платформы разработки, затронем DevOps: kubernetes-оператор, CRD/CR, kustomize. А ещё посмотрим, как работает kubernetes-оператор в Go. 🔉Как устроен планировщик в Golang — Олег Козырев, старший инженер, Авито Что такое горутина и в чём разница между конкурентностью и параллелизмом в Go. Обсудим, как применять модель GMP, обрабатывать системные и сетевые вызовы и красть во благо (: 🔉Облегчаем жизнь разработчикам при помощи плагинов protoc — Святослав Петров, старший разработчик в Ozon Разберёмся, как устроен Protobuf и его тулчейн на низком уровне (protoc + плагины), как написать свой плагин на Go. Обсудим, как это можно применить в своих проектах и какие готовые решения вы можете использовать сегодня.