SberProfi DWH/BigData

Коллеги, привет! ☀️ Сегодня у нас изменения в повестке - будет только второй доклад (+ замена спикера на Мыскова Максима). Ждем всех через 10 минут!

Коллеги, ловите ссылку на новость о митапе.

Коллеги! Благодарим за участие в пятничном опросе :). А вот и правильный ответ: ✅ Галактика Галактика - это один из вариантов схемы организации DWH, так же как снежинка ❄️ и звезда 🌟. (Но мы можем справедливо считать победителями и тех, кто выбрал вариант с Новым годом 🎄!). Вас было целых 60% 😁. Желаем всем сил и продуктивной рабочей недели 💪🏻.

Дорогие коллеги! Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на SDP Hadoop. Для формирования повестки просим оставлять свои вопросы здесь. Мероприятие состоится 30 ноября 2022 г. Начало в 14:00. Повестка: • Орлов С. (SberData): «Доработки Vanilla Hadoop для собственной сборки Сбера» • Ермекбаев З. (SberData): «Как понять, что для хранения данных Вы можете использовать Ozone. Демо» Платформа проведения встречи – СберМитап 👉 Ссылка для подключения 👈 Вопросы спикерам можно будет задать устно 😊. Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам. Спасибо и до встречи! С уважением, команда DWH/BigData 💚

#пятничный_мем_dwhbigdata в опросе 👇

Друзья! Через 10 минут встречаемся на митапе 🏃🏻‍♀️ 🏃🏻‍♂️!

Друзья! Спешим поделиться с вами роликом, который мы сняли про наше сообщество 📹. Для тех, кто к нам присоединился недавно, – это отличная возможность увидеть насыщенную жизнь команды в картинках 🚀. А активистам комьюнити мы предлагаем внимательно посмотреть видео и, возможно, найти себя на кадрах. P.S. Коллеги, а что полезного вам дает наше сообщество? Почему вы с нами? Пишите в комментариях 👇👇👇 (первые 3 получат от нас классный мерч ☕👕) С уважением, DWH/BigData 💚

Дорогие коллеги! ❄️☃️ Приглашаем вас на очередной онлайн-митап SberProfi DWH/BigData, который состоится 1 декабря 2022 года. Начало в 14:00. 👉 Подключиться 👈 Повестка: Кухарук К., Стерхов К. (SberData) : «SDP-Control: платформа управления сервисами Корпоративной аналитической платформы» (подробнее – на Confluence) Вопросы можно будет задать в чате во время выступления докладчиков. До встречи на митапе! С уважением, DWH/BigData 💚

Дорогие коллеги! В 2022 году наша команда ввела новый формат активностей – подкасты. Мы успели записать 4 выпуска, заключительный в этом году из которых посвящен продукту SberData, который никого не оставляет равнодушным – Супермаркету данных 🚀🛸. В гостях: Юшанова Мария, лидер Кластера продуктов распространения и интеграции данных, Светоч Светлана, владелец продукта СМД и ... один из многочисленных клиентов сервиса от бизнеса. 👉 СЛУШАТЬ ПОДКАСТ 👈 Приятного просмотра! 💻🍿 P.S. Пожалуйста, не забывайте делиться впечатлениями в комментариях 👇.

#пятничный_мем_dwhbigdata ML Модель пришла на собеседование 🤓. 🔸 Модель: Я эксперт по машинному обучению. 🔹 Интервьюер: ОК. Сколько будет 10+6? 🔸 Модель: Ноль! 🔹 Интервьюер: Нет! Даже не близко! 10+6 будет 16. 🔸 Модель: Окей, шестнадцать. 🔹 Интервьюер: Ладно, сколько будет 10+20? 🔸Модель: Шестнадцать!

Дорогие коллеги! Приглашаем вас на очередной онлайн-митап SberProfi DWH/BigData, который состоится 24 ноября 2022 года. Начало в 15:00. 👉 Подключиться 👈 Повестка: 1. Вальц А., Васильев П. (SberData): «Опыт использования инструмента учета задач, не попадающих в backlog, – IStick» (подробнее – в Confluence) 2. Будымко Я., Негго Н. (SberData): «Работа со Spark on Kubernetes в Datalab» (подробнее – в Confluence) Вопросы можно будет задать в чате во время выступления докладчиков. До встречи на митапе! С уважением, DWH/BigData 💚

Коллеги, подробнее о встрече читайте здесь.

Коллеги! Через 10 минут начинаем наш очередной митап 🕑! Ждем всех 💚

#втренде #Выпуск15 🔹 Twingate ⎋ - новый вид безопасных соединений по модели Zero Trust Networking, альтернатива VPN и другим устаревающим походам к секьюрности соединений. 🔸 🔥 WASM workers server ⎋ - уже невозможно игнорировать сигналы о том, что технология WebAssembly - на пороге перехода от тренда к стандарту. VMWare сделал опен сорс-версию простого HTTP-сервера для запуска приложений в WASM sandbox. Ну, и он написан на Rust). 🔹 🔥 Einblick ⎋ - платформа для совместного анализа данных и машинного обучения. Выглядит как Miro с летающими пойнтерами, но вместо заметок - данные, графики и код. 🔸 Noloco ⎋ - low-code-приложения с воркфлоу поверх PostgreSQL, Google Sheets или Airtable. Интересная идея для нас - заменить эксель-макросы и даже прототипировать такие бизнес-приложения бизнес-пользователями с более-менее защищенными данными. 🔹 Mimesis ⎋ - Python-генератор фейковых данных и анонимизатор пром-данных. Уникально: помимо приземления данных в RDBMS может создавать фейковую API, отдающую данные в т.ч. форматах JSON и XML заданной структуры. 🔸 🔥 Great Expectations ⎋ - Python-фреймворк для тестирования качества данных, по сути уже много где принят как стандарт: создаем проверки в упрощенном формате и получаем авто-документацию на человеческом языке, отчеты о качестве и фреймворк управления проектом. С помощью профилирования данных может автоматически генерить проверки. детальнее

#втренде #Выпуск14 ▪️ Amazon Neptune Serverless ⎋ - тренд в серверлесс базы данных продолжается и начинает охватывать графовую базу Амазона. Преимущества: авто-масштабирование, авто-восстановление, pay as you go. Другими словами - никакой возни с КТС и сайзингом. ▫️ Xata ⎋ - безсерверная платформа данных, по сути как BaaS (backend-as-a-service), но живет в облаках и наследует все преимущества. Тут интересно почитать. Возможно, интересно как вектор развития для нашего Platform V DataSpace. ▪️ Онлайн SQL редакторы Decile ⎋ и slashbase ⎋ - красивые UI для работы с базами данных. Интересно для пользователей ПКАПов на базе GP, PG, а также для дополнительной ценности наших продуктов, например, ЛД, Трино и будущих их версий. ▫️ VulcanSQL ⎋ - фреймворк для генерации REST API над базами с параметризуемым SQL. Ускоряет разработку дата-приложений и повышает удобство поддержки. ▪️ ClickHouse Obfuscator ⎋ - новая функция читает входной датасет и возвращает вместо настоящих данных “очень похожие” по характеристикам. Интересный подход для снятия тестовых данных с промышленного контура. У SberWorks есть похожее решение.