SberProfi DWH/BigData

#пятничный_мем_dwhbigdata

Коллеги, привет! ☀️   Приглашаем на наш митап SberProfi DWH/BigData!    😊 Повестка:  Обзор сервисов КАП. Виртуализация данных (итоги 2023 года)   🤓 Спикеры: Ильин А., Фокин А., Гавриленко А., Шпилев И. (SberData)   Пересылайте приглашалку коллегам и получайте плюсики в карму!   🗓  8 февраля ⏰  16:00–17:00 🌐  SberJazz   👉 Подключиться 👈 С уважением, команда DWH/BigData 💚

Коллеги, привет! 🤟 2024 только начался, а мы уже расписали его первую половину под внешние конференции 🎆. Сейчас находимся в активном поиске спикеров на такие профильные конференции, как: ✔️ конференция С++ (22-23.05) ✔️ конференция Saint HighLoad++ (20-21.06) ✔️ конференция HighLoad++ (ноябрь 2024) Заявки на данные мероприятия принимаются задолго до дня Х, поэтому если вы хотите выступить с докладом, пожалуйста, примите решение в ближайшее время и напишите от этом нашему КМ @gbella1505 🩷. С уважением, команда DWH/BigData 💚

#пятничный_мем_dwhbigdata

Друзья, присоединяйтесь к митапу 🤗

#втренде 🔥🔥🔥 Apache Gluten Только на днях вошел в Apache инкубатор - это middle layer, который ускоряет Spark, Flink, ClickHouse и Trino. 🔥🔥 Apache HoraeDB Распределенная cloud-native БД с гибридным хранением для аналитических и time-series нагрузок. Месяц назад попала в Apache инкубатор. 🔥 Apache Fury Фреймворк для сериализации, работает по принципу zero-copy. До 170x быстрее protobuf, protostuff, Kryo, Hession, поддерживает Scala. 🔥 DoltgreSQL Интересная концепция - версионный контроль над PostgreSQL в стиле git, т.е. log, diff, branch и merge над схемами и таблицами. 🔥 Kurtosis Экосистема для упаковки приложений и их окружений для запуска в докере, кубере и других. Что docker для бинарников, то Kurtosis для распределенных приложений. Особенно годится для web3. 🔥 Alaz eBPF агент для низкоуровневого мониторинга трафика k8s. Может на основании наблюдений создать карту сервисов. Не нужно использовать такие лайфхаки как sidecar и перезагрузки. С уважением, команда DWH/BigData 💚

#пятничный_мем_dwhbigdata

Друзья, привет! (Обращаемся к коллегам из SberData): Ребята, очень нужны ваши голоса (строго до завтра 👉): пожалуйста, пройдите наш первый коммуникацинный опрос, чтобы мы понимали, каких новостей вы хотите видеть больше, а также направляли вам breaking news Департамента с классным контентом! 👉 ПРОЙТИ ОПРОС 👈 С уважением, команда DWH/BigData 💚

Друзья, привет! 🐾 Наши коллеги из Управления развития технологий искусственного интеллекта и машинного обучения (SberData) и СберУниверситета совместными усилиями разработали и опубликовали в Пульсе онлайн-курс для начинающих сотрудников, в обязанности которых входит внедрение моделей в промышленную эксплуатацию: Инструменты ML-инженера для внедрения AI-моделей в промышленные среды. ✏️ При создании курса авторы уделили особое внимание техническим аспектам подготовки модели к запуску в продакшен-среде. В фокусе внимания программы находятся MEF и ПИМ – инструменты, обеспечивающие сборку, deployment и эксплуатацию модели. ❕Стоит отметить, что курс содержит не только теоретический контент, но и практику. По итогам обучения участники смогут внедрять модели ИИ в промышленную среду с использованием инструментов MLOps. 👥 Над курсом трудилась дружная команда Исследования данных под руководством Сергея Кочеткова в составе экспертов: Тузбекова Альберта, Глушкова Романа, Богданова Кирилла, Литвина Андрея, Ветров Андрея, имеющих практический опыт внедрения моделей. С уважением, команда DWH/BigData 💚

Дорогие коллеги! ❄️ По техническим причинам мы вынуждены перенести митап с 16-го января на 22-е. Пожалуйста, удалите из календаря старую приглашалку и примите новую! 🙏. С уважением, команда DWH/BigData 💚

Новая подборка полезных инструментов для работы с данными от команды R’n’D SberData #втренде ⚡️ Compage Для визуальной low-code разработки cloud-native backend приложений ☁️ От IntelOps. ⚡️ Fractl Это “ultra high-level data-oriented, declarative programming language” 👾 Позиционируют себя как мостик между code и low-code. Коллеги ЕСС, обратите внимание! ⚡️ SpacetimeDB Забудьте про кубер, докер и виртуалки. Выполняйте код прямо в БД! 😎 Есть демо-игра из фронта и БД и никакого бэкенда. ⚡️ ScratchDB По сути это Open source Snowflake поверх ClickHouse. Serverless ❤️ С уважением, команда DWH/BigData 💚

Дорогие друзья! 🧰 В это сложно поверить, но наши новогодние каникулы подошли к концу, и все мы стройными рядами вышли на работу. Чтобы не было так грустно, приглашаем вас на первый митап нашего комьюнити в новом году. Коллеги из SberWorks подготовили интересное решение, которые призвано облегчить жизнь многим СБЕРовцам, - площадку по обмену опытом SberOverFlow. Про него нам и расскажут :) ✏️ Тема: Решение рабочих задач на базе SberOverFlow 🗣️: Спикеры: Беляева А., Вахминова Ю., Крехов А. (SberWorks) 🗓️ 16.01 ⏰ 15:00-16:00 💌 Приглашалку ищите в почте С уважением, команда DWH/BigData 💚

#пятничный_мем_dwhbigdata 🎄

Сегодня мы очень активны в канале 🔋! Ловите 3-й пост за день (а завтра, обещаем, будете от нас отдыхать 🫶). Команда R‘n‘D SberData возвращается с рубрикой #втренде и представляет подборку про LLM 👏: 🙂 SEC Insights Имплементация LlamaIndex-приложения для работы с финансовой отчетностью компаний США (10-К и 10-Q) 🙂 RunGPT Помогает масштабировать (вверх и вниз) LLM на пул GPU. Типа бессерверные LLM. Возможно применить в AI Дата Лабе для более эффективного использования нескольких LLM 🙂 HeimdaLLM Валидация структурированного вывода от LLM. Пока поддерживает только SQL 📝 Специально для промпт-инженеров: 🙂 Pezzo 🙂 Microsoft Prompt flow Управлять версиями промптов, искать ошибки, мониторить выполнение и коллабиться с коллегами. 👉 Такие тулы очень важны для обеспечения работоспособности промптов, например, впоследствии обновлений GigaChat или других LLM под капотом С уважением, команда DWH/BigData 💚

Друзья, наши коллеги из Блока «Сеть продаж» разработали собственные объекты визуализации, которые могут частично заменить использование Vizlib в рамках Qlik Sense. Продукт был презентован 18.12. Посмотреть запись демо можно по ссылке 🍿. С уважением, команда DWH/BigData 💚

Дорогие друзья! ❄️☃️ Совсем скоро мы окунемся в предновогоднюю суету – поучаствуем во флешмобах под названием «10-бальные пробки» ради покупки лучших подарков своим близким 🎁 , будем отчаянно скупать продукты для новогоднего стола 🫛🍍🫒🥂, слегка залипнем в телевизор за просмотром советских тематических фильмов, которые смотрели уже тысячу раз (и еще тысячу посмотрим). Именно поэтому не хочется говорить о том, каким непростым был уходящий год. Знаете, если не фокусироваться на сложностях, или, по крайней мере, относиться к ним проще, можно достичь очень больших высот! Известному писателю Вадиму Зеланду принадлежит цитата: «Пессимист видит трудности в каждой возможности. Оптимист видит возможность в каждой трудности». Я не случайно ее привел – команда нашего комьюнити – это, в первую очередь, команда оптимистов, иначе как объяснить, что за 2023 год мы проделали такую работу? Смотрите сами: 15 митапов, 8 внешних выступлений, 5 дайджестов, 3 курса для КУ, 2 выпуска шоу SberData Friday, 2 экспертные площадки, 1 круглый стол и 1 лекционный курс в вузе-партнере. Отдельно хочется поделиться тем, что мы перешагнули отметку в 1000 участников (сейчас нас 1027), провели ребрендинг комьюнити, ввели новый стрим (MLE), обновили обучающие подборки в Confluence, продолжили подсветку внутренних обучений в КУ и международных онлайн-конференций, появились в ЕСР (чтобы радовать вас красочными e-mail-рассылками), а также начали работу над публикацией нескольких статей на Habr, которые мы анонсируем уже в новом году. Все перечисленные активности – залог слаженной работы пула инициативных участников сообщества! От лица команды SberProfi DWH/BigData я поздравляю каждого и каждую из вас с наступающими праздниками – Новым годом и Рождеством – и желаю главного – здоровья и благополучия! Надеюсь, зимние каникулы вы проведете в кругу любимых, дорогих вам людей, зарядитесь энергией и позитивом! Помните – чудеса случаются с теми, кто в них верит 🎄✨. До встречи в новом году! С уважением, Илья Поздняков

Друзья, привет! ☃️ Мы всегда с особой гордостью делимся успехами и достижениями коллег! 🥇 Сегодня хотим рассказать о митапе VK Data Meetip, где нас представили участники SberProfi DWH/BigData Ермекбаев Заур, Техлид направления SDP Hadoop и по совместительству лидер стрима комьюнити Compute&Storagе, и Дмитриев Игорь, Корпоративный архитектор аналитической платформы Сбера. О том, как разделить Compute&Sorage в Hadoop и не утонуть в лавине миграций, ребята рассказали в своем докладе, который можно запросить у самих спикеров (или лидера сообщества архитекторов Крысанова Евгения 😎). Очень здорово, что мы так часто заявляем о себе на внешнем рынке! Кстати, не забывайте, пожалуйста, что мы еще принимаем заявки на спикерство в конференциях (сообщение от 13.12.2023) 🎤✅. С уважением, команда DWH/BigData 💚

#пятничный_мем_dwhbigdata

Коллеги, привет! ☃️ Год еще не закончился, а мы уже подготовили перечень внешних мероприятий на 2024! Вот такие мы молодцы, вот так мы любим работать 😊👏🏻. Осталось несколько профильных имиджевых конференций, на которые разыскиваются спикеры 🔽: 🔸 04-05.03.2024 - конференция DevOpsConf 2024 (Москва) 🔸 июнь 2024 - Saint HighLoad++ (Санкт-Петербург) 🔸 15-16.11.2024 - конференция Merge (Москва) Если у вас есть актуальная тема доклада для упомянутых выше мероприятий, вы хотите прокачать личный бренд и ораторское искусство, непременно пишите об этом нашему комьюнити-менеджеру Бэлле @gbella1505. Напоминаем, что команда сообщества вносит посильный вклад в то, чтобы процесс от выбора темы доклада до заявки на участие прошел для спикера максимально бесшовно. Помощь в согласовании материалов, пробрифовку спикера и оплату его доклада* (если она требуется) берет на себя SberProfi DWH/BigData. *Оплата спикерства возможна только для сотрудников SberData (для этой цели используется бюджет департамента, в котором базируется ядро комьюнити). С уважением, команда DWH/BigData 💚

#пятничный_мем_dwhbigdata