SberProfi DWH/BigData

Дорогие коллеги! Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на SDP Hadoop. Для формирования повестки просим оставлять свои вопросы здесь. Мероприятие состоится  25 января 2023 г. Начало в 14:00. Повестка: • Дудник А. (SberData): SDP Compute: как будет выглядеть перенос приложения из Hadoop • Матыцин С. (SberData): Обратная совместимость релизов SDP Hadoop: расширение регрессионного тестирования 👉 Подключиться 👈 Вопросы спикерам можно будет задать устно 😊. Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам. Спасибо и до встречи! С уважением, команда DWH/BigData 💚

#пятничный_мем_dwhbigdata

Дорогие коллеги! Надеемся, вы классно отдохнули за новогодние праздники и успели соскучиться по жизни нашего комьюнити 🏋🏻🪂🏇🏻! В прошлом году мы с вами были очень активны: провели 16 экспертных площадок, 15 митапов и 2 круглых стола; 13 раз выступили вне контура Банка, опубликовали 4 подкаста и 2 статьи на Habr. Не собираемся останавливаться на достигнутом и хотим напомнить, что в любой из активностей выше готовы оказать поддержку участникам сообщества 💪🏻. Есть актуальные темы для внутренних и внешних выступлений? А вопросы/ проблемные рабочие кейсы? Хотите опубликоваться на Habr? Мечтаете принять участие в нашем подкасте? Может быть, к вам пришло вдохновение и новые идеи, которые хочется воплотить в жизнь с нашей помощью? ✨ Отлично! 🚀 Ждем ваши отклики вот тут 👉 SberProfi_DWH_BigData@sberbank.ru С уважением, команда DWH/BigData 💚

С наступающим, дорогие коллеги! 🎄🌟✨

#пятничный_мем_dwhbigdata

Дорогие коллеги, сегодня мы завершаем наш 5-дневный адвент-марафон, надеемся, он пришелся вам по душе✨🎄

Друзья, совсем скоро наступит Новый год! 🎄 🌟 В преддверии праздника мы хотим порадовать вас приятными и добрыми пожеланиями на будущее ✨. Сегодня мы запускаем наш небольшой advent-календарь поздравлений, чтобы вместе тепло проводить старый год и настроиться на грядущие достижения и свершения в новом, 2023! 🚀 Ваша команда DWH/BigData 💚

#пятничный_мем_dwhbigdata

#втренде #Выпуск17 Общий лозунг Low-code и No-code: "Снижаем порог входа, что упрощает скилсет разработчиков, который можно и быстрее освоить, делает их дешевле, и сокращает время от идеи до внедрения". Наш обзор в частоности про решения для AI и ML. Пожалуйста, напишите в комментариях, есть ли в Сбере похожие решения или инициативы. 🔸 PyCaret ⎋ - библиотка для Питона, которая упрощает и ускоряет использование таких библиотек, как scikit-learn, XGBoost, LightGBM,… Буквально low-code, потому что нужно “меньше кода” писать, что делает разработку доступной для менее провиднутых пользователей. 🔹 DataRobot ⎋ - SaaS с единым удобным UI, охватывающий весь процесс: подключение и подготовка данных, создание моделей, их деплой и эксплуатация. Многие шаги с AI-помощниками и подсказками, ускоряющими работу. Ориентирован на Enterprise. 🔸 Amazon SageMaker, Google AutoML, Azure AI - попытка бандлинга множества ML-продуктов своих экосистем с целью выстроить более целостный клиенский путь, который все же остается разорван по разным продуктам. Однако это сильно снижает порог входа и кол-во написания кода для сложных бизнес и научных задач. 🔹 ObviouslyAI ⎋ и Akkio ⎋ - SaaS ориентирован на малый и срений бизнес. Поэтому проуесс сильно упрощен: выбираем источник (есть готовые интеграции с облачными сервисами), применяем простые фильтры или джойны. Далее - тренинг модели по шаблону (AutoML, Predict, Forecast, Detect Anomalies). Каждый из них - wizard, который задает пользователю четкие указания, что нужно сделать. По результатам предлагается детальный отчет о модели, выбранном алгоритме и статистике по датасету. Последний шаг деплой-модели и регулярный экспорт данных в целевые системы (API, маркетинг, CRM, …) 🔸 Nanonets ⎋ - SaaS. Экстракция данных из неструктурированных документов. Автоматически применяет OCR, распознает ключевую информацию и экспортирует ее в виде структурированных данных. 🔹Microsoft Lobe ⎋, Google Teachable Machine ⎋ - 0 порог входа, решают простейшие задания и предназначены скорее для обучения, нежели решения промышленных задач. Дают возможность интерактивной разметки данных, тренинг и корректировку модели, импорт фото или потока видео с камеры, также работу с текстовыми файлами. Экспорт модели в CoreML, TensofFlow и тд. 🔸 Apple CreateML ⎋ - позволяет делать и более продвинутые приложения, например, для устройств Apple - пользуются камерой, микрофоном и т.д. с готовыми моделями без написания кода и быстрым обучением на Apple GPU.

Коллеги, привет! Поделитесь, пожалуйста, обратной связью о сервисах и продуктах SberData!🔥 Просим вас уделить всего лишь 2 минуты и пройти опрос по ссылке ниже! https://public.oprosso.sberbank.ru/p/nxiteies Заранее спасибо! Напоминаем, что положительная оценка начинается с 7 баллов ✅ 💔💚🎬Смотрите клип о трогательных взаимоотношениях между нашими продуктовыми командами и клиентами по ссылке: https://sberfriend.sbrf.ru/sberfriend/#/media/post/24574299

#пятничный_мем_dwhbigdata

#втренде #Выпуск16 🔸 🔥 Weaviate ⎋ - представитель нового типа баз данных т.н. Vector search database (видео) с GraphQL интерфейсом. Восхитительно: в отличии от классики, база будто понимает суть данных и может, например, по запросу “цены недвижимости” вернуть статьи по этой теме, но без этих слов. Более того: автоматически классифицировать данные по заданным категориям, отвечать на вопросы по содержанию. Из коробки реализована функция поиска в картинках или похожих картинок. 🔹 ESQL Elastic Query Language ⎋ - новый язык запросов к ElasticSearch, сильно расширяющий возможности по анализу внутри стека. Интересно, что весь ES движется в новую stateless архитектуру - подробнее - что ему позволяет увеличить скорость и надежность. 🔸 Apache StreamPipes ⎋ - ранее представляли этот юзерфрендли-инструмент для подключения к потокам данных и их аналитике в режиме self-service. Очень наглядный UI и много интеграций. Покинул инкубатор и стал полноценным проектом Apache. 🔹 Databend ⎋ - разработчики, воодушевлённые Snowflake и ClickHouse, создали опенсорс-платформу для бессерверного хранилища данных. Есть и коммерческое решение Databend Cloud, см. скриншоты CJM. 🔸 Substra ⎋ - недавно заопенсорсили продукт класса federated learning. Подробнее в видео-мультике. Позволяет обучать и валидировать модели на распределенных дата-сетах, хорошо масштабируется. Имеется история успеха в biotech и медицине.

Ссылка на новость по встрече.

#пятничный_мем_dwhbigdata

Ссылка на запись.

Друзья! Через 10 минут начинаем заключительный в уходящем году митап 🚀. Это наш юбилейный митап ⭐️35⭐️!