DataEng

Run periodic jobs in PostgreSQL Недавно открыл для себя интересное расширение для БД PostgreSQL: pg_cron. Балалайка позволяет запускать периодические задачи внутри базы данных: SQL запросы, процедуры и т.д. Удобно, вдруг кому пригодится 💡

Ты системный аналитик? Прокачайся до уровня Middle с «Иннотех»! Группа компаний «Иннотех» запускает новый поток технического обучения для системных аналитиков с опытом работы с возможностью дальнейшего трудоустройства в «Иннотех» Во время бесплатного обучения в течение 6 недель участников ждет: 🔹 теория и практика от специалистов ведущей ИТ-компании, 🔹 обучение на реальных кейсах «Иннотеха» 🔹 индивидуальная обратная связь по каждому заданию, 🔹 обмен опытом и живое общение с преподавателями Занятия будут проходить по вечерам с 18:00 до 19:30 в понедельник и четверг. Всего 12 заданий, на каждое из которых понадобится около 2 часов. 🌟 Как попасть на программу? До 27 октября заполняйте анкету по ссылке и проходите входное тестирование. Количество мест ограничено! Старт обучения — 30 октября. Лучших участников программы пригласят на работу в команду ГК «Иннотех»! Реклама. Рекламодатель ООО «ГК «Иннотех» ». erid: Kra23xtUN

Человек на 60% состоит из воды, а Тинькофф на 100% из масштабных ИТ-задач и ежедневных вызовов Если ты опытный ИТ-спец, этот вызов для тебя. А решение бытовых забот берем на себя: от ультра расширенной медстраховки и юридической поддержки до компенсации питания, спорта и дополнительного обучения. Выбрать вакансию и стать частью ИТ-команды можно тут: https://u.tinkoff.ru/itcareer АО «Тинькофф Банк», ИНН 7710140679

Курс по соревновательному Data Science👨‍💻 🏆 Хочешь покорить Kaggle и научиться выигрывать соревнования по анализу данных? Тогда курс "Введение в соревновательный Data Science" - это именно то, что тебе нужно! 🎯 В отличие от большинства курсов по машинному обучению, этот сконцентрирован на практике. Поэтому на нем будет более 200 практических заданий, интервью с Kaggle Grand Masters и, конечно же, внутренние соревнования для отработки техник. ⚡️В программе курса тебя ждет: * Продвинутая работа с pandas и numpy * Генерация, визуализация и фильтрация признаков * Модуль про SOTA градиентные бустинги и то как их тюнить и еще 6 других блоков. 🚀 Также, ребята проводят еженедельные открытые вебинары, на которых разбирают решения победителей с чемпионатов и делают обзоры предстоящих соревнование. 🔗 Подписывайся на их телеграмм канал, там они делятся полезным контентом, рассказывают про курс и анонсят новые стримы.

Релиз Python 3.12 Релиз преимущественно связан с повышением производительности, в среднем улучшения около 5%. Из значительных фич это появление отдельного GIL на т.н. субинтерпретаторы. Эта фича пока доступна только в С API, а с версии Python 3.13 будет доступна и в Python API. Подробнее о релизе: https://pythoninsider.blogspot.com/2023/10/python-3120-final-now-available.html

PyCon PT 2023 День богат на новые доклады. Сейчас появились видео с прошедшей конфы PyCon Portugal 2023: https://bit.ly/3PYOHY7

На Ютубе появились доклады с прошедшей конференции Airflow Summit 2023 в Канаде: https://bit.ly/3LGdPkQ

Яндекс выложил в опенсорс свой BI тул DataLens: https://github.com/datalens-tech

Планы на среду: прокачать SQL и расчет продуктовых метрик! 📣 20 сентября в 19:00 по Мск пройдет бесплатный live-интенсив по теме: “Расчет продуктовых метрик с помощью SQL”. Мы проводили такой интенсив в прошлом месяце, но многие не успели на него записаться, а очень хотели — поэтому мы решили, почему бы не провести его еще раз 😍 А еще он очень понравился участникам, и мы собрали много положительного фидбека 💫 👉🏻 На live-интенсиве мы с вами подключимся к реальной облачной базе PostgreSQL и с помощью SQL рассчитаем основные продуктовые метрики онлайн-сервиса: * Activation rate * MAU * ARPU и ARPPU * другие метрики На интенсиве вы узнаете: ◾️ Как используют SQL в реальной работе — вы сможете сохранить это в портфолио и показать на собеседовании: работодатель точно оценит 🤘🏻 ◾️ Профессиональные фишки и лайфхаки SQL: мы копили их годами и хотим рассказать вам 😏 ◾️ Как писать код на SQL, а также мы расскажем про продуктовые метрики — подробно объясним всё с нуля 😍 🔗 Регистрируйтесь по ссылке Реклама. ООО АЙТИ РЕЗЮМЕ. Erid:LjN8KZHzo

Обзор новых фич в новой версии PostgreSQL 16: https://www.youtube.com/watch?v=M7m3A68CTJg

А вы хотите успешно пройти собеседование на аналитика? 🚀 📣 Всем привет! Хотим пригласить вас на бесплатный 5-дневный марафон-подготовку к собеседованиям на позицию аналитика данных! 🗓 Марафон начнется 14 сентября! Для кого наш марафон? 👉 Для всех, кто хочет повысить свои шансы на успешное прохождение собеседований на аналитика данных. 👉 Для тех, кто уже сталкивался с провальными собеседованиями и тестированиями и хочет избежать таких ошибок в будущем. Почему стоит присоединиться к нашему марафону? 💡 ◾️ Получите ценную информацию об оценке своих навыков. ◾️ Разберетесь с техническими вопросами, которые могут вас ожидать на собеседованиях. ◾️ Узнаете секреты успешного прохождения собеседований в ТОП-компании. ◾️ Овладеете навыками создания идеального резюме. ◾️ Прорешаете реальные тестовые задания. Присоединяйтесь к нашему марафону и покажите всем, что вы готовы стать настоящим профессионалом в аналитике данных! 💪💼 🔗 Записаться на марафон здесь Реклама. ООО АЙТИ РЕЗЮМЕ. Erid: LjN8K77aN

Аналитик-разработчик в области автоматизации процессов ИБ Яндекс Москва, СПБ #гибрид junior, middle Команда безопасности Яндекс 360 ищет энергичного эксперта по ИБ для автоматизации различных компонент СУИБ. Что нужно делать: - искать оптимальные пути для автоматизации процессов и метрик ИБ; - создавать автоматизированные реестры данных; - разрабатывать и имплементировать подходы к взаимодействию разных подсистем; - внедрять архитектурные решения по улучшению процессов обеспечения ИБ и мер защиты; - взаимодействовать с разработчиками и менеджерами продуктов и сервисов в рамках автоматизации процессов. Мы ждем, что вы: - знаете ключевые концепции и технологии обеспечения ИБ; - понимаете устройство *nix-систем, систем контейнеризации; - умеете автоматизировать работу с помощью Golang или Python; - умеете говорить на языке разработчиков; - представляете устройство облачных платформ. Будет плюсом, если вы: - активно участвуете в профессиональных сообществах; - занимались профессиональной разработкой; - проводили исследования или публиковали статьи в области ИБ; - понимаете специфику и проблемы публичных облачных платформ. Подробнее об условиях и вакансии: https://clck.ru/35WzRp Контакт в тг: @Oksidgi

Всем привет! Требуется Developer Advocate Data Platform в Yandex Cloud Позиция: Developer Advocate Data Platform Локация: Москва (гибридный формат работы) Занятость: Fulltime Компания: Yandex Cloud ⛅️ #вакансия #Москва #bigData #fulltime #Sql #NoSql Многофункциональная облачная платформа Yandex Cloud помогает компаниям и частным разработчикам создавать и совершенствовать цифровые сервисы и приложения. С момента запуска в сентябре 2018 года выручка и аудитория Yandex Cloud выросли в десятки раз, а сегодня платформой ежедневно пользуются десятки тысяч клиентов. Продуктовая группа Data Platform включает ClickHouse, PostgreSQL, Greenplum®, OpenSearch, Apache Kafka®, Apache Spark™, Data Transfer и другие сервисы. Мы ищем специалиста, который будет адвокатом платформы данных Yandex Cloud в сообществах разработчиков. ⛅️Что нужно делать: - представлять платформу данных в сообществах разработчиков, формировать её восприятие в соответствии с выбранным позиционированием и помогать приросту лояльной аудитории; - готовить разноформатный контент для Хабра и других площадок c целевой аудиторией; - выстраивать сторителлинг вокруг платформы данных для разных ролей: как бизнес-заказчиков, так и технических специалистов; - готовить презентации и выступать с ними на внутренних и внешних мероприятиях; - проводить вебинары, практикумы и другие мероприятия по обучению работе с платформой данных; - развивать и поддерживать офлайн- и онлайн-коммуникации: формировать восприятие сервисов платформы как выбор по умолчанию в профильных чатах Greenplum, PostgreSQL, Data engineers и др. ⛅️ Мы ждем, что вы - работали разработчиком или инженером в сфере IT; - отлично разбираетесь в способах работы с данными; - разбираетесь в базах данных, средствах загрузки и других инструментах и сами можете писать код для развития опенсорсных технологий; - умеете рассказывать истории и оформлять их в статьи и презентации; - любите общаться с сообществом на тему технологий, собирать обратную связь и выстраивать конструктивный диалог. ☎️Контакты: @oksidgi Подробнее о вакансии и условиях: https://clck.ru/35WAPt

Как работают с бигдатой в «тяжёлом диджитале» и что спрятано в хранилище данных СИБУРа? Приходите разбираться вместе на DDS Night! 30 августа в 18:00 инженеры и архитекторы данных СИБУР Диджитал расскажут, как в компании разработали методологию Детального Слоя Хранилища на базе методологий Data Vault 2.0 и Anchor Modeling, и построили детальный слой данных с ее применением. Рекомендуем митап архитекторам и разработчикам систем автоматизации процессов разработки DDS. Это отличная возможность узнать, как оптимизировать процесс разработки DDS, да и в целом расспросить обо всём экспертов по данным в лидере российской нефтегазохимии. Митап пройдет онлайн в следующую среду: успейте зарегистрироваться, чтобы получить ссылку на ивент.

Airflow 2.7.0 Вчера состоялся большой релиз новой версии самого популярного Workflow менеджера в Python: Apache Airflow 2.7.0 Из новых фишечек: — Setup and Teardown tasks — Cluster Activity UI — OpenLineage built-in integration Улучшения: — Убрали поддержку Python 3.7 — В рамках улучшения безопасности Airflow запретили функцию проверки Connections в UI — Новый Graph View теперь используется по умолчанию, старую версию удалили — При обновлении версии рекомендуется накатывать миграции через команду airflow db migrate Полный список можно посмотреть тут.

SmartData 2023 — 6-7 сентября в онлайне, 13-14 сентября офлайн в Москве (с возможностью подключиться к трансляции). За 4 дня конференции спикеры расскажут про устройство платформ данных, сравнят подходы к их обработке, а также подробно разберут плюсы и минусы различных решений и фреймворков. А еще вас ждут живые дискуссии, круглые столы, новые знакомства и возможность перезагрузиться от рабочей рутины как в онлайне, так и в офлайне. В офлайне будет еще больше нетворкинга и афтерпати для всех участников. Посетить конференцию можно за счет компании. Но если покупаете билет самостоятельно, то ищите его на вкладке «Для частных лиц». По промокоду нашего канала он будет дешевле — dataeng Узнать подробности, посмотреть список спикеров и описание докладов можно на сайте.

В блоге у Werner Vogels (тех. дир Amazon), я наткнулся на гостевой пост (автор Andrew Warfield) про историю популярного распределенного хранилища Amazon S3: Building and operating a pretty big storage system called S3

В AWS Big Data блоге вышла статья про Dimension Modeling по Кимбалу в Amazon Redshift: https://aws.amazon.com/ru/blogs/big-data/dimensional-modeling-in-amazon-redshift/. Мне б эту статью в 2019 году, когда я мучился со снежинкой на Redshift, а в итоге забил и денормализовал всё.

Podlodka #329 – Data-engineering Чтобы принимать разумные решения, нужны данные. А чтобы данные были качественные и своевременные – нужны дата-инженеры! Кто они, чем занимаются и при чем тут биг дата – выясняем с Глебом Кантеровым. 🎧 Слушать выпуск

Beeline Data Engineering Meetup: Решение бизнес-задач с помощью данных 🗓18 июля, 17:00 (МСК, GMT +3) 🌐Онлайн В программе: ✔️ Максим Петров — «ETL Pipelines как микросервисы» Внедрение микросервисов на ETL-потоках для создания системы со встроенными аналитическими возможностями.  ✔️ Андрей Чучалов — «Как оптимизировать параметры запуска приложения Spark — ищем проблемы и повышаем производительность» Доклад о том, как выявить ошибочную конфигурацию приложения, рассчитать параметры работы и эффективно использовать ресурсы кластера.  ✔️ Владислав Шевченко, Оксана Солдатова — «Как мы управляем данными с помощью каталога данных» Как в Альфа-Банке и билайне выбирался и внедрялся каталог данных: что от него ожидали и что фактически получилось. Вы сможете задать вопросы спикерам и подискутировать с другими участниками. Авторы лучших вопросов получат подарки🎁 А еще будет разыгран онлайн-билет на конференцию SmartData 🔥 Участие бесплатное. Нужно только зарегистрироваться.