Data Analysis / Big Data

Кажется, аналитика подошла к моменту больших изменений. Ещё недавно подготовка отчётов занимала дни: данные собирались вручную, цифры перепроверялись, а бизнес слишком долго ждал ответы. Сейчас искусственный интеллект меняет сам подход к работе с данными — делает аналитику быстрее, проще и доступнее. 3 июня Visiology проведёт большой онлайн-эфир Cortex LIVE о новом поколении аналитики. На бесплатном онлайн-эфире покажут: — как ускорить получение аналитики — как сократить объём ручной работы — как быстрее находить ответы для бизнеса — как компании уже меняют подход к работе с данными Без сложной теории — только реальные примеры и практические сценарии. Если вы работаете с аналитикой, отчётностью или управлением, этот эфир точно стоит посмотреть. Регистрируйтесь!

Аналитики, которые строят highload: в чём их секрет? 28 мая в 18:00 присоединяйтесь к митапу {43;Tech} в Санкт-Петербурге чтобы узнать, как наладить процессы системного анализа в сложных проектах. На митапе вы узнаете: ▶️ как выстроить системный анализ с нуля и перейти от хаоса к стандартам; ▶️ как писать спецификации, которые архитекторы принимают с первого раза (с расчётом RPS и сайзинга БД); ▶️ погрузитесь в Sequence Diagram и проверите, насколько ваши знания соответствуют спецификации UML. Приходите офлайн в Санкт-Петербурге или подключайтесь онлайн. Участие бесплатное, ссылка на трансляцию будет отправлена накануне. Регистрация и подробности по ссылке: https://career.crpt.ru/events/system-analytics Информационный канал: https://t.me/team_43tech Чат для общения и нетворкинга: https://t.me/chat Это #партнёрский пост

152-ФЗ на практике: как найти и контролировать ПДн в базах данных 🔎 Персональные данные сегодня есть практически в каждой корпоративной системе: CRM, ERP, DWH, BI, служебных таблицах и выгрузках. Но в большинстве компаний отсутствует прозрачность: где именно хранятся персональные данные, кто имеет к ним доступ, сколько существует «теневых» копий, используются ли эти данные вообще и какие риски это создает для бизнеса. 📆 26 мая в 11:00 МСК компания Lasmart проведет бесплатный онлайн-вебинар: «Управление персональными данными: как выстроить контроль в базах данных и снизить риски по 152-ФЗ» В программе: 📊 что 152-ФЗ говорит про ПДн в СУБД и DWH 📊 как автоматически находить и классифицировать ПДн 📊 как выявлять лишние копии и неиспользуемые данные 📊 зачем нужен мониторинг использования ПДн 📊 как выстроить системный процесс контроля 📊 как снизить нагрузку на ИБ- и data-команды за счет автоматизации 🔗 Регистрация #реклама О рекламодателе

Таблицы для аналитиков в 2026-м: Яндекс 360, Р7 и Google Sheets Вопрос инструмента для совместной работы с данными стал сложнее: рынок офисных редакторов за последние год-два заметно перестроился. Появились новые ИИ-возможности прямо в интерфейсе таблиц, изменились условия по on-prem развёртыванию, а доступность облачных сервисов для российских команд остаётся нестабильной. В полном разборе сравниваются три актуальных варианта по форматам, совместной работе, ИИ-ассистентам и интеграциям с аналитическим стеком (BigQuery, gspread, API). Удобно, что авторы свели всё в одну таблицу сравнения. Читать полный разбор.

Искусственный интеллект в открытом космосе Яндекс и Tproger нарисовали красивую космическую карту, где каждая планета — это инструмент для разработчика (от ИИ-ассистентов до облачных сред). Вы летите по орбитам, изучаете, как устроены эти инструменты, и параллельно разминаете мозги историческими загадками про космос и программирование. У тех, кто доберется до конца, есть секретный шанс стать участником розыгрыша космических призов. Играть тут: https://tprg.ru/7xyI

Чем занимается аналитик данных — открытый урок по Python и SQL Приглашаем вас на открытый онлайн-урок Нового технологического университета, где вы увидите, как аналитики работают с данными в реальных задачах. На занятии вы: ➡️ поймете, кто такой аналитик данных и чем он занимается ➡️ выполните две практические задачи на Python и SQL, даже если ни разу этого не делали ➡️ разберетесь, стоит ли идти в профессию сейчас, и что будет с рынком IT через 1-3-5 лет ➡️ поймете, как стать аналитиком данных в 2026, даже если вы еще учитесь в ВУЗе Урок подойдет, даже если у вас нет опыта в программировании или аналитике. Спикер — Ева Панкратова, руководитель продуктовой аналитики в М2, ex-Райффайзенбанк. Занятие пройдет онлайн, участие бесплатное. Сразу после регистрации вы получите бонус: сборник идей для портфолио. → Регистрируйтесь: ссылка Это #партнёрский пост

Как структура данных диктует стиль кода в SQL и pandas В аналитике часто кажется, что выбор между оконной функцией и GROUP BY — дело случая. Но исследование решений реальных задач показывает чёткую закономерность: тип данных предопределяет преобладающие конструкции. Временные ряды и задачи типа «самый высокий результат за день» почти всегда приводят к оконным функциям (RANK, LAG). Когда метрика собирается из нескольких таблиц (факты и измерения) — доминируют JOIN + GROUP BY. Задачи на исключения («кто никогда не совершал действие») — это анти-джойны (NOT EXISTS или ~isin). В pandas аналогично: .merge() появляется там, где нужно скомбинировать данные, а .groupby() — на следующем шаге. Понимание этих паттернов позволяет не гадать, а сразу выбирать нужный инструмент, ускоряя написание и отладку кода. Подробности в статье: https://www.kdnuggets.com/visualizing-patterns-in-solutions-how-data-structure-affects-coding-style

Как UPS сэкономила $400 млн в год на левых поворотах и системной интеграции Американская логистическая компания UPS внедрила систему оптимизации маршрутов ORION (On-Road Integrated Optimization and Navigation). Результат: минус 140 млн км пробега в год и ежегодная экономия $300–400 млн на топливе. Этот кейс приводят как чистый триумф дата-саентистов, разработавших математическую модель. Но главная проблема проекта, разработка которого заняла почти 10 лет, заключалась во внедрении. Чтобы алгоритм заработал на 55 000 грузовиков, потребовалась масштабная работа системных аналитиков. Что было сделано на уровне системного анализа: ➡️ Спроектирована сложная интеграция: ORION необходимо было связать с легаси-инфраструктурой (системой Package Flow Technology), телематикой самих автомобилей и мобильными терминалами водителей (DIAD). ➡️ Оцифрованы нетривиальные бизнес-ограничения: алгоритм должен был учитывать жесткие окна доставки, приоритеты грузов и знаменитое правило UPS «избегать левых поворотов» — это снижает время простоя на перекрестках и риск ДТП. ➡️ Спроектирован UX/UI и логика работы: система должна динамически перестраивать маршрут при новых вводных, но оставаться понятной и предсказуемой для водителя. Без грамотной трансляции процессов в интерфейс водители просто саботировали бы «непонятный» алгоритм. Именно системный аналитик связывает алгоритмы, железо, распределенные базы данных и реальные бизнес-процессы в работающий продукт. Если вы хотите решать задачи такого уровня, проектировать архитектуру и интеграции высоконагруженных систем, обратите внимание на курс «Мидл системный аналитик» от Яндекс Практикума PRO. За 4 месяца вы углубитесь в работу с брокерами сообщений, проектирование API и продвинутое моделирование, чтобы выйти на уровень уверенного middle+. Подробности по ссылке: https://tprg.ru/qMbA Реклама. Рекламодатель: АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033, erid: 2W5zFHVZL81

Победителями премии Тпрогер 🐀становятся... Здесь играет барабанная дробь и интригующая музыка... Вам нужно только выждать драматическую паузу перед объявлением победителей — в каждой номинации он один, и определяется большинством голосов. Готовы? В номинации «Продукт года» золотая мышь достается компании: 🐀NetVision за платформу интеллектуального мониторинга СИМ. В номинации «Облачный продукт года» побеждает компания: 🐀Гравитон с паком виртуализации «Гелиус» Звание «IT-ивент года» вручается компании: 🐀Островок! за О!Хакатон И в категории «Дизайн года» первое место занимает компания: 🐀AcademiaDev за интерактивную инсталляцию. Каждый ваш лайк, голос влияли на исход премии. Давайте поддержим всех — ставьте 🏆участникам, которые хоть и не заняли призового места, но точно остались в сердечке. И 🔥, если хотите аналогичных активностей и готовы выбирать еще!

Победителями премии Тпрогер 🐀становятся... Здесь играет барабанная дробь и интригующая музыка... Вам нужно только выждать драматическую паузу перед объявлением победителей — в каждой номинации он один, и определяется большинством голосов. Готовы? В номинации «Продукт года» золотая мышь достается компании: 🐀NetVision за платформу интеллектуального мониторинга СИМ. В номинации «Облачный продукт года» побеждает компания: 🐀Гравитон с паком виртуализации «Гелиус» Звание «IT-ивент года» вручается компании: 🐀Островок! за О!Хакатон И в категории «Дизайн года» первое место занимает компания: 🐀AcademiaDev за интерактивную инсталляцию. Каждый ваш лайк, голос влияли на исход премии. Давайте поддержим всех — ставьте 🏆участникам, которые хоть и не заняли призового места, но точно остались в сердечке. И 🔥, если хотите аналогичных активностей и готовы выбирать еще!

Последний день голосования в Tproger Award! Две недели, 16 компаний, 4 номинации — спасибо, что читали, участвовали и лайкали. И отдельное спасибо, что голосовали! Вообще не представляем, что вы там наделали, уже узнать хочется! Давайте сегодня зафиналим голосовалку и раздадим по максимуму золотых мышей. Интересно, расстановка сил сможет измениться за один день? Если потеряли, то номинации вот: — Продукт года — Облачный продукт года — ИТ-ивент года — Дизайн года Только сайт не положите, очень просим 🙏 Пойти голосовать: https://tprg.ru/bWfy

Где лучшие тусовки? На тех-ивентах! Последняя по очереди, но не по значимости — номинация «IT-ивент года». Здесь тоже собрались три компании, и если вы еще не добрались до чтения их кейсов, то давайте сделаем это вместе. — Лаборатория Числитель собрала конференцию, на которой обсуждают строго только K8s. — Мероприятие Selectel, которое стало уже традицией, делали полностью in-house. — Специально для своего хакатона Островок создал платформу, чтобы участвовать могли разработчики из любой точки мира. Выбирайте компанию-фаворита и вручайте ей золотую мышь — голосование доступно на сайте.

Кейсы из номинации «Дизайн года» ждут ваших голосов Осталась ровно неделя до конца голосования в премии Tproger. Уже дико хочется узнать, кто в лидерах! Но даже мы в команде стараемся держать интригу. И чтобы скоротать время, давайте посмотрим на дизайнерские кейсы компаний:

— AcademiaDev представила интерактивную инсталляцию, которая разлетелась по СМИ и собрала 48 млн охвата.

— ИИ-платформа Сократик рассказала, как устроена их система по генерации готовых презентаций.

— Островок поделился, как они сделали отдельную айдентику для Ostrovok! Tech.

Закидайте их своими голосами: https://tprg.ru/WLvk

Какой кейс станет облачным продуктом года? Давайте думать, подсказывайте голосовать! В этой номинации Tproger Awards также участвуют пять компаний. Вот статьи про их продукты:

👍ПАК виртуализации от Гравитона, который построен по гиперконвергентной архитектуре, что предусматривает простое и предсказуемое масштабирование.

👍ИИ-ассистент от Рунити, который начинался как внутренний продукт, но уже вышел на внешний рынок.

👍VPS от SmartApe, который помог онлайн-школе выдержать рост нагрузки в 5 раз.

👍Контейнерная платформа «Штурвал» от Лаборатории Числитель, благодаря которой система стала устойчива к высоким нагрузкам.

👍Облачная платформа от Selectel, которая позволяет компаниям самим управлять данными, подключать нужные сервисы в несколько кликов и иметь доступ к поддержке 24/7.

Что из этого достойно золотой мыши — решать вам. Переходите на сайт голосования и выбирайте тот самый кейс 👍

Выбираем лучший продукт года🐀 У нас в разгаре премия Tproger — в ней мы выбираем лучшие ИТ-разработки среди 16 компаний. Сегодня ближе знакомимся с участниками номинации «Продукт года». В ней участвуют пять компаний. Изучаем:

👍ОТП Банк представляет ASOC-сканер, который спроектировал один разработчик за месяц.

👍Гравитон делится кейсом создания ПО мониторинга без агентов, который можно затестить бесплатно.

👍NetVision борется с недобросовестными самокатчиками с помощью платформы интеллектуального мониторинга СИМ.

👍Solar показывает appScreener, который вырос из стартапа до стандарта рынка; при работе над ним сотрудники получили научные степени.

👍Reksoft рассказывает о платформе Brain ERM, который помогает компаниям экономить до 70% времени на рутинных HR-операциях.

Если вы еще не проголосовали за понравившийся продукт — самое время это сделать. Переходите на сайт премии и выбирайте свой релиз года. Пусть золотая мышь достанется команде лучших 🔥

Ручная работа с корпоративными данными в Excel тормозит принятие решений? Переходите к управляемой аналитике с Дельта BI: → автоматизируйте рутинные преобразования данных → консолидируйте информацию из разных источников → работайте с актуальной отчетностью и прогнозами — с компьютера или телефона Для команд до 35 человек действует специальное предложение — пакеты лицензий с поддержкой и гибкими условиями масштабирования. ❗Оставьте заявку до 1 апреля 2026 года и протестируйте Дельта BI в облаке Yandex Cloud в течение месяца бесплатно. Подробности и технические требования — на сайте Дельта BI.

Премия Tproger объявляется открытой! 🐀 Каждый год команды разработки фиксят баги, выкатывают редизайн, добавляют фичи или создают совершенно новые продукты внутри известных нам брендов. Какие-то результаты работы мы видим, но чаще внутрянка не доступна и оценить по достоинству ее не получается. Отсюда родилась идея Премии Tproger. В ней ИТ-компании делятся успешными кейсами разработки, а аудитория решает, какой проект заслуживает награды — золотой мыши 🐀 В премии участвуют 16 компаний в 4 номинациях: ⚫ Продукт года

Здесь представлены платформенные решения, направленные на комплексную автоматизацию ключевых направлений деятельности: от контроля безопасности разработки ПО и ИТ-инфраструктуры до управления ресурсами компании.

⚫ Облачный продукт года

В этом разделе вас ждут платформы виртуализации, облачные среды для AI/ML, инструменты управления кластерами и микросервисами, обеспечивающие высокую производительность и быстрый запуск цифровых сервисов. ⚫

IT-ивент года

Участники рассказывают о профессиональных конференциях и хакатонах, объединяющих тысячи разработчиков и инженеров.

⚫ Дизайн года

В номинации представлены проекты, где дизайн встречается с инженерией: нейросети, создающие презентации за секунды; инсталляции, собравшие десятки миллионов контактов; и визуальные стратегии, транслирующие ценности разработки.

Теперь они в ваших руках 👍 1. Переходите на сайт премии. 2. Выбирайте понравившиеся кейсы в каждой категории. 3. И вручайте им золотую мышь. Голосование продлится до конца февраля и уже в марте мы объявим победителей. Stay tuned!

Ну и еще немного про ИИ! 😁 Одни компании недолюбливают нейросети за риск утечки конфиденциальной информации. Судя по комменту к предыдущему посту вы тоже от него устали 🤪 Но каким-то образом у разных компаний получается приручить эту химеру и выуживать из нее пользу. Как, например, у этих ребят. Команда хотела облегчить работу коллег и создала то, что стало ключом к корпоративному ИИ. Они хотели доступ к мощным нейросетям, но так, чтобы ни байта данных не вышло за порог компании. И чтобы запускал это не только технарь, но и обычный менеджер. Главный стоппер был предсказуем: как заставить прожорливые модели стабильно работать в облаке под нагрузкой? Решение оказалось элегантным. Это девятый артефакт — для тех, кто побаивается нейросетей, но явно на них облизывается. Покажите вашему начальнику, скажите, что все не так страшно 👻

⚪️ Артефакт №2. Категория «Дизайн» ⚪️ Дашборд — это скучно до того момента, пока к его визуализации не подключат гигантский экран. Сегодняшняя история о команде, которая превратила обычную статистику посещения фестиваля в генеративное шоу. Их задача звучала как вызов: сделать так, чтобы было невозможно оторвать глаз от дашбордов. Так они создали интерактивную инсталляцию, где посетители, сами того не зная, становились частью цифрового арт-объекта. 🤩 Что скрывает этот артефакт? 🤩 🤩 Способ связки 40 потоков с YOLO v8, PostgreSQL и движок визуализации без лагов в один конвейер. 🤩 Задачу дедубликации тысяч JSON-записей от нейросетей. 🤩 Борьбу с «сырыми» данными от камер и их преобразование в чистую структуру для базы и красивого рендера. Следующий артефакт представит категорию «Виртуализация». Не пропустите.

🔄 Артефакт №1. Категория: «Город» 🔄 От кого только не прилетает самокатчикам. Иногда за дело, иногда нет. Не нам судить, но мы обсудим, что делать, например, с явными нарушителями? Как их контролировать, если операторы кикшеринга не пускают в свои данные? Закрывать глаза на хаос на тротуарах или тотально запрещать? Мы получили кейс, где за 4 месяца команда из 7 человек создала платформу мониторинга, которая фиксирует самокатовские нарушения. Их задачей было сделать инструмент для структурирования данных, чтобы чиновники и операторы нашли общий язык. 🤩 Что скрывает этот артефакт? 🤩 🤩 Смекалистый метод охоты за данными, когда реальные видео с камер недоступны. 🤩 Принципы, которые помогли сделать мониторинг более объективным. 🤩 Гибридный R&D: тактика, которая помогла запустить MVP за четыре месяца, вместо шести. Планируем поделиться с вами целой пачкой интересных артефактов. Ставьте 👀, если любопытно узнать их все.