Data Analysis / Big Data

Как стать аналитиком данных  за 6–12 месяцев [гайд] В статье — полный разбор профессии: от ключевых навыков (SQL, Python, статистика) до карьерного пути и зарплат по регионам. Читать: «Как стать аналитиком данных  за 6–12 месяцев [гайд]» #ru @big_data_analysis | Другие наши каналы

Роль хранилищ и платформ данных в развитии ИИ Сегодня бизнес активно использует машинное обучение (Machine Learning, ML) для решения самых разных задач — от прогнозирования продаж до автоматизации процессов. Однако искусственный интеллект — это не какое-то волшебство, а математика, методы и алгоритмы, которые не будут работать без качественных и подходящих именно им данных. Чем больше качественных данных доступно для анализа, тем более сложные и точные модели можно построить. Меня зовут Анна Фенюшина, я ведущий архитектор направления «Дата-сервисы» в VK Tech. В этой статье я разберу, какие поколения ML существуют, какие данные нужны для их реализации и как современные хранилища могут помочь в развитии ИИ. Читать: https://habr.com/ru/companies/vk/articles/989456/ #ru @big_data_analysis | Другие наши каналы

Лучшие курсы по анализу данных для начинающих с нуля — онлайн обучение Data Analyst Лучшие курсы для аналитика данных: рейтинг актуальных обучающих программ. Подборка онлайн-обучения профессии Data Analyst с нуля и для специалистов с опытом Читать: «Лучшие курсы по анализу данных для начинающих с нуля — онлайн обучение Data Analyst» #ru @big_data_analysis | Другие наши каналы

Сбер заменил ИИ до 25% разработчиков — от джунов до лидов Сбер заменил ИИ до 25% IT-команды: тысячи разработчиков и тестировщиков уволены под видом «оптимизации», банк говорит об автоматизации Читать: «Сбер заменил ИИ до 25% разработчиков — от джунов до лидов» #ru @big_data_analysis | Другие наши каналы

Топ-10 малоизвестных языков программирования, которые могут выстрелить в будущем Языки программирования будущего. Показываем, какие языки наиболее перспективны. Рассматриваем плюсы и минусы каждого Tproger Читать: «Топ-10 малоизвестных языков программирования, которые могут выстрелить в будущем» #ru @big_data_analysis | Другие наши каналы

Южная Корея может навсегда потерять 858 ТБ государственных данных после пожара в дата-центре В результате пожара в государственном дата-центре NIRS в Южной Корее уничтожено до 858 ТБ данных, включая хранилище G-Drive без резервной копии. Четыре человека арестованы, восстановление сетей идёт медленно. Читать: «Южная Корея может навсегда потерять 858 ТБ государственных данных после пожара в дата-центре» #ru @big_data_analysis | Другие наши каналы

Типы языков программирования: от низкоуровневых до высокоуровневых — как выбрать для новичка Выбираете первый язык программирования? Узнайте о низкоуровневых (C, C++), среднеуровневых (Java, C#) и высокоуровневых (Python, JavaScript) языках: плюсы, минусы и примеры применения. Чек-лист от экспертов поможет новичкам выбрать язык для веб, мобильной разработки или игр. Читать: «Типы языков программирования: от низкоуровневых до высокоуровневых — как выбрать для новичка» #ru @big_data_analysis | Другие наши каналы

Навыки аналитика, которым вас никто не учит Аналитике редко учат напрямую: как выстраивать аналитическое мышление, находить реальные причины изменений в метриках и выбирать KPI, которые ведут к решениям, а не к «красивым отчётам». Эта статья — о навыках аналитика, которые формируются на практике и чаще всего через ошибки. Читать: https://habr.com/ru/articles/988818/ #ru @big_data_analysis | Другие наши каналы

Как стать ML-инженером? От студента до Senior В этой статье вы узнаете кто такой ML-инженер, чем он занимается, какие направления есть в этой профессии, а также узнаете список технологий, который нужно знать для работы в профессии. Читать: «Как стать ML-инженером? От студента до Senior» #ru @big_data_analysis | Другие наши каналы

Запускаем локально Deepseek-R1 для приложения RAG Как запустить DeepSeek локально и использовать её для поиска по документации? Разбираем ключевые особенности модели, её преимущества перед ChatGPT, влияние на рынок и применение технологии RAG. Читать: «Запускаем локально Deepseek-R1 для приложения RAG» #ru @big_data_analysis | Другие наши каналы

Многофакторное сравнение пяти популярных вычислительных движков для больших данных Эволюция от Hadoop к cloud‑native и ИИ‑архитектурам. Многомерное сравнение Spark, Presto, Trino, ClickHouse и StarRocks по скорости, масштабируемости, кэшам, SQL/Python, HA и др. Читать: «Многофакторное сравнение пяти популярных вычислительных движков для больших данных» #ru @big_data_analysis | Другие наши каналы

Компрессор для данных или как я написал свой первый custom transformer Эта статья будет полезна DS специалистам, и тем, кто хоть когда-нибудь сталкивался с такой проблемой, как выбросы в данных или OOD (out of distribution), и ищет пути решения проблем, возникающих из-за них. Читать: https://habr.com/ru/articles/988736/ #ru @big_data_analysis | Другие наши каналы

Куда двигаться после изучения Django: советы для Python-разработчиков В статье разбираемся, почему Django — далеко не финиш в карьере, и в каких направлениях можно двигаться Python-разработчику. Читать: «Куда двигаться после изучения Django: советы для Python-разработчиков» #ru @big_data_analysis | Другие наши каналы

Как выбрать облако под стартап: от серверов до биллинга Запускаете стартап? Разбираем, какое облако подойдет под ваш проект — подборка платформ. Читать: «Как выбрать облако под стартап: от серверов до биллинга» #ru @big_data_analysis | Другие наши каналы

Как найти работу в IT за границей в 2025 году: ответы на часто задаваемые вопросы и рекомендации экспертов Свежая статистика, исследования и советы экспертов: как российским IT-специалистам найти работу за границей в 2025 году. Читать: «Как найти работу в IT за границей в 2025 году: ответы на часто задаваемые вопросы и рекомендации экспертов» #ru @big_data_analysis | Другие наши каналы

Проекции в Vertica: что это, как использовать и почему не стоит создавать их под каждый запрос Иван Якунин, продуктовый аналитик команды Fintech Marketplace, рассказал про то, как в Авито работают с Vertica, и на примерах объяснил, что такое проекции, и когда их стоит использовать. Читать: «Проекции в Vertica: что это, как использовать и почему не стоит создавать их под каждый запрос» #ru @big_data_analysis | Другие наши каналы

Что нужно знать о приватности данных в 2025, если вы разработчик Актуальные требования к обработке персональных данных в 2025 году. Как разработчикам соблюдать закон и избежать штрафов. Практические советы по защите информации в коде и архитектуре приложений. Читать: «Что нужно знать о приватности данных в 2025, если вы разработчик» #ru @big_data_analysis | Другие наши каналы

Участие Газпромбанка в Международном молодежном экономическом форуме «День будущего» на ПМЭФ Рассказываем, как прошла дискуссия на «Дне будущего» в рамках ПМЭФ-2025 — о страхах, ошибках, первых шагах и поддержке молодых профессионалов на пути к успеху. Читать: «Участие Газпромбанка в Международном молодежном экономическом форуме «День будущего» на ПМЭФ» #ru @big_data_analysis | Другие наши каналы

Модуль Python для обновления данных в БД — DBMerge Хочу рассказать о своей разработке и поделиться ей с сообществом habr в виде готового модуля для Python. Этот модуль решает задачу обновления данных в базе данных. Он выполняет insert/update/delete в одном действии. Модуль DBMerge проектировался для упрощения ETL процессов по загрузке данных из множества внешних источников в SQL базу. Для взаимодействия с базой данных используется SQLAlchemy и ее универсальные механизмы, таким образом, разработка не имеет привязки к конкретной БД. (На момент написания статьи, детальные тесты проводились для PostgreSQL, MariaDB, SQLite, MS SQL) Принцип действия Принцип действия следующий: модуль создает временную таблицу в базе и записывает в нее весь входящий датасет через операцию массового insert. Далее он выполняет инструкции UPDATE, INSERT, DELETE для целевой таблицы. Читать: https://habr.com/ru/articles/985306/ #ru @big_data_analysis | Другие наши каналы

Самые образованные поколения — самые невежественные? Образование растёт, но критическое мышление буксует. Почему «самые умные» поколения легко попадаются на дезинформацию? Исследуем парадокс цифрового невежества. Читать: «Самые образованные поколения — самые невежественные?» #ru @big_data_analysis | Другие наши каналы