Data Analysis / Big Data

Как я из специалиста по защите информации стал аналитиком данных. Моя история Привет, хабр! Меня зовут Алексей, я работаю аналитиком данных в компании "Мегапьютер", но я не сразу стал им. Чтобы понять, кем я действительно хочу работать, потребовалось время. В 2017 я закончил ЧГУ (Чебоксарский Государственный Университет) по специальности защита информации, но и начал свой трудовой путь в телекоммуникационной компании специалистом по защите информации. И пошло-поехало первое, что я делал, приходя на работу изо дня в день - проверял свой почтовый ящик на наличие уведомлений о событиях информационной безопасности (ИБ). Данные уведомления поступали из различных источников, включая системы обнаружения вторжений, брандмауэры и антивирусное программное обеспечение. Специалист по ИТ-безопасности, то есть я, должен знать эти предупреждения, чтобы определить, представляют ли они реальную угрозу или ложное срабатывание. При определении события, как инцидент ИБ, я должен был немедленно отреагировать на него. Мне требовалось определить источник атаки и принять меры для его сдерживания, предотвращения дальнейшего ущерба и восстановления потерянных данных. Этот процесс мог занимать много времени и требовал огромного терпения и выдержки. В общем, такая работа постоянно держала меня в напряжении и не давала полета творчества. И самое главное, я был загнан в рамки свода правил, определенных федеральными законами. Но я продолжал работать. Что, зря учился, что ли, думал я. И все это длилось бы долгие и долгие годы, если случайно в торговом центре я не встретил своего бывшего одноклассника, который, как оказалось, уже несколько лет успешно работал аналитиком данных. Он интересно рассказывал мне о характере своей деятельности, основных обязанностях. Придя домой, под впечатлением рассказа друга, я стал изучать информацию о данной профессии в интернете. Заказал книгу Эрика Сигеля «Просчитать будущее: Кто кликнет, купит, соврет или умрет», открывающую завесу профессии аналитика данных. Читать: https://habr.com/ru/post/725896/

131 вопрос с собеседованиях про SQL SQL является одним из самых популярных языков для работы с базами данных. Каждый, кто работает с данными, должен знать основы SQL, включая такие понятия, как создание и модификация таблиц, выборка данных из таблиц, обновление и удаление записей, агрегирование данных и многое другое. Если вы ищете работу, связанную с базами данных, вероятность высока, что на собеседовании вам зададут несколько вопросов про SQL. Подготовьтесь к собеседованию c помощью списка из 131 вопроса, которые могут попасться на собеседование про SQL. Пройти собеседование Читать: https://habr.com/ru/post/725780/

Oracle Analytics Server (OAS) 2023 Update (7.0.0) is live Oracle Analytics Server (OAS) 2023 Update (7.0.0) is live Read: https://blogs.oracle.com/analytics/post/oracle-analytics-server-oas-2023-update-700-is-live

Using Oracle Fusion HCM Analytics to reconcile Data Integrity – Analyze, understand, and action on fusion rejects Making informed decisions requires two key components: fostering data literacy within your organization company and keeping reliable data in your underlying transaction system. Read this post to understand how Fusion Analytics helps you on both fronts by identifying erroneous transactions in source Cloud HCM. Read: https://blogs.oracle.com/analytics/post/hcm-analytics-rejects-guidance

By how much did observational studies over-estimate Covid vaccine effectiveness Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/03/by-how-much-did-observational-studies-over-estimate-covid-vaccine-effectiveness.html

Ультимативная дорожная карта для изучения SQL и баз данных в 2023 году + источники для знаний Roadmap, который поможет вам научиться работать с SQL. Чтобы стать настоящим экспертом в SQL, нужно много практиковаться и изучать различные аспекты языка на протяжении многих лет. Мой Roadmap предлагает отличный старт для начала изучения SQL, поэтому я рекомендую вам приступить к обучению согласно плану. Читать: https://habr.com/ru/post/725414/

​Как создать интерактивный дашборд, используя BI-решения? Потренируйтесь вместе с экспертом 29 марта в 20:00 на открытом уроке онлайн-курса «Аналитик данных» в OTUS . Курс доступен в рассрочку. На занятии вы: — Познакомитесь с основами визуализации данных и Business Intelligence — Поговорите о том, какую роль наглядное представление информации играет в современном мире — Узнаете, как можно раскрыть свой потенциал в визуальном анализе данных, какие программы для этого подойдут лучше всего — Создадите интерактивный дашборд, используя бесплатные BI-решения Для участия пройдите вступительный тест: https://otus.pw/ehD4/ Реклама ООО ««Отус Онлайн-Образование»» LjN8KD2dY

Весенний бум: 6 востребованных IT-специальностей Собрали для вас список из шести перспективных IT-профессий, где уже сейчас остро требуются толковые специалисты. Читать: «Весенний бум: 6 востребованных IT-специальностей»

Весенний бум: 6 востребованных IT-специальностей Собрали для вас список из шести перспективных IT-профессий, где уже сейчас остро требуются толковые специалисты. Читать: «Весенний бум: 6 востребованных IT-специальностей»

31 марта МТС собирает крупнейшую в России IT-конференцию TRUE TECH DAY Почему сейчас? Потому что давно пора показать, что скрывают «под капотом» топовые продукты продвинутых технологичных компаний. Каждый участник конференции протестит на себе true-технологии и испытает новые впечатления, меняющие мир пользователей. Что будет: — 7 треков: AI, Main Track, Big Data, Architecture, Cybersecurity, Leading Change, Product Manager; — 50+ мировых спикеров с топовыми темами без воды и лирики; — 10 часов нетворкинга и обмена опытом в Москве, Дубае, Тбилиси и Астане; — много интерактивных и цифровых зон; — а после — грандиозная вечеринка со звездным лайн-апом. Участие бесплатно. Узнайте подробнее о спикерах, темах и регистрируйтесь на True Tech Day: https://tprg.ru/9amh Это #партнёрский пост

NULL в SQL: Что это такое и почему его знание необходимо каждому разработчику NULL - это специальное значение, которое используется в SQL для обозначения отсутствия данных. Оно отличается от пустой строки или нулевого значения, так как NULL означает отсутствие какого-либо значения в ячейке таблицы. История появления NULL в SQL довольно интересна и длинна. В начале 1970-х годов Д. Камерер (D. Chamberlin) и Р. Бойд (R. Boyce) предложили использовать реляционную модель для полной замены иерархических и сетевых моделей данных, которые были актуальны в то время. Полная замена предполагала возможность хранения значений NULL в таблицах структуры базы данных. Первоначально, NULL был создан как интегральный элемент реляционной модели данных. Это означало, что NULL мог быть использован в качестве значения для любого типа данных (целого числа, строки и т.д.) или даже целой строки (например, таких значений как "неизвестно" или "нет данных"). Когда была разработана SQL, NULL был реализован как специальное значение или маркер, который указывает на отсутствие значения в столбце. Таким образом, в SQL NULL означает отсутствие значения или неопределенное значение. Однако, NULL создал некоторые проблемы при работе с данными в SQL. Например, если вы выполняете операцию на столбце, содержащем NULL значение, результат операции также будет NULL. Это означает, что использование NULL может приводить к нежелательным результатам, таким как непредсказуемое поведение. Однако, важно понимать, что NULL не обязательно означает отсутствие информации или отсутствие значения в столбце. NULL может быть использован для разных целей, таких как указание на неопределенный результат для вычислений или как маркер для отметки отсутствия значения в таблице. Читать: https://habr.com/ru/post/725214/

ASAP! Жора в огне! Ваш друг Жора решил стать предпринимателем и открыл своё архитектурное бюро. Но вести бизнес оказалось сложнее, чем он думал… Помогите Жоре справиться с управлением бюро. Пройдите тест от Ренессанс Банка и узнайте, получится ли у вас: https://tprg.ru/RHVe Реклама ООО «КБ «Ренессанс Кредит»

Andrej Karpathy: глубокие нейросети 33 года назад и 33 года спустя На мой взгляд, статья Янна Лекуна с соавторами Backpropagation Applied to Handwritten Zip Code Recognition (1989 год) имеет определённую историческую ценность, поскольку, насколько мне известно, это первое реальное применение нейронной сети, от начала до конца обученной при помощи обратного распространения (backpropagation). Если не учитывать крошечный датасет (7291 изображений цифр в градациях серого размером 16x16) и крошечный размер использованной нейронной сети (всего тысяча нейронов), эта статья спустя 33 года ощущается вполне современной — в ней описана структура датасета, архитектура нейронной сети, функция потерь, оптимизация и приведены отчёты об величинах экспериментальных ошибок классификации для обучающего и тестового датасетов. Всё это очень узнаваемо и воспринимается как современная статья о глубоком обучении, только написанная 33 года назад. Я решил воспроизвести эту статью 1) для развлечения, а ещё 2) чтобы использовать это упражнение как исследование природы прогресса глубокого обучения. Читать: https://habr.com/ru/post/724286/

Data Engineering Weekly #124 Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-124

An Engineering Guide to Data Creation - A Data Contract perspective - Part 1 Read: https://www.dataengineeringweekly.com/p/an-engineering-guide-to-data-creation

​Ищем человека, который будет строить сообщество по темам Python / Data Science / AI в Tproger Если вы довольно неплохо разбираетесь в этих темах и при этом видите в себе желание рассказывать об этом другим разработчикам и вовлекать их в горячие обсуждения — возможно, это именно ваша вакансия. Подробности, тестовое задание и отклик здесь: https://tprg.ru/GEZL

Не цель важна, а важен путь. Как определить оптимальную подпоследовательность тем при автоматизации чатов При разработке чат-бота мы столкнулись с задачей планирования этапов автоматизации. Эта задача возникает, когда охватить все темы невозможно из-за их многочисленности и постоянного изменения их содержания. Поэтому перед реализацией сценариев важно понимать, какое множество тем чатов необходимо покрыть в первую очередь, чтобы за фиксированный период времени и с ограниченным количеством ресурсов достичь максимального эффекта. В статье разберем постановку задачи, ее формализацию и одно из решений. Читать: https://habr.com/ru/post/720832/

Access Oracle Analytics Cloud logs through integration with Oracle Cloud Infrastructure Logging Oracle Analytics Cloud audit and diagnostic logs can now be emitted to the Oracle Cloud Infrastructure Logging service. Learn what is logged, how to access logs, and options for analyzing logs. Read: https://blogs.oracle.com/analytics/post/access-oac-logs-with-oracle-cloud-infrastructure-logging

[recovery mode] 7 причин интегрировать IT в свой бизнес 1. It поможет вам защитить свой бизнес от целенаправленных кибератак.  По мере того как киберугрозы становятся все более изощренными, ИТ-команда поможет защитить ваш бизнес от потенциальных кибератак, которые могут привести к потере данных, ущербу для репутации и финансовым потерям. Читать: https://habr.com/ru/post/724140/

Почему Data Science не для вас? Data Science сейчас во многом благодаря активному маркетингу становится очень популярной темой. Быть датасаентистом – модно и, как говорят многие рекламки, которые часто попадаются на глаза, не так уж и сложно. Ходят слухи, что работодатели стоят в очереди за возможность взять человека с курсов. Получить оффер на работу крайне легко, ведь в ваши обязанности будет входить требование данных от заказчика (как обычно говорят, чем больше данных – тем лучше) и закидывать их в искусственный интеллект, который работает по принципу черного ящика. Кстати, еще и платят немереное количество денег за всё это. Спойлер: это не так. В этой душераздирающей статье решили попробовать отговорить людей, которые готовы оставить кучу денег за курсы по Data Science, браться за это дело, а может быть и помочь определиться с тем, что на самом деле стоит сделать, чтобы встать на путь истинный. Читать: https://habr.com/ru/post/723542/