Data Scientist | IT

Подготовка к собеседованию на позицию DS. Специализированное машинное обучение #почитать ▪️Глубокое обучение ▪️Обработка текстов на естественном языке ▪️Компьютерное зрение ▪️Графовые нейронные сети ▪️Обучение с подкреплением ▪️Рекомендательные системы ▪️Временные ряды ▪️Big Data ⏱Читать статью

40 Полезных инструментов Дата Саентиста #почитать

Благодаря активному сообществу разработчиков, практически для любой задачи на Python можно найти готовый и полезный инструмент, который поможет вам в решении самых сложных задач. Надеюсь, вы найдете что-то полезное для себя.

⏱Читать статью

Анализ зависимостей бинарных файлов на основе ML #почитать

Мы реализовали анализатор бинарного кода на основе ML-подходов — Binary SCA. Наш проект совмещает две предметные области — информационную безопасность и ML.

⏱Читать статью

Все говорят, что работы в айти стало меньше... На самом деле, работы полно. Мы подготовили 7 правильных каналов с вакансиями для тестировщиков, аналитиков, проджект-менеджеров и программистов. В чем фишка этих каналов? — зарплатная вилка🍴во всех вакансиях — еженедельные подборки стажировок для начинающих — как здесь (для QA), здесь (для PM) и здесь (для BA&SA) — быстрый телеграм/email контакт для прямой связи с рекрутером — удобная навигация по уровням/условиям работы/направлениям тестирования ▪️QA Jobs — работа для тестировщика ▪️PM Jobs — работа для Project и Product менеджера ▪️BA & SA Jobs — работа для бизнес- и системых аналитиков ▪️C# & .NET Jobs — работа для C# инженеров ▪️DS&ML Jobs — работа для DS инженеров ▪️PHP Jobs — работа для PHP разработчиков ▪️JAVA Jobs — работа для Java разработчиков Подписаться на все каналы сразу

Как взламывают биометрию и заставляют нейросети придумывать способы атак #почитать Атаки на биометрию уже освоили достаточно приземленные мошенники. У пользователя взламывают Telegram, находят записи голосовых сообщений, прогоняют их через специальные нейросети, такие как voice.ai и murf.ai, и отправляют голосовое сообщение с просьбой о помощи по контакт-листу в мессенджере. ⏱Читать статью

Почему витамины и лекарства не работают на 100%? Машинное обучение нашло ответ #почитать

В период пандемии ковида и недавней эпидемии гриппа многие из нас прибегали к употреблению большого количества витаминов и микроэлементов, для поддержания иммунитета. Выбор БАДов в аптеках по всей стране весьма широкий и привлекательный, однако совместное их применение очень ограничено. Все дело в белках-переносчиках

⏱Читать статью

▫️ Градиентный бустинг: XgBoost vs LightGBM vs CatBoost #посмотреть

- Автор ушел в мелкие детали, а лучше бы рассказал качественные отличия различных бустингов. Один лучше там (потому- то), второй- тут (потому- то), третий вот там (по такой- то причине)... А это просто мешок слов из книжки.

- Фишка в том, что тут нет понятия хуже или лучше. Это зависит исключительно от задачи, которую нужно решить. А чтобы выбрать подходящий бустинг, нужно знать как он работает. Если нужен самый быстрый то лучше всего LightGBM, в силу того, что он обсчитывает не весь датасет, а часть. Если много категориальных переменных, то лучше всего CatBoost потому что он под это заточен

⏱Смотреть на Youtube ⏱35 минут

Учим большие языковые модели описывать продукты данных #почитать

Рассмотрим использование больших языковых моделей на этапе подготовки описания продуктов данных для дальнейшего использования в аналитике.

⏱Читать статью

ML: как понять, что вы больше не джун #почитать Грейды отличают две вещи. Первая — технический стек. Четких градаций навыков дата-аналитиков нет, потому разные компании фокусируются на разных скиллах в зависимости задач, но базовый набор такой: Junior: SQL (window functions), Excel (sheets), Python (pandas, matplotlib, numpy), Statistics, Data Visualisation (BI platforms), git; Middle: SQL (DDL, DML, optimisation), differences between DB, Python ML stack (scikit-learn), Data Mining (e.g. API); Senior: ETL (e.g. Airflow), Data Modeling, OOP or functional programming. Вторая отличающая грейды вещь — умение работать самостоятельно. ⏱Читать статью

▫️Машинное обучение – из разработчика в ML-инженеры #посмотреть Разбираем общие понятия, посмотрим на основные принципы на примерах и обсудим инструменты в промышленном ML. ⏱Смотреть на YouTube ⏱ 40 минут

Есть ли у ИИ-художника свой стиль #почитать

Внутри каждой из txt-2-img нейросетей есть модель, обученная на своем датасете. Если модель удачная, то и генерации будут получаться качественными, красивыми, соответствующими запросу. Разумеется, посмотреть, что представляет из себя модель, на каком датасете она обучена, не получится – это коммерческая тайна любого из продуктов, о которых я буду писать ниже. И всё-таки, попробуем определить, где лучше генерировать изображения, хотя бы по факторам красоты/соответствия запросу. Будем исходить из того, что в каждом из продуктов, который участвует в наших экспериментах, есть большие или меньшие веса для определённых изображений. То есть она предрасположена выдавать в результатах генераций следы тех изображений, которых или больше в датасете или которые имеют больший вес.

⏱Читать статью

Linux для аналитика #почитать

Я ведущий аналитик направления Big Data Лиги Цифровой Экономики. Я проведу небольшую ознакомительную экскурсию в мир Linux и покажу, что аналитик вполне себе может решать повседневные задачи в этой операционной системе.

⏱Читать статью

🔤🔤🔤🔤🔤🔤🔤🔤🌌🔤🔤🌌🔤🔤🔤🔤 — божественный канал для бизнес и системных аналитиков и продуктовых менеджеров ➡️ Подписаться

Дата-сайентисты и Docker с Kubernetes #почитать

В целом, хотя дата-сайентистам не обязательно становиться экспертами по Kubernetes, общее представление об этой технологии полезно для эффективного взаимодействия с другими командами, развертывания моделей и приложений.

⏱Читать статью

Разбор Gradient Boosting #почитать Архитектурные шаблоны в машинном обучении представляют собой общие структуры и методологии, которые позволяют разработчикам более эффективно решать задачи. Они представляют собой набор bewährte Lösungen, то есть "проверенных решений", которые могут быть адаптированы к конкретным задачам и данным. Использование архитектурных шаблонов позволяет сэкономить время и ресурсы при разработке моделей машинного обучения. Gradient Boosting – это один из наиболее мощных и гибких архитектурных шаблонов в машинном обучении. Он позволяет строить ансамбли моделей, комбинируя слабые ученики в сильную модель, способную решать разнообразные задачи классификации и регрессии. Этот метод обрел популярность благодаря своей способности обучаться на ошибках предыдущих моделей, постепенно улучшая свои прогнозы. ⏱Читать статью

Почему именно SQL и Python — мастхев для аналитика #почитать 1. SQL используется для работы с базами данных, позволяет извлекать, преобразовывать данные и изменять структуру таблиц. 2. Python используется для более сложных манипуляций с данными, включая сложные вычисления и визуализацию. 3. Важные библиотеки Python для аналитики данных включают NumPy, Pandas, Matplotlib и SciPy. 4. Python и SQL покрывают основные потребности аналитиков, делая их более ценными на рынке труда по сравнению с знающими только Excel. ⏱Читать статью

Улучшаем технику серфинга с помощью компьютерного зрения #почитать

Я — серфер. Я катаюсь на волнах Тенерифе и углубленно изучаю мир серфинга.

⏱Читать статью

Меньше работы с людьми, больше работы с данными: кому подойдет мир аналитики #почитать Профессия аналитика идеально подходит тем, кто находит удовольствие в работе с данными и анализе, предпочитая это общению с людьми. Это не означает, что аналитикам вообще не приходится взаимодействовать с коллегами или клиентами, но основная часть их работы связана с анализом информации, а не с постоянным общением. Аналитика данных требует глубокого погружения в информацию, изучения трендов и поиска закономерностей. Это занятие для тех, кто может часами сосредотачиваться на цифрах и таблицах. ⏱Читать статью

Предварительная обработка данных для машинного обучения #почитать

Подготовка данных – это процесс подготовки «сырых» (необработанных) данных для их дальнейшей обработки и анализа. Предобработка данных включает следующие процедуры: проверка данных; очистка данных; трансформация данных; трансформация данных; дополнение; оптимизация.

⏱Читать статью

Машинное обучение и дизельные двигатели #почитать

По имеющимся оценкам, только эксплуатационные затраты на один самосвал достигают 50 тысяч рублей в час. При этом, если простой оказался незапланированным, это увеличивает сумму ещё на 30%. Очевидно, что одно дело, когда самосвал остановили на запланированный ремонт, и совершенно другое — если он груженный рудой внезапно сломался посреди смены где‑нибудь в глубине карьера.

⏱Читать статью