Data Scientist | IT

Релиз готовился три года. Pandas 2.0.0  —  геймчейнджер в работе дата-сайентистов #почитать Многофункциональная и универсальная библиотека pandas заняла достойное место в сердце каждого дата-сайентиста. Практически невозможно представить себе работу с данными  —  начиная с их ввода/вывода до очистки и преобразования  —  без import pandas as pd. И теперь прежняя pandas уступила место новой и прорывной pandas 2. Что нового: ▫️Производительность, скорость и эффективность использования памяти ▫️Чтение данных происходит в 35 раз быстрее ▫️Типы данных arrow и индексы numpy ▫️Упрощение обработки пропущенных значений ▫️Оптимизации Copy-on-Write ▫️Опциональные зависимости ▫️Интероперабельность ▫️Гибкость и настройка ⏱Читать

Плохая ML-модель погубила пациентов медицинской страховой компании. Многие люди, нуждающиеся в помощи, получали необоснованные отказы. Как минимум двое умерли В новости утверждается, что примерно 90% пациентов система отказывала в страховом покрытии должного уровня. И оказывается, "это у них была фича, а не баг". Между прочим, речь идёт о UnitedHealth Group, крупнейшей компании США в области медицинского страхования. Иск против UnitedHealth первыми подали родственники двух человек, умерших после того, как им отказали в страховке. Заявление подкреплено результатами журналистского расследования, которое показывает, что UnitedHealth использует ненадёжный алгоритм под названием nHPredict. Алгоритм компания начала применять ещё в 2019 году. Он оценивает, какой объём медицинской помощи понадобится пациенту после острой травмы или заболевания. Сообщается, что алгоритм не учитывает многие важные факторы. Из-за этого престарелые пациенты, которые могли бы претендовать на 100 дней ухода в реабилитационном центре, покрываемого страховкой, оставались там не дольше чем на две недели. Это могло пагубно сказываться на их здоровье. Бывшие сотрудники UnitedHealth утверждают, что после внедрения алгоритма фокус компании сместился с защиты интересов пациентов на показатели бизнес-эффективности. Компания экономила "сотни миллионов" на ML-алгоритме, но очень похоже, что теперь придется потратить гораздо больше на компенсации. А если иски будут коллективными... ⏱Читать новость (🇻🇬)

Основы обработки естественного языка вкратце, или Natural Language Processing за 10 минут #почитать Для начала: ▫️Ставим зависимости 3.7 или выше ▫️Ставим Jupyter Notebook ▫️Модули Основы NLP: ▫️Токенизация ▫️Стоп-слова ▫️Выделение основы слова ▫️Лемматизация ▫️Создание базы слов ▫️Маркировка частей речи ▫️Построение цепочек слов "За 10 минут" - это, мягко говоря, преувеличение, но - база есть. ⏱Читать

Data Science Meetup #2 от СберМаркет Tech🔥 23 ноября в 19:30 по Москве приглашаем Data Scientist'ов на наш второй DS-митап! Собрали для вас 3 доклада о хардовых и нетривиальных подходах от спикеров из Альфа-Банка, МегаФона и СберМаркета. В программе: 🟡 «Contrastive Representation Learning: что это за технология и как её можно использовать бизнесу». Расскажет Тимур Кадыров, Senior Data Scientist СберМаркета. 🟡 «ANNA — первый AutoDL сервис в банках». Опытом поделится Демид Гаибов, Middle Data Scientist в Альфа-Банке. 🟡 «NBA — баскетбол с офферами. Как в него играть?». Объяснит Тимур Джумакаев, DS Team Lead из МегаФона. Хочешь приехать в офис? Переходи по ссылке на офлайн — количество мест ограничено. Будешь подключаться онлайн? Регистрируйся тут — ссылку на трансляцию пришлем за час до митапа. Не забывай звать друзей — лайк, шер приветствуется ❤️ Реклама. ООО «Инстамарт Сервис», 115035, Москва, ОГРН 1187746494980. 16+

Вкатываемся в Machine Learning с нуля за ноль рублей и получаем оффер в Huawei. Это возможно #почитать "Для начала напомню следующее: мир машинного обучения и анализа данных многообразен. Внутри него есть целый ряд специализаций, которые требуют разных навыков. Все советы из этой статьи являются частным мнением одного человека - с математическим бэкграундом и опытом работы только в качестве Machine Learning Engineer и Machine Learning Researcher. Сейчас я работаю Старшим Академическим Консультантом в Huawei." ⏱Читать

Ожидания: Сэм Альтман со своим ChatGPT лишают работы миллионы людей на планете. Реальность: Сэм Альтман лишился работы.

🔥Как в Татарстане собираются дать искусственному интеллекту доступ к госуправлению #почитать ▫️Сервис похож на X (ранее Twitter*), но с тем отличием, что каждый комментарий пользователя или ИИ может быть «за» или «против» проекта и иметь значимость по пятибалльной шкале, которую коллективно устанавливают пользователи и ИИ. ▫️Каждый зарегистрированный пользователь может создать пост (проект) на платформе, в котором описывается, например, предложение о внедрении какого-либо решения или предложение об изменении законодательного акта. ▫️К таким постам помимо команды уполномоченного по технологиям ИИ в Татарстане и большой языковой модели любой зарегистрированный пользователь может написать комментарии «за» и «против». ⏱Читать статью

🔥Как получить работу в области Data Science - этапы обучения, роли и нюансы #почитать Переводная статья на Хабре, но вполне релевантна для РФ. Очень большое подробное руководство. ⏱Читать статью

Data-аналитики, отметьте в календаре 18 ноября! Всего за один день вы сможете пройти все этапы отбора, познакомиться с будущей командой и даже получить оффер. Какие задачи будут в вашем планере? ● Взаимодействовать с бизнес-заказчиками, анализировать и структурировать бизнес-требования. ● Разрабатывать функциональные требования в области построения витрин. ● Разрабатывать код витрин с использованием SQL, Scala, Java, Python. ● Разрабатывать алгоритмы и скрипты тестирования. ● Документировать разрабатываемые компоненты ПО. Присоединяйтесь к команде, которая развивает прикладную аналитическую платформу блока «Риски». У нас более 120 витрин, 800+ потоков загрузки данных, более 400 нод, 11 200 ядер и 25+ петабайт данных. В работе используем Hive, Spark, Scala, Jenkins, Bitbucket, Jira. Работа фултайм в современных офисах Сбера в Москве ждёт вас! Регистрируйтесь на One Day Offer

▫️ Турбо-модель GPT-4 — новая мощная версия ChatGPT с доступом к тонким настройкам #почитать #посмотреть ▫️База обновлена до апреля 2023 года ▫️Объем одного запроса - до 300 страниц (128 тыс. токенов) ▫️Обновления вызова функций ▫️Улучшена проработка инструкций и JSON-режим ▫️Логарифмические вероятности ▫️Также обновлено GPT-3.5 Turbo ▫️API-интерфейс Assistants с поиском и интерпретатором кода ▫️Новые возможности API ▫️Экспериментальный доступ к тонкой настройке GPT-4 ⏱Читать новость ▫️ Видео презентации главы компании ⏱45 минут🇻🇬

Распознавание лиц - очень сложные вещи простыми словами #почитать Хотел рассказать про систему распознавания лиц от лица обычного разработчика в наипростой для рядового человека форме, отсюда и название. Но не пугайтесь названия, тут будут описываться не такие уж и простые вещи. ▫️Что вообще такое распознавание лиц ▫️Легенда про черно-белые изображения ▫️Обнаружение лица ▫️Получение геометрий лица ▫️Сам процесс распознавания ▫️Как устроен FaceID ▫️Как работает TrueDeph ⏱Читать статью

Прорыв в технологии оценки позы человека. Модели YOLO-NAS Pose #почитать ▫️Оценка позы играет решающую роль в компьютерном зрении, охватывая широкий спектр важных задач таких как мониторинг движений пациентов в медицинских учреждениях, и анализ результатов спортсменов в спорте. ▫️YOLO-NAS Pose работает иначе, чем традиционные модели оценки позы. Вместо того, чтобы сначала обнаруживать человека, а затем оценивать его позу, она может обнаружить и оценить человека и его позу одновременно, за один шаг. Читать статью

Уже в эту субботу 11 ноября в Лектории «Газпрома» в рамках выставки "Россия" выступят ИТ-эксперты Газпромбанка: В 16:00 — Андрей Анисимов с темой «Мотивация и развитие молодых DS-специалистов и аналитиков». Узнаем, какие навыки помогают Data Science специалистам добиваться успеха и как грамотно мотивировать сотрудников. В 18:00 — Максим Морев с темой «Джуниор в ИТ — первые сложности на первой работе». Разберем 4 принципа, которые помогут начинающему ИТ-специалисту подняться по карьерной лестнице. Встречаемся на ВДНХ в павильоне F «Газпром». Участие бесплатное, егистрируйтесь по ссылке — https://vk.cc/csgCLt. Реклама Банк ГПБ (АО), ИНН: 7744001497

Большой гайд по балансированию данных. XGBoost, ансамблирование, ADASYN #почитать "Почему несбалансированные данные - это такая большая проблема? Все начинается с того, что в реальном мире классы могут быть не равномерно представлены в наших данных. Например, в задаче обнаружения мошенничества с кредитными картами, обычные транзакции будут составлять большую часть данных, в то время как мошеннические операции будут редкими. Если модель обучается на таких данных, она склонна к смещению в сторону более представленного класса, и это может привести к плохим результатам в реальном мире." Большая подробная статья. Но описательная (не практикум). Читать статью

Решаем реальное тестовое задание на Machine Learning Engineer #посмотреть ◽️Тренируем модель ◽️Работаем с картинками ◽️Библиотеки Смотреть видео на YouTube (10 минут)

Нейроны в голове человека и искусственный интеллект #почитать ИИ учится, аналогично тому, как учится человеческий мозг, путем анализа данных, адаптации и применения знаний. Однако методы обучения и механизмы обработки информации в ИИ сильно отличаются от биологических процессов, характерных для человеческого мозга. Читать статью