Data Scientist | IT

Подготовка будущих аналитиков данных и ML-специалистов к реальным бизнес-задачам #почитать

Будущие аналитики данных, BI‑аналитики, ML‑разработчики и Data Scientists используют готовые датасеты для выполнения студенческих заданий, чтобы научиться понимать принципы обработки данных, искать и валидировать гипотезы, строить предсказательные модели. Однако задачи, которые решают студенты, часто недостаточно полезны как для них самих, так и для владельцев данных. Студенты не получают опыт решения практических задач, а также понимания, что результат их работы может быть полезен для бизнеса. В статье разбираюсь, почему так происходит и как получить опыт, который пригодится в работе.

⏱Читать

Обучение с подкреплением на основе обратной связи от человека. История становления идеи #почитать

Мы накопили уже достаточно доказательств и исследований о том, что большие языковые модели (LLM) по умолчанию сами по себе на самом деле не соответствуют человеческим интересам и ценностям. Я уверена, я не первая, кто говорит о том, что такие модели могут быть невероятно предвзятыми. Мы знаем, что они генерируют ложную информацию и «галлюцинируют», демонстрируют политические и моральные предубеждения.

⏱Читать

Как оживить Кандинский матрицами вращений #почитать В чем же проблема при генерации видео из текста? В отличие от генерации картинки, вам необходимо получить серию максимально близких изображений, в которых есть малые изменения заданные самим текстом. ⏱Читать

Контекст задачи в Apache AirFlow #почитать Для чего нужен контекст задачи Apache AirFlow, что он собой представляет, какие включает объекты, как получить к ним доступ и чем они полезны дата-инженеру. ⏱Читать

В 48 собесах от оффера в Гугл #почитать

Расскажу про свой недавний заход по собесам, что спрашивали, какие выводы сделал. Контекст: Applied Machine Learning science (в том числе этот ваш Generative AI), Нидерланды, уровень синьор+. Я долго получал отказы, старался не унывать и в конце таки нашил лычку Staff GenAI Field Solutions Architect в Google Cloud. Тут поделюсь статистикой собесов, полезными ресурсами и, конечно, всякими советами.

⏱Читать

Проблемы с логикой у LLM и с доверием не только у LLM #почитать

…мысль не всякому дана. Нам кажется, что мы мыслим, а на самом деле мы просто воспроизводим какие-то шаблоны мышления, заложенные в нас. И добраться до … своей мысли бывает очень трудно… Страшно, что у тебя ничего своего нет, всё, что ты говоришь, ты нахватался, как с полок в супермаркете, из разных этапов своей жизни

⏱Читать

Анализ негативных комментариев TRUE CRIME #почитать

Привет! Я тут активно пытаюсь охватить разные области в сфере Data Science и решила, что было бы классно покопаться c обработкой естественного языка (NLP) на примере комментариев YouTube. Для обучения мною был выбран датасет с Kaggle из комментариев, собранных с сайта 2ch.hk и pikabu.ru.

⏱Читать

Databricks Arc vs Splink: автоматическое связывание данных в промышленных масштабах #почитать Зачем Databricks выпустил Arc, чем это отличается от Splink, и как эти инструменты позволяют решать проблему связывания данных с помощью алгоритмов машинного обучения. ⏱Читать

Как выбрать правильный сервер c подходящими для ваших нейросетей CPU/GPU #почитать

Даже настольные процессоры от AMD или Nvidia старших моделей будут хорошим выбором для начала работы с ИИ, если ваша рабочая нагрузка не требует большого количества ядер и ограниченных возможностей многопоточности. На практике для языковых моделей выбор между типами CPU будет иметь меньшее значение, чем выбор между графическим ускорителем или объемом установленной в сервере оперативной памяти.

⏱Читать

Исследование и оптимизации RNN #почитать

Буду использовать свои находки и предположения. И никакой математики.

⏱Читать

👨‍💼 Project-менеджмент | IT — один из немногих каналов по управлению проектами в IT в телеграм. Для всех проджект-менеджеров и тех, кто хочет ими стать. Почему проджект-менеджмент — классный старт в айти: — хорошо подходит гуманитариям (если вы думали, что в IT работают только технари — вы ошибались) — куча сфер применения — спрос на PM-ов в России и в мире не упадет в ближайшие десятилетия Почему надо подписаться на канал по проджект-менеджменту? — свежие полезные статьи и видео по теме — еженедельная подборка последних новостей, видео и обучающих материалов — обзоры рынка зарплат и вакансий — регулярные тематические обсуждения Подписаться на @projectmanager_it

Идеи улучшения точности, удобства и скорости языковых моделей #почитать

Я не специалист, и это список моих идей для улучшения работы языковых моделей. К сожалению хорошо проверить это не имею возможности. Нигде не встречал таких идей. Интересно узнать мнения о них.

⏱Читать

Пятница. "Как ошибка ChatGPT стоила нам $10 000" #почитать

В начале я хотел бы сказать, что описанные в статье практики очень плохи и неправильны (с тех пор мы добавили надёжные юнит-тесты и интеграционные тесты, а также систему алертов/логирования), что их следует избегать и в первую очередь это человеческие ошибки, которые задним умом кажутся очевидными. Описанные в статье события произошли в условиях сильного дефицита времени на очень ранних этапах работы компании (первые несколько недель). По большей мере я публикую это как забавную историю с уникальными условиями, связанными с воспроизводимостью бага в продакшене (тоже из-за нашей собственной глупости).

⏱Читать

Друзья, сегодня рекомендуем отличный канал с материалами по бизнес- и системному анализу! 😇 аналитик от бога — лучший канал для аналитиков от создателей сайта systemanalysis.ru Что отличает нас от других каналов по системному анализу: ▪️мы — создатели systemanalysis.ru и канала Тестировщик от бога — одного из самых крупных телеграм-каналов по тестированию; ▪️мы пишем свои материалы: составили дорожную карту развития бизнес- и системных аналитиков, в которой собрали все, что надо знать для успешной работы; ▪️мы не постим ленту из хабра — все материалы, которые мы пишем или отбираем, мега-полезные. Перейдите в канал и убедитесь в этом сами. ▪️и многое-многое другое Подписывайся на аналитика от бога и узнай уже наконец разницу между product roadmap-ом и спецификацией требований 😇

Reformer на TRAX #почитать

В классической архитектуре Transformer механизм внимания работает со сложностью, которая масштабируется квадратично с увеличением длины последовательности. Это происходит потому, что каждый токен в последовательности должен вычислять оценки внимания со всеми другими токенами, что приводит к плотной матрице внимания, размер которой растет с квадратом длины последовательности – мрак для вычислительных способностей наших TPU и GPU.

⏱Читать

Раскатили фан на полную 17 августа в Москве в музее-заповеднике «Коломенское» пройдет ИТ-пикник — фестиваль для опытных ИТ-специалистов, их близких и друзей. Будет больше 17-ти ИТ-партнеров фестиваля. В программе воркшопы, лекции от спикеров известных компаний, нетворкинг, выступления топовых музыкантов и детская зона. Придут Леонид Агутин, TRITIA, Дайте танк (!), Драгни, Найк Борзов и Нееет, ты что. А вы придете? Успейте зарегистрироваться Реклама. АО "ТБанк", ИНН 7710140679, лицензия ЦБ РФ № 2673

Как написать своего нейросотрудника #почитать

Конечно, прекрасно подключить API от OpenAI и разыграть своего руководителя новым консультантом… Но подобные чат-боты не могут ориентироваться в данных компании и предоставлять адекватные ответы. Можно хотя бы не рассчитывать на увольнение:) В чем отличие модифицированного чат-бота, нейросотрудника от обычного окошка с GPT 4.0? — он может ориентироваться в нужной вам информации лучше: составлять подборки резюме для дальнейшего анализа живым HR-ом, общаться с клиентами скриптами, даже подбирать контент-план на основе данных о компании и помогать расписывать ТЗ для сотрудников. В этой работе мы попробуем написать своего простого нейросотрудника, а точнее HR-менеджера. Начнем с теоретической части про векторные базы данных и обучение, закончим практикой.

⏱Читать

Популярные алгоритмы машинного обучения. Теоретические основы и реализация с нуля на Python #почитать Обучение с учителем: 1) Линейная регрессия и её модификации 2) Логистическая и Softmax-регрессии 3) Линейный дискриминантный анализ (LDA) 4) Наивный байесовский классификатор 5) Метод опорных векторов (SVM) 6) Метод K-ближайших соседей (KNN) 7) Дерево решений (CART) 8) Бэггинг и случайный лес 9) Алгоритмы AdaBoost (SAMME & R2) 10) Градиентный бустинг и его модификации 11) Стекинг и блендинг Обучение без учителя: 12) Метод главных компонент (PCA) 13) Популярные алгоритмы кластеризации ⏱Читать

Машинное обучение в браузере #почитать Как ускорить вычисления машинного обучения веб приложения с помощью WASM, WebGL или WebGPU. Когда фронтенд‑разработчик слышит о машинном обучении в браузере, первое, что приходит ему на ум, это вопрос: «Как это может быть применено? Мы же работаем в браузере на JS, который, как известно, медленный (по сравнению с компилируемыми языками)». ⏱Читать

Неочевидное ML #почитать

Казалось бы, нам всем так прожужжали уши аббревиатурой «ИИ», что с ней всё уже очевидно. Но весь хайп последних лет крутится вокруг нескольких сценариев: «нарисуй картинку», «напиши код», «ответь на вопрос». И по-моему, сейчас самое интересное — это менее заезженные применения. Окей, стало можно одним промптом нарисовать капибару верхом на драконе, это мы поняли. А вот чем нейросети могут помочь инженерам, редакторам или неслышащим людям? До чего дошёл прогресс, в чём сложности, как их преодолевают?

⏱Читать