Data Scientist | IT

HH: курьеры в России стали зарабатывать больше аналитиков #почитать К ноябрю курьеры зарабатывали больше некоторых IT-специалистов. Так, зарплата BI-аналитиков и аналитиков данных составила 114,2 тысячи рублей. Кроме того, курьеры получали больше врачей (88,4 тысячи рублей), менеджеров по логистике и внешнеэкономической деятельности (79,5 тысячи), дизайнеров (70 тысяч), бухгалтеров (62,3 тысячи), журналистов (50,4 тысячи) и учителей (47 тысяч). ⏱Читать статью

Саммаризация #почитать Что, если бы все отзывы могли сокращаться в ясные и четкие выжимки, которые помогли бы пользователям быстрее находить информацию? Эту задачу называют саммаризацией. Хотя саммаризация может использоваться для совершенно разных задач, в контексте работы с отзывами на платформе заключалась в том, чтобы предоставить пользователю сжатую и объективную информацию, а также помочь быстро сформировать представление о продукте, услуге или товаре. Это особенно актуально в условиях переизбытка информации, ведь внимание пользователя ограничено несколькими секундами. Отзывы можно разбить на три ключевые категории: преимущества, недостатки и дополнительно. Такая саммаризация экономит время и усилия пользователей, которые иначе вынуждены были бы читать десятки или сотни отзывов, чтобы сделать вывод. А еще структура саммари дает более сбалансированную оценку товара. Но процесс автоматической саммаризации, особенно в текстах, содержащих эмоционально окрашенные мнения, требует тщательной проработки алгоритмов. Например, важно научить систему различать сарказм, субъективные оценки и выделять действительно значимые аспекты. Бывают и трудности: часто встречается сложность обработки многозначных слов, разный стиль написания и полисемия, когда одно слово имеет несколько значений в зависимости от контекста. ⏱Читать статью

Обнаружение DGA-доменов (тестовое интерна ML) #почитать

В этой статье мы рассмотрим простую задачу, которая используется одной компанией в качестве тестового задания для стажеров на позицию ML-engineer. Она включает обнаружение DGA-доменов — задача, решаемая с помощью базовых инструментов машинного обучения. Мы покажем, как с ней справиться, применяя самые простые методы. Знание сложных алгоритмов важно, но куда важнее — понимать базовые концепции и уметь применять их на практике, чтобы успешно демонстрировать свои навыки. DGA (Domain Generation Algorithm) — это алгоритм, который автоматически генерирует доменные имена, часто используемые злоумышленниками для обхода блокировок и связи с командными серверами.

⏱Читать статью

"Мы в разгаре лета искусственного интеллекта" #почитать

— В целом развитие науки о данных у нас в стране идёт в рамках общемировых трендов. Конечно, здесь можно найти свою специфику. Например, мы живём в условиях некоторого дефицита вычислительных мощностей. Пока поставки в Россию и Китай наиболее продвинутых GPU запрещены. Поэтому для строительства мощных тензорных кластеров нужна особая внешнеэкономическая магия. С другой стороны, у нас в «активе» советская математическая школа, развитая ИТ-индустрия и современная экосистема с информационно-технологической инфраструктурой. А это подразумевает развитую культуру ИТ-разработки, наличие профильных кадров, больших и хорошо структурированных массивов данных. В нашумевшей статье бывшего сотрудника OpenAI Леопольда Ашенбреннера «Осведомленность о ситуации: Предстоящее десятилетие» есть оценка. На мой взгляд немного оптимистичная. По его мнению, прогресс в этой области в ближайшие 2 года позволит обучать модели той же «мощности» на том же оборудовании в 10 раз быстрее. Примерно такой же эффект даёт развитие аппаратных платформ. Дополнительные эффекты позволяют больше «выжать» из уже обученных моделей. Методы, которые позволяют это сделать, Ашенбреннер объединяет под зонтичным термином «unhobbling». Дословно: «растреноживание», раскрепощение. Это применение мультиагентного подхода, моделирование рассуждений: цепочки, деревья и графы рассуждений. А ещё скаффолдинг: создание алгоритмического «каркаса» вокруг большой языковой модели. Но важно понимать, что со временем эффект от всех этих улучшений будет снижаться. Экспоненты такого рода не могут продолжаться бесконечно.

⏱Читать статью

Анализ временных рядов: полное руководство для начинающих #почитать Временной ряд — это последовательность значений, которые протекают и измеряются в определенном временном промежутке. К бытовым примерам временного ряда можно отнести метеорологические наблюдения или колебания цен на рынке. Аналитикам такие наборы данных позволяют выявлять закономерности, прогнозировать будущее и предлагать бизнесу обоснованные решения. ⏱Читать статью

Как ухватить LLM за хвост: эффективные стратегии тестирования AI-моделей #почитать Есть три главных столпа тестирования LLM: Пользовательский фидбэк: Самый очевидный, но запоздалый способ понять, работает ли ваше приложение. Ведь фидбэк возможен только после релиза. А если ошибки спрятаны до продакшна? Ручное тестирование: Трудозатратное занятие, способное исчерпать даже самую энергичную команду. О плюсах и минусах применения на практике вы, вероятно, уже знаете: субъективность и, увы, тоже ошибки. Автоматическое тестирование: Спасительная гавань для всех разработчиков LLM. Однако есть нюанс — оно все еще развивается, как и сами LLM, и всегда требует свежих подходов. ⏱Читать статью

▫️Intuitive SQL for Data Analytics #посмотреть 11 часов теории и практики (PostgreSQL) - freeCodeCamp. ⏱Смотреть на YouTube ⏱️11 часов

▫️ Не взяли в Мету на Data Science #посмотреть

Все лето я проходил собеседование в Мету*, дошел до самого последнего этапа и к сожалению не получил оффер. В этом видео рассказываю, как мне удалось пройти так далеко, как я готовился, что спрашивали на интервью и что же все-таки пошло не так. Покажу резюме, по которому меня нашел рекрутер из Меты* и позвал на собеседование на Senior Data Scientist.

⏱Смотреть на YouTube ⏱️35 минут

Четыре уровня адаптации open-source моделей #почитать Мы выделяем четыре уровня адаптации. Для этого смотрим, какие потребуются навыки для решения этой задачи, сколько времени и человекочасов займет разработка. Поняв требуемый уровень, мы можем поставить себе дедлайны на проверку гипотезы и запланировать действия, если задача не решится выбранным способом. ⏱Читать статью

ML-подход к оттоку рекламодателей #почитать Прототип системы создан на основе данных организаций малого и среднего бизнеса (Small & Medium Business, SMB), с которыми работает Pinterest. ⏱Читать статью

Вебинар «Анализируем транзакции в реальном времени»  Приходите на бесплатный вебинар и узнайте, как обрабатывать высокие транзакционные и аналитические нагрузки в гибридной in-memory СУБД.  Дата и время: 28 ноября, 16:00. Программа 🔹 Ускорение аналитических расчетов и аналитика на самых свежих данных с помощью HTAP-систем. 🔹 Основные архитектурные характеристики гибридных транзакционно-аналитических СУБД (HTAP).  🔹 Повышение отказоустойчивости транзакционно-аналитических решений, настройка под разные профили нагрузки и интеграция с другими компонентами ИТ-ландшафта.  Проведем демонстрацию возможностей продукта Tarantool Column Store в работе с объектами и данными. Расскажем, как формировать отчетность в реальном времени и рассчитывать агрегаты в антифрод-системах с помощью продукта Tarantool Column Store.   Вебинар будет полезен архитекторам, дата-инженерам, DevOps-инженерам и разработчикам аналитических систем.     Регистрируйтесь, и вам придет ссылка на трансляцию в день мероприятия.

ML-генерация шрифтов #почитать

История о том, как я с нуля осваивал создание генеративных моделей МО, попутно обучая компьютер создавать шрифты. Да, настоящие типографские шрифты, состоящие из набора заглавных глифов. Созданная мной модель получает на входе описание шрифта и создаёт на выходе файл с их готовым набором.

⏱Читать статью

Динамический шаг в танце feature selection #почитать

Я практикующий дата-сайентист с опытом участия и судейства в чемпионатах по прогнозированию

⏱Читать статью

ИИ и векторный поиск в Azure Cosmos DB для MongoDB vCore #почитать Недавно Microsoft объявила о внедрении функциональности векторного поиска в Azure Cosmos DB для MongoDB vCore. Эта функция расширяет возможности Cosmos DB, позволяя разработчикам выполнять сложные поиски по сходству в многомерных данных, что особенно полезно в приложениях на основе RAG , системах рекомендаций, поиске изображений и документов и т. д. ⏱Читать статью

Как с минимальными ресурсами улучшить качество дообучения LLM #почитать Допустим, нужно обучить модель работать с технологией RAG или с помощью LLM генерировать инсайты по нашим данным. Как это сделать быстро, дешево и сердито? ⏱Читать статью

Пайплайн распознавания транспортных средств: как это работает #почитать Чтобы решить поставленную задачу, иногда достаточно задетектировать и распознать только номер — например, в кейсе шлагбаума придомовой территории. Но я расскажу про пайплайн (многошаговый алгоритм), который анализирует транспортное средство целиком. Чтобы фиксировать и валидировать нарушения правил дорожного движения, назначать плату за проезд, разыскивать угнанные автомобили и в целом для большинства кейсов из предыдущего поста, нам мало одного номера и кадра, с которого он взят. Важна вся история перемещения транспортного средства, поэтому без пайплайна не обойтись. ⏱Читать статью

Рецепт идеальной разметки в Computer Vision #почитать Расскажем о фреймворке агрегации разметки данных, который использует наша команда и коллеги из других подразделений. AggregateMe помогает привести несколько разметок к одной и повысить её качество в случае, если исполнители где-то ошиблись. ⏱Читать статью

Полный цикл отбора на стажировку в Яндекс (Аналитика, МЛ, Бэкенд) #почитать

Мне хватило 4 задач из 6. Первую и пятую мне решил ГПТ

⏱Читать статью

Действительно ли большие языковые модели галлюцинируют #почитать Если дать более строгое определение термину «галлюцинация», наш эксперимент показал, что на большом количестве вопросов вероятность галлюцинаций очень мала — порядка 6%. При этом фактологически неверные ответы составляют чуть больше трети (35%) от общего числа. А значит, при построении систем на основе генеративных моделей нужно в первую очередь уделять внимание фактологически неверным ответам. И важно не путать их с галлюцинациями. Находить последние можно с помощью простейшего порогового алгоритма — в нашем примере мы построили его на базе метрики BERTScore-Precision. ⏱Читать статью

Оценка LLM с большим окном контекста #почитать Недавно у нас получилось достичь уровня gpt-4 на собственном ограниченном датасете большого контекста. ⏱Читать статью