Data Scientist | IT

Практическая устойчивость значений Шепли в интерпретации моделей ИИ #почитать В исследованиях и на практике значения Шепли (Shapley values) — один из наиболее популярных методов интерпретации. По определению, значения Шепли вычисляются по оценке вклада признака во все возможные "коалиции" (подмножества признаков). Так, если у нас естьNпризнаков, нам необходимо перебрать 2^N комбинаций для оценки вклада каждого признака полностью. На практике этого не делается — применяется аппроксимация. ⏱Читать статью

🐛 SQL для тестировщика — канал для развития одного из обязательных навыков QA-инженера. Публикуем обучающие видео и много-много задач и тестов для тренировки. Чем мы отличаемся от остальных: — грамотные редактора (работающие разработчики и QA, создатели канала Тестировщик от бога и портала testengineer.ru); — качественное оформление; — уникальные материалы (некоторые материалы мы пишем и переводим сами); Подписывайтесь на наш канал по SQL.

LLM может довольно изобретательно разгадывать хитрые загадки, но не всегда #почитать Я проделал очень много опытов с разными моделями, и самыми топовыми и среднего уровня и все они показали в целом хороший уровень в разгадывании всевозможных загадок, от простых до сложных, но не включительно (сложные не может разгадать ни одна модель). Мне порой кажется, что модели даже лучше проявляют себя именно в разгадывании загадок, чем в логическом мышлении, не говоря уже о решении математических задач, где проблема особенно заметна. Я даже не побоюсь сказать, что в общем зачете модели значительно опережают меня в уровне догадливости, если так можно выразится, и не стереотипности подходов в отгадывании хитроумных загадок. ⏱Читать статью

Все говорят, что работы в айти стало меньше... На самом деле, работы полно. Мы подготовили 7 правильных каналов с вакансиями для тестировщиков, аналитиков, проджект-менеджеров и программистов. В чем фишка этих каналов? — зарплатная вилка🍴во всех вакансиях — еженедельные подборки стажировок для начинающих — как здесь (для QA), здесь (для PM) и здесь (для BA&SA) — быстрый телеграм/email контакт для прямой связи с рекрутером — удобная навигация по уровням/условиям работы/направлениям тестирования ▪️QA Jobs — работа для тестировщика ▪️PM Jobs — работа для Project и Product менеджера ▪️BA & SA Jobs — работа для бизнес- и системых аналитиков ▪️C# & .NET Jobs — работа для C# инженеров ▪️DS&ML Jobs — работа для DS инженеров ▪️PHP Jobs — работа для PHP разработчиков ▪️JAVA Jobs — работа для Java разработчиков Подписаться на все каналы сразу

Обучение ИИ-моделей на облачных серверах #почитать Тегирование материалов — неотъемлемая часть работы любой медиакомпании. В РБК ее выполняли вручную: редакторы прописывали 2–3 тега для каждого материала. В связи с этим возникало несколько трудностей: Количество тегов неконтролируемо увеличивалось — в основном разделе РБК до внедрения системы их набралось десятки тысяч. Появились дубли и синонимичные теги. Например, тег «сыр» можно написать по-разному: использовать заглавные буквы или кавычки. С точки зрения системы «Сыр», «сыр» и «сыры» — разные теги. Из-за большого числа тегов стало сложнее выбирать релевантные, и оставался риск пропустить другие подходящие. Тогда решили проверить гипотезу, насколько нейросеть потенциально может нивелировать человеческий фактор и позволит организовать процесс тегирования в полуавтоматическом режиме. Редактору можно будет не отвлекаться на поиск тегов, а только утверждать предложенные ИИ. В этом случае рутины станет меньше, и у сотрудников редакции появится время на по-настоящему важные задачи. ⏱Читать статью

Бесполезные курсы и помешательство на GPTs: как мы искали prompt-инженеров #почитать Вот краткий список того, чем занимаются наши prompt-инженеры: пишут промпты и их системы, чтобы языковая модель генерировала релевантные и точные ответы; помогают Data Scientist обучать и тренировать новые модели; разрабатывают и поддерживают библиотеки промптов, чтобы потом их можно было использовать повторно; много тестируют. ⏱Читать статью

Поиск жулика: Как понять, что перед вами ChatGPT 4? #почитать С момента появления ChatGPT 4, вопрос о том, как отличить ее на практике от старой-доброй 3.5 , волнует многих пользователей, в том числе и пользователей нашего сервиса. Простой запрос «какая версия ChatGPT передо мной?» не всегда даст правильный ответ — модели могут сообщить, что они не те, кем должны быть. ⏱Читать статью

Тестируем LLM для русского языка: Какие модели справятся с вашими задачами #почитать YandexGPT: Показала высокую связность и грамматическую правильность текста. Текст был логичным, стилистически правильным и без ошибок. Модель не использовала вставки английских слов, что сделало её результат почти идеальным для русскоязычных проектов (2 балла за выполнение). Saiga-Mistral-7b-Lora: Также показала отличные результаты, генерируя текст высокого качества с хорошей структурой и минимальными ошибками. Текст был креативным и полностью соответствовал заданной теме (2 балла за выполнение). OpenChat3.5: Результаты были удовлетворительными, однако встречались вставки английских слов и недочеты в структуре текста. Текст мог быть связанным, но не всегда соответствовал стилю или контексту (1 балл за выполнение). GigaChat: Модель показала хорошие результаты. Текст был менее структурированным и встречались ошибки в согласовании предложений, но все равно модель заслужила высокий балл (2 балла за выполнение). Mistral: Генерация текста была неплохой, но в некоторых случаях модель допускала синтаксические ошибки и не всегда удачно выбирала стиль текста (2 балла за выполнение). Saiga-Llama3-8b: Текст был грамматически правильным, но менее связным по сравнению с лидерами. Иногда наблюдались небольшие несоответствия в стиле (1 балл за выполнение). Лучшими моделями для генерации связного текста оказались YandexGPT и Saiga-Mistral-7b-Lora, обе модели обеспечили высокий уровень грамматической точности и стилевого соответствия. ⏱Читать статью

Конец эпохи fashion-дизайнеров #почитать Позволяет загрузить фото гардероба в приложение. Подсказывает, что надеть. Говорит, какие вещи сочетаются друг с другом лучше. Делит гардероб на «капсулы», чтобы было проще подбирать образы. Считает, сколько денег вы тратите на вещи. Позволяет публиковать вещи в свой профиль и вести его как соцсеть. Адаптирует образы под погоду за окном. Даёт возможность продавать вещи внутри приложения. ⏱Читать статью

Путь разметки данных для NER: от Open Source до Prodigy #почитать NER позволяет автоматически выделять и классифицировать ключевые сущности в тексте — такие как имена, даты, названия организаций, и другие элементы, важные для понимания контекста и анализа. Такая задача востребована в HR, здравоохранении, юриспруденции и других областях, где требуется выделять информацию из большого массива текстовых данных. Всё началось с задачи автоматизации HR-процессов, где от модели требовалось распознавать специфические сущности, такие как место работы, должность и длительность опыта. Задача оказалась нетривиальной, поскольку требовала не только создания меток, но и грамотной разметки текстов на русском и английском языках. Мы начали с Open Source решений, чтобы протестировать основные подходы и понять, какой инструмент лучше подойдет для наших задач. ⏱Читать статью

Эволюция архитектур нейросетей в компьютерном зрении: классификация изображений #почитать Задача классификации фотографий в машинном обучении и компьютерном зрении заключается в том, чтобы автоматически присваивать каждой входной фотографии или изображению одну или несколько категорий (классов) на основе содержимого изображения. Это одна из ключевых задач в области компьютерного зрения, которая имеет множество практических приложений, таких как распознавание лиц, классификация объектов, медицинская диагностика по изображениям, фильтрация контента и другие. ⏱Читать статью

▫️Быстрый matching товаров на маркетплейсе Wildberries #посмотреть DATAMeetup. ⏱Смотреть на YouTube ⏱️25 минут

Глубокое погружение в базовую архитектуру LPU Groq #почитать В этой статье мы собираемся разобрать архитектуру TSP и его компилятора, а затем увидим, как Groq построили надежный и высокопроизводительный распределенный механизм инференса ИИ с использованием этих TSP. Архитектура TSP сильно отличается от архитектуры обычного процессора или графического процессора, главным образом для того, чтобы сделать аппаратное обеспечение TSP более детерминированным. Давайте сначала поговорим о том, что вызывает недетерминизм в процессоре или графическом процессоре. ⏱Читать статью

Как я автоматизировал поиск работы при помощи LLM #почитать В свете последних новостей о сокращениях в IT-индустрии вопрос поиска работы встает все более остро даже для людей, которые в данный момент трудоустроены. Встал он и для меня, так как хоть на данный момент с работой у меня все в порядке, но начали появляться звоночки, намекающие на возможную необходимость ее смены в ближайшее время. И тут вспоминается мой прошлый опыт поиска работы с многочасовым блужданием по соответствующим сайтам, вычитыванием очередной вакансии, попытками понять, как те или иные требования работодателя соотносятся с вакансией, добавлены ли они туда потому что действительно нужны или это такой фильтр от лишних соискателей. В общем монотонная однообразная работа вида: "Открыл вакансию -> прочитал -> если заинтересовало, нажал кнопку отклика -> прикрепил сопроводительное письмо и т.д." Можно конечно ускорить процесс, выкинув из этого алгоритма пункт с вычитыванием резюме, но: а) есть немалый шанс, кликая на все подряд, как обезьяна, откликнуться на неподходящую для тебя вакансию; кому-то это норм, но мне бы не хотелось дергать HR'ов лишний раз по поводу вакансии, которая на самом деле мне не интересна; б) некоторые особо хитрые работодатели добавляют в описание своих вакансий всякие ключевые слова/вопросы, которые нужно упомянуть/ответить в резюме; по мне так не самая лучшая практика, но я их за это не виню. Эх, вот бы нашелся кто-нибудь, кто вычитал бы вакансию за меня, определил, будет ли мне она интересна, написал бы сопроводительное письмо с учетом моего резюме, текста вакансии и всяких там ключевых слов, ответил бы на сопутствующие вопросы и послал бы все это дело работодателю... Минуточку, кажется я знаю, кто мне в этом поможет: LLM же! ⏱Читать статью

Lasso, Ridge и кастомные регуляризаторы: основы #почитать Сегодня разберем тему, которая хоть и звучит скромно — Lasso, Ridge и кастомные регуляризаторы, — но на практике буквально спасает модели от переобучения. Если у вас бывало так, что модель на тренировочных данных показывает отличные результаты, а при проверке на валидации теряет весь блеск — поздравляю, вы столкнулись с тем самым переобучением! Регуляризация здесь как раз для того и нужна: помогает «усмирить» модель, добавляя ограничения, которые не дают ей запоминать лишние детали. ⏱Читать статью

Квантизация позволяет запускать Llama 3.2 на мобилках #почитать Какого именно уровня производительности удалось добиться новым квантованным моделям Llama? В среднем это ускорение инференса от двух до четырех раз по сравнению с весами в формате BF16, при сохранении практически сопоставимого качества. Уменьшение размера модели на 56% - что важно для мобильного приложения, чтобы меньше места на телефоне занимало - и уменьшение объема потребляемой памяти на 41% процент. Все это согласно результатам бенчмарков, приведенных на сайте Llama. ⏱Читать статью

Создаем кастомные функции потерь в CatBoost #почитать Стандартные функции потерь хороши для типовых задач, но в нашей суровой жизни часто требуются специфичные решения. Например, может понадобиться усилить внимание модели на редких классах или минимизировать разные типы ошибок в зависимости от их влияния на бизнес. ⏱Читать статью

KAN: Kolmogorov–Arnold Networks #почитать

Предлагаю вашему вниманию полный перевод статьи об алгоритме нейронной сети на основе теоремы Колмогорова Арнольда, опубликованной исследователями из Massachusetts Institute of Technology, California Institute of Technology, Northeastern University и The NSF Institute for Artificial Intelligence and Fundamental Interactions. В настоящее время в на просторах интернета есть лишь посты на основе данной статьи с интригующими названиями типа: «Новый убийца нейросетей? Сеть Колмогорова Арнольда (KANs)» или «Исследователи разработали принципиально новую архитектуру нейросетей, которая работает лучше персептрона» и т. п. Для лучшего понимания это темы обратимся к первоисточнику ‑статье, опубликованной не так давно — в апреле 2024 года.

⏱Читать статью

Predicting Diabetes Types: A Deep Learning Approach #почитать Machine learning analysis of diabetes: Deep learning vs. XGBoost (64.75% vs. 74% accuracy) using health and lifestyle data. ⏱Читать статью

Пишем свою Diffusion модель с нуля #почитать Я решил разобраться и понять, как устроена Diffusion модель внутри, понять ее математику и постараться объяснить и разложить ее на пальцах. Ну и конечно пописать код, который (спойлер) заработал. ⏱Читать статью