Data Scientist | IT

Создание плагина для IntelliJ IDE с подключением GigaChat для проверки качества кода #почитать Разработка плагина началась с идеи объединить возможности искусственного интеллекта с инструментами для разработки, чтобы получать полезные рекомендации по коду непосредственно в среде разработки. Поскольку GigaChat способен не только понимать контекст, но и предоставлять рекомендации по улучшению кода, я решил, что интеграция его в IDE для автоматического анализа и проверки качества кода станет полезным инструментом для начинающих разработчиков точно. Итак, для реализации идеи потребуется создать плагин для IDE, после запуска которого при выделении блока коде и нажатии комбинации клавиш "CTRL+ALT+A" GigaChat проанализировал бы код. ⏱Читать статью

В ожидании лучших 3D датасетов для ML #почитать Для одного из своих проектов, я погрузился в чтение методов генерации трехмерных сцен и анимированных моделей. Не слишком удивительным фактом оказалось, что подавляющее большинство из них опираются на одну и ту же идею переноса градиента из генератора плоских изображений в дифференцируемое трехмерное представление модели. Меня заинтересовал вопрос — неужели плоские изображения являются наилучшим промежуточным этапом для данной задачи и нет формата лучше, такие как облака точек или гауссианы? Мои поиски наборов данных и перспектив их массового появления я хотел бы описать в этой статье. Прежде чем говорить о том, какие данные я ищу, нужно добавить немного мотивации. В задачах машинного обучения наборы данных можно разбить условно на те, которые получаются в результате целенаправленного сбора данных, либо те, что получаются в результате попыток обработки большого объема данных сгенерированных «в природе». «Горький урок», подтвержденный взлетом языковых и генеративных моделей для изображений, звука, голоса и видео говорит, что для общих задач в долгой перспективе большой объем легкодоступных данных оказывается более эффективным, чем сложные специализированные решения. ⏱Читать статью

🪐 Новые вакансии AI/ML-инженеров 🚀 ML-инженер в ИИ-платформа, до 400 000 ₽ Подробнее ➡️ https://jobrocket.ru/job/ml-inzhener-ii-platforma-516edaf2 🚀 Python AI разработчик в Data World, oт 200 000 ₽ Подробнее ➡️ https://jobrocket.ru/job/python-ai-razrabotchik-data-world-972992ec 🚀 Python разработчик в iFellow, oт 230 000 ₽ Подробнее ➡️ https://jobrocket.ru/job/python-razrabotchik-ifellow-a4107c40 🚀 Python Developer в Викс.АИ, oт 100 000 ₽ Подробнее ➡️ https://jobrocket.ru/job/python-developer-viksai-2495a15e 🚀 Technical Solutions Engineer в GitMax, до 400 000 ₽ Подробнее ➡️ https://jobrocket.ru/job/technical-solutions-engineer-gitmax-081d60a4 🚀 ML Engineer в GeoStartup, 400 000 - 450 000 ₽ Подробнее ➡️ https://jobrocket.ru/job/ml-engineer-geostartup-b8147f8f 🚀 Аналитик данных / Data-инженер в Команда Искендерова, 60 000 - 200 000 ₽ Подробнее ➡️ https://jobrocket.ru/job/analitik-dannyh-data-inzhener-komanda-iskenderova-f10b7424 🚀 Research NLP Engineer в Сколтех, 150 000 - 250 000 ₽ Подробнее ➡️ https://jobrocket.ru/job/research-nlp-engineer-skolteh-1e9a0296 🚀 Продуктовый аналитик в МТС, oт 90 000 ₽ Подробнее ➡️ https://jobrocket.ru/job/produktovyj-analitik-mts-a790d3e1 🚀 AI/ML Developer (LLM & RAG), 120 000 - 150 000 ₽ Подробнее ➡️ https://jobrocket.ru/job/aiml-developer-llm-and-rag-nda-154b1e3f Больше вакансий дата-инженеров здесь ⤵️ https://jobrocket.ru/?categories=aiml

Может ли простейшая нейросеть найти математическую закономерность в данных #почитать В этой небольшой статье мы научим нейросеть решать задачу умножения перестановок длины 5 (группа S_5) и визуализируем результаты обучения с помощью методов проекции t-SNE (и понизим размерность PCA) и алгоритма UMAP. Мы убедимся в том, что даже элементарная модель может "неосознанно" провести бинарную классификацию перестановок. Однако с более тонкой задачей кластеризации по цикловой структуре модель будет испытывать затруднения. ⏱Читать статью

Семь каверзных вопросов от преподавателей школы аналитиков данных МТС #почитать Вместе со своими коллегами — преподавателями в Школе аналитиков данных от МТС — подготовил семь каверзных вопросов, с которыми могут столкнуться начинающие специалисты в области Data Science, ML и Big Data. ⏱Читать статью

Как мы запустили автоматическую модерацию видео в объявлениях Авито #почитать В статье рассказываю, с какими трудностями мы столкнулись при модерации видео в условиях небольшого количества данных, и как их решили. Думаю, материал будет полезен всем, кто занимается похожими задачами в крупных продуктовых компаниях. ⏱Читать статью

LLaDA: The Diffusion Model That Could Redefine Language Generation #почитать How LLaDA works, why it matters, and how it could shape the next generation of LLMs. ⏱Читать статью

Прогнозируем движение беспилотного автомобиля - Yandex Cup #почитать

Недавно завершился чемпионат по программированию Yandex Cup ML Challenge 2024, в котором я занял второе место в задаче “Self-driving cars: предсказание движения беспилотного автомобиля”. В статье расскажу про задачу и подходы, которые использовал для решения.

⏱Читать статью

ML-тренды рекомендательных технологий #почитать Главная задача рекомендательной системы — предоставить пользователю контент, фильм, трек, книгу, товар или информацию, которые могут заинтересовать его в данный момент. Сложность в том, что у нас нет явного запроса пользователя, как в поиске, есть только история его взаимодействий с объектами и наша надежда на то, что мы верно распознали его скрытые желания. ⏱Читать статью

State Space Models. Mamba #почитать Ни для кого не секрет, что доминирующей на данный момент архитектурой в области Deep Learning являются трансформеры. Они произвели настоящий фурор и стали основой для самых известных LLM. На данный момент они используются почти во всех фундаментальных моделях, от тех, что с открытым исходным кодом, таких как Mistral, до закрытых, таких как ChatGPT. Однако, трансформеры не лишены некоторых недостатков. Сегодня мы разберём архитектуру под названием Mamba, которая претендует на то, чтобы стать соперником трансформеров и решить их уязвимости. ⏱Читать статью

Чем занимаются дата-сайентисты в Авито #почитать Статья будет интересна начинающим и мидл-дата-сайентистам, а также тем, кто только хочет войти в профессию и ищет образовательные программы. ⏱Читать статью

Предвзятость русскоязычных LLM #почитать Как выглядит типичный день человека: его пол, возраст, профессия и типичный распорядок дня по мнению нейросетей от Яндекса, Сбера, Т‑Банка. ⏱Читать статью

Почему оценить стоимость датасета не так просто, как кажется #почитать Представьте, что вы получили заказ на разметку датасета из 1,000 изображений. Вы берете 20 картинок из сета, проводите тесты и получаете примерную стоимость 1 изображения. В итоге вы оцениваете проект, основываясь на количестве изображений, и устанавливаете цену за каждое. Однако, когда данные приходят, оказывается, что на каждом изображении не один объект к разметке, как было на тестах, а десятки! В итоге вы тратите гораздо больше времени и средств, чем планировали в начале. Как избежать таких распространенных ошибок и защитить свой бизнес от неожиданных затрат и задержек? Давайте обсудим, какие ошибки чаще всего возникают при оценке проектов по сбору и разметке данных для машинного обучения, и на что важно обращать внимание, чтобы гарантировать корректную оценку ваших проектов. ⏱Читать статью

выводы?

Компьютерное зрение на С++: подключаем ML-библиотеки и обрабатываем результаты поиска объектов #почитать •Как подключить к проекту библиотеки машинного обучения PyTorch и NCNN. •Как получить модели YOLOv5 и YOLOv4 для использования на мобильном устройстве. •Как реализовать инференс моделей для обнаружения объектов. •Как обработать результаты работы моделей YOLO, реализовав алгоритмы Non-Maximum-Suppression и Intersection-Over-Union. ⏱Читать статью

▫️Как обрабатывать, фильтровать и генерировать текстовые данные для ML моделей #посмотреть DATAMeetup. ⏱Смотреть на YouTube ⏱️25 минут

Предиктивная аналитика надёжности оборудования #почитать Для насосного оборудования такие предсказания могут включать в себя оценку вибрации, температуры, давления, уровня жидкости и других критических параметров. Благодаря этому становится возможным планировать ремонты и замену деталей таким образом, чтобы минимизировать время простоя и затраты на обслуживание. ⏱Читать статью

PM Юмор Проджект-менеджеры не ставят дедлайны — они искусно создают атмосферу легкой паники и срочности. «Спринт-планирование»? Что это? Если команда в Zoom, никто не молчит и все делают вид, что понимают — значит, всё идёт по плану! Подписывайтесь на PM Юмор — где шутки появляются быстрее, чем таски в бэклоге! PM Юмор

Cтатистика Байеса в ML для самых маленьких #почитать Байесовская статистика — это что-то вроде античного оракула в современном мире данных. Она не просто предсказывает будущее, она делает это с потрясающей уверенностью, опираясь на всё, что знает (или думает, что знает) о прошлом. Представьте себе модель машинного обучения, которая не довольствуется лишь холодными числами и вероятностями, полученными из текущих данных. Она как опытный инвестор, который всегда держит в уме свой предыдущий опыт, но готов быстро адаптироваться, как только рынок (то есть данные) даёт ему новую информацию. Именно здесь в игру вступают априорные и апостериорные вероятности — два основных инструмента, при помощи которых Байесовский подход разворачивает свою магию. Априорная вероятность — некий изначальный набор гипотез, который может быть основан на знаниях, догадках или статистике. Например, если вы обучаете модель для распознавания мошенничества в финансовых операциях, ваш априор может быть основан на данных предыдущих лет, когда мошенничество составляло, скажем, 5% от общего числа операций. ⏱Читать статью

Подборка из 5 классных книг для обучения soft-skills и управлению проектами: ▫️Искусство Agile-разработки ▫️Scrum. Революционный метод управления проектами ▫️Agile-трансформация. Готовый план перехода к гибкой бизнес-модели организации ▫️Эпоха Agile. Как умные компании меняются и достигают результатов ▫️Agile для всех. Создание быстрой, гибкой, клиентоориентированной компании Эти (и многие другие книги по soft-skills и управлению проектами) вы можете найти на канале Библиотека PM. Там регулярно публикуются свежие книги на русском языке. Все книги публикуются для ознакомления. ➡️ Подписаться на Библиотеку PM