DenoiseLAB
Информационный портал DenoiseLAB (машинное обучение, аналитика, безопасность) Информация в канале не является рекламой, призывом к действию или иным форматом побуждения к противоправной деятельности и только для ознакомления.
Show more226
Subscribers
No data24 hours
+17 days
No data30 days
Posts Archive
Активно изучаем классику:
✔️GAN - arxiv.org/pdf/1406.2661
✔️ VAE - arxiv.org/pdf/1312.6114
✔️ VQ VAE - arxiv.org/pdf/1711.00937
✔️ VQ VAE 2 - arxiv.org/pdf/1906.00446
✔️ Diffusion - arxiv.org/pdf/1503.03585
✔️ Denoising Diffusion - arxiv.org/pdf/2006.11239
✔️ Denoising Diffusion 2 - arxiv.org/pdf/2102.09672
✔️ Diffusion Beats GANs - arxiv.org/pdf/2105.05233
✔️ CLIP - arxiv.org/pdf/2103.00020
✔️ DALL E - arxiv.org/pdf/2102.12092
✔️ DALL E 2 - arxiv.org/pdf/2204.06125
Photo unavailableShow in Telegram
Google в своем репертуаре. То у них генератор картинок делает ванильное мороженое шоколадным, а английский монархов азиатами, то свежий ИИ-поисковик предлагает самоубийство в качестве лекарства от депрессии.
Анонсированный на Google I/O поисковик с фичей AI Overview на днях раскатили в бета. Но пользователям его качество, мягко скажем, пришлось не по вкусу.
Интернет наполнился странными и нелепыми кейсами ответов нового инструмента. Кому-то он предлагает есть камни, кому-то сброситься с моста.
Google пока ситуацию никак не комментировали.
00:58
Video unavailableShow in Telegram
Ученый из Йемена показал концепт ИИ-тюрьмы будущего — Cognify.
Он предлагает закрывать уголовников в особых капсулах и переучивать их мозг ложными воспоминаниями, сгенерированным нейросетями.
На выходе получаются новые люди, которые не захотят нарушать закон.
23232323.45.mp45.10 MB
💩 1
Show all...
Причем мы предложили очень неплохое решение, на следующие неделе напиши статью на хабр с разбором кейса.
Photo unavailableShow in Telegram
Ребят всем привет!!! Мы были на соревнованиях по геенрации текста и его камуфлированию. То есть стояли следующие задачи:
1/ Получить текст и оценить его степень генерации по 100 шкале
2/ Перефразирвовать его и "очеловечить", причем можно использовать все возможные варианты.
За хакатон было просмотрено большое колличество материала и делюсь с вами мало ли будет подобная работа у вас.
https://github.com/evgeniy-gordeev/AI-GEN-detector/tree/master
https://huggingface.co/models?p=13&sort=trending&search=paraphrase
https://huggingface.co/sentence-transformers/paraphrase-TinyBERT-L6-v2
https://huggingface.co/s-nlp/ruRoberta-large-paraphrase-v1
https://huggingface.co/Ashishkr/paraphrase_diversity_ranker
https://github.com/RasaHQ/paraphraser
https://huggingface.co/aiknowyou/mt5-base-it-paraphraser
https://huggingface.co/PM-AI/sts_paraphrase_xlm-roberta-base_de-en
❤ 2🔥 2
Midlibrary собрали более 5300 стилей художников, архитекторов, дизайнеров, иллюстраторов и фотографов.
https://midlibrary.io/styles
https://www.anthropic.com/research/reward-tampering - не ломается говорите )))
https://www.tadviser.ru/index.php/%D0%A1%D1%82%D0%B0%D1%82%D1%8C%D1%8F:%D0%A2%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8_%D0%B1%D0%B8%D0%BE%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B9_%D0%B8%D0%B4%D0%B5%D0%BD%D1%82%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D0%B8 - очень инетерсное сборное исследование на тему биометрии
https://github.com/ploomber/jupysql - как говорится: мал клоп, да вонюч )))
https://www.techopedia.com/news/metas-new-camerabuds-earphones-with-ai-powered-cameras - какая тонка работа, учитывая биологию уха, и колличество там точек можно будет собирать большинство данных уже не только о человеке, но и по каждому органу в отдельности. Вау...
☄️☄️☄️https://github.com/google-ai-edge/model-explorer/wiki/4.-API-Guide - очень модная тулза для оценки работы модели, вернее ее визуализации, достаточно мощный и расширенный функционал, есть подробная документация по установке и настройке, пригодится всем кто изучает сети, разбирает их по кусочкам.
✔️✔️✔️Запилил быстрый отчет для клиента по рабочей задаче скоринговых данных в банковской системе.
Кейс, в целом проходной, реализован на CatBoost'e с минимальной аналитикой.
Управились очень оперативно, с правками, дополнениями и прочими моментами. Визуализация базовая без изысков так как кейс типовой, со стороны бизнеса все показано и даны рекомендации завернуть все докер или апишку.
🇨🇳 В Китае ученые создают новое поколение секс-роботов на базе китайских LLM по типу 👩💻ChatGPT
Как стало известно SCMP, китайские ученые и инженеры решили использовать большие языковые модели (LLM) специально для секс-роботов с целью создания 💑"интерактивных компаньонов", имеющих искусственный интеллект.
В Шэньчжэне крупный производитель секс-кукол компания Starpery Technology начала обучать свою собственную большую языковую модель, чтобы усовершенствовать свой продукт и наделить его ИИ, дабы куклы могли имитировать человеческий голос, общаться и 🍓понимать желания собственника.
По мнению разработчиков, секс-куклы с "беспрецедентными возможностями" в интимном плане - в мужском или женском обличии - скоро появятся на полках магазинов.
https://github.com/yandex/geo-reviews-dataset-2023 - Яндекс выкладывает в открытый доступ крупнейший русскоязычный датасет отзывов об организациях, опубликованных на Яндекс Картах.
✔️500 000 уникальных отзывов
✔️Только отзывы на организации в России
✔️Доступны на Яндекс Картах
✔️Опубликованы с января по июль 2023 года
✔️Датасет не содержит коротких односложных отзывов
✔️Тексты очищены от персональных данных (номеров телефонов, адресов почты)
https://forms.yandex.ru/surveys/13492362.a1a7f6fba7c4839dd717327340b7804378962489/?utm_source=share2&utm_content=success
Kuber Conf / 24 — Yandex Forms\
📈📈📈В редактуру ушла новая статья про "Отравления моделей машинного обучения", плавно перехожу на разработку инструментов, чтобы усилить статьи и сделать их более мощными. Так как сбор материала и его анализ уходит много времени, надо успевать еще инструменты пилить ;)))
https://habr.com/ru/companies/sberbank/articles/821615/ - моя новая статья по заказу Сбера.
☄️☄️☄️TrustLLM — инструмент на Python для комплексного исследования ответов от LLM. TrustLLM рассматривает 6 аспектов ответов: правдивость, безопасность, этичность, соблюдение конфиденциальности и другие. В этом документе подробно объясняется, как использовать инструмент для оценки эффективности собственных моделей.
pip install trustllm
▪️GitHub
▪️Arxiv
▪️Docs
▪️Project
🕯🕯🕯Очень интересное исследование, в котором показано что не обязательно переобучать сеть достаточно лишь, чутка подправить пару нейронов, при этом можно составить карту нейронов и понять кто за что отвечает и в итоге можем получить целью картинку для анализа.
1_Ансамбль_синапсов_–_структурная_единица_нейронной_сети,_Влад_Голощапов.pptx2.86 MB
https://github.com/kraidiky/connectome_optimization/blob/main/facade.ipynb - Прореженный на 2.75M весов мобайлнет
Photo unavailableShow in Telegram
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_223
🔠 Что такое супер-полносвязные нейронные сети ? (Часть_3)
Dropout - это еще одна техника, используемая для увеличения разреженности сети путем случайного исключения нейронов из процесса обучения. Это помогает предотвратить переобучение и улучшить обобщающую способность модели. В контексте L0-регуляризации, dropout может быть адаптирован таким образом, чтобы обнулять веса с определенной вероятностью, что добавляет дополнительный регуляризующий эффект.
#full_connected_net #neural_network #ds #analytics #optimization
👍
👎
🤔
💬
🔥🔥🔥Список математических библиотек на Python:
✔️NumPy (https://numpy.org/) — базовая библиотека для научных расчетов, содержащая набор инструментов для работы с многомерными массивами.
✔️ SciPy (https://scipy.org/) — библиотека для научных вычислений, построенная на основе NumPy.
✔️ Matplotlib (https://matplotlib.org/) — библиотека для построения двухмерных графиков.
✔️ SymPy (https://www.sympy.org/en/index.html) — библиотека для символьных вычислений.
✔️ Pandas (https://pandas.pydata.org/) — библиотека для обработки и анализа данных, содержит структуры данных DataFrame и Series.
✔️ Scikit-learn (https://scikit-learn.org/stable/) — библиотека машинного обучения.
✔️ Numerical Integration (https://docs.scipy.org/doc/scipy/tutorial/integrate.html) — библиотека для численного интегрирования.
✔️ PyMathProg (https://pymprog.sourceforge.net/) — библиотека для решения математических задач линейного и целочисленного программирования.
✔️ SymEngine (https://github.com/symengine/symengine) — библиотека для символьных вычислений.
✔️ Combinatorics (https://www.geeksforgeeks.org/permutation-and-combination-in-python/) — библиотека для комбинаторных вычислений.
✔️ NetworkX (https://networkx.org/) — библиотека для работы с графами.
✔️ Pyomo (http://www.pyomo.org/) — библиотека для решения задач оптимизации.
✔️ CvxOpt (https://cvxopt.org/) — библиотека для решения задач линейного и квадратичного программирования.
✔️ CVXPY (https://www.cvxpy.org/) — библиотека для решения задач линейного и квадратичного программирования.
Photo unavailableShow in Telegram
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_223
🔠 Что такое супер-полносвязные нейронные сети ? (Часть_2)
L0-регуляризация представляет собой подход, который позволяет обнулять веса нейронов, тем самым уменьшая общее количество параметров в сети. Этот метод может быть особенно полезен для уменьшения размерности модели и повышения ее эффективности. Однако, его использование требует тщательного планирования и тестирования, поскольку неправильное применение может привести к нежелательным изменениям в структуре сети.
#full_connected_net #neural_network #ds #analytics #optimization
👍
👎
💬
Photo unavailableShow in Telegram
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_223
🔠 Что такое супер-полносвязные нейронные сети ? (Часть_1)
Супер-полносвязные разреженные сети (Super-Sparse Fully Connected Networks) - это концепция в области машинного обучения, которая касается методов оптимизации и уменьшения размерности нейронных сетей.
Основная идея заключается в использовании техник, таких как L0-регуляризация и dropout, для создания более эффективных и компактных моделей. Эти методы помогают уменьшить количество параметров в сети, делая ее более разреженной, что может улучшить производительность и уменьшить потребление ресурсов.
#full_connected_net #neural_network #ds #analytics #optimization
👍
👎
🤔
💬
🟡🟡🟡Два модных датасета, на которых проводится тестирование систем по принятию решений для автопилотом в современных авто:
https://github.com/Farama-Foundation/HighwayEnv
https://www.nuscenes.org/
Sign in and get access to detailed information
We will reveal these treasures to you after authorization. We promise, it's fast!