DenoiseLAB

Активно изучаем классику: ✔️GAN - arxiv.org/pdf/1406.2661 ✔️ VAE - arxiv.org/pdf/1312.6114 ✔️ VQ VAE - arxiv.org/pdf/1711.00937 ✔️ VQ VAE 2 - arxiv.org/pdf/1906.00446 ✔️ Diffusion - arxiv.org/pdf/1503.03585 ✔️ Denoising Diffusion - arxiv.org/pdf/2006.11239 ✔️ Denoising Diffusion 2 - arxiv.org/pdf/2102.09672 ✔️ Diffusion Beats GANs - arxiv.org/pdf/2105.05233 ✔️ CLIP - arxiv.org/pdf/2103.00020 ✔️ DALL E - arxiv.org/pdf/2102.12092 ✔️ DALL E 2 - arxiv.org/pdf/2204.06125

Google в своем репертуаре. То у них генератор картинок делает ванильное мороженое шоколадным, а английский монархов азиатами, то свежий ИИ-поисковик предлагает самоубийство в качестве лекарства от депрессии. Анонсированный на Google I/O поисковик с фичей AI Overview на днях раскатили в бета. Но пользователям его качество, мягко скажем, пришлось не по вкусу. Интернет наполнился странными и нелепыми кейсами ответов нового инструмента. Кому-то он предлагает есть камни, кому-то сброситься с моста. Google пока ситуацию никак не комментировали.

Ученый из Йемена показал концепт ИИ-тюрьмы будущего — Cognify. Он предлагает закрывать уголовников в особых капсулах и переучивать их мозг ложными воспоминаниями, сгенерированным нейросетями. На выходе получаются новые люди, которые не захотят нарушать закон.

Причем мы предложили очень неплохое решение, на следующие неделе напиши статью на хабр с разбором кейса.

Ребят всем привет!!! Мы были на соревнованиях по геенрации текста и его камуфлированию. То есть стояли следующие задачи: 1/ Получить текст и оценить его степень генерации по 100 шкале 2/ Перефразирвовать его и "очеловечить", причем можно использовать все возможные варианты. За хакатон было просмотрено большое колличество материала и делюсь с вами мало ли будет подобная работа у вас. https://github.com/evgeniy-gordeev/AI-GEN-detector/tree/master https://huggingface.co/models?p=13&sort=trending&search=paraphrase https://huggingface.co/sentence-transformers/paraphrase-TinyBERT-L6-v2 https://huggingface.co/s-nlp/ruRoberta-large-paraphrase-v1 https://huggingface.co/Ashishkr/paraphrase_diversity_ranker https://github.com/RasaHQ/paraphraser https://huggingface.co/aiknowyou/mt5-base-it-paraphraser https://huggingface.co/PM-AI/sts_paraphrase_xlm-roberta-base_de-en

Midlibrary собрали более 5300 стилей художников, архитекторов, дизайнеров, иллюстраторов и фотографов. https://midlibrary.io/styles

https://www.anthropic.com/research/reward-tampering - не ломается говорите )))

https://www.tadviser.ru/index.php/%D0%A1%D1%82%D0%B0%D1%82%D1%8C%D1%8F:%D0%A2%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8_%D0%B1%D0%B8%D0%BE%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B9_%D0%B8%D0%B4%D0%B5%D0%BD%D1%82%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D0%B8 - очень инетерсное сборное исследование на тему биометрии

https://github.com/ploomber/jupysql - как говорится: мал клоп, да вонюч )))

https://www.techopedia.com/news/metas-new-camerabuds-earphones-with-ai-powered-cameras - какая тонка работа, учитывая биологию уха, и колличество там точек можно будет собирать большинство данных уже не только о человеке, но и по каждому органу в отдельности. Вау...

☄️☄️☄️https://github.com/google-ai-edge/model-explorer/wiki/4.-API-Guide - очень модная тулза для оценки работы модели, вернее ее визуализации, достаточно мощный и расширенный функционал, есть подробная документация по установке и настройке, пригодится всем кто изучает сети, разбирает их по кусочкам.

✔️✔️✔️Запилил быстрый отчет для клиента по рабочей задаче скоринговых данных в банковской системе. Кейс, в целом проходной, реализован на CatBoost'e с минимальной аналитикой. Управились очень оперативно, с правками, дополнениями и прочими моментами. Визуализация базовая без изысков так как кейс типовой, со стороны бизнеса все показано и даны рекомендации завернуть все докер или апишку.

🇨🇳 В Китае ученые создают новое поколение секс-роботов на базе китайских LLM по типу 👩‍💻ChatGPT Как стало известно SCMP, китайские ученые и инженеры решили использовать большие языковые модели (LLM) специально для секс-роботов с целью создания 💑"интерактивных компаньонов", имеющих искусственный интеллект. В Шэньчжэне крупный производитель секс-кукол компания Starpery Technology начала обучать свою собственную большую языковую модель, чтобы усовершенствовать свой продукт и наделить его ИИ, дабы куклы могли имитировать человеческий голос, общаться и 🍓понимать желания собственника. По мнению разработчиков, секс-куклы с "беспрецедентными возможностями" в интимном плане - в мужском или женском обличии - скоро появятся на полках магазинов.

https://github.com/yandex/geo-reviews-dataset-2023 - Яндекс выкладывает в открытый доступ крупнейший русскоязычный датасет отзывов об организациях, опубликованных на Яндекс Картах. ✔️500 000 уникальных отзывов ✔️Только отзывы на организации в России ✔️Доступны на Яндекс Картах ✔️Опубликованы с января по июль 2023 года ✔️Датасет не содержит коротких односложных отзывов ✔️Тексты очищены от персональных данных (номеров телефонов, адресов почты)

https://forms.yandex.ru/surveys/13492362.a1a7f6fba7c4839dd717327340b7804378962489/?utm_source=share2&utm_content=success Kuber Conf / 24 — Yandex Forms\

📈📈📈В редактуру ушла новая статья про "Отравления моделей машинного обучения", плавно перехожу на разработку инструментов, чтобы усилить статьи и сделать их более мощными. Так как сбор материала и его анализ уходит много времени, надо успевать еще инструменты пилить ;)))

https://habr.com/ru/companies/sberbank/articles/821615/ - моя новая статья по заказу Сбера.

☄️☄️☄️TrustLLM — инструмент на Python для комплексного исследования ответов от LLM. TrustLLM рассматривает 6 аспектов ответов: правдивость, безопасность, этичность, соблюдение конфиденциальности и другие. В этом документе подробно объясняется, как использовать инструмент для оценки эффективности собственных моделей. pip install trustllm ▪️GitHub ▪️Arxiv ▪️Docs ▪️Project

🕯🕯🕯Очень интересное исследование, в котором показано что не обязательно переобучать сеть достаточно лишь, чутка подправить пару нейронов, при этом можно составить карту нейронов и понять кто за что отвечает и в итоге можем получить целью картинку для анализа.

https://github.com/kraidiky/connectome_optimization/blob/main/facade.ipynb - Прореженный на 2.75M весов мобайлнет

❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_223 🔠 Что такое супер-полносвязные нейронные сети ? (Часть_3) Dropout - это еще одна техника, используемая для увеличения разреженности сети путем случайного исключения нейронов из процесса обучения. Это помогает предотвратить переобучение и улучшить обобщающую способность модели. В контексте L0-регуляризации, dropout может быть адаптирован таким образом, чтобы обнулять веса с определенной вероятностью, что добавляет дополнительный регуляризующий эффект. #full_connected_net #neural_network #ds #analytics #optimization

🔥🔥🔥Список математических библиотек на Python: ✔️NumPy (https://numpy.org/) — базовая библиотека для научных расчетов, содержащая набор инструментов для работы с многомерными массивами. ✔️ SciPy (https://scipy.org/) — библиотека для научных вычислений, построенная на основе NumPy. ✔️ Matplotlib (https://matplotlib.org/) — библиотека для построения двухмерных графиков. ✔️ SymPy (https://www.sympy.org/en/index.html) — библиотека для символьных вычислений. ✔️ Pandas (https://pandas.pydata.org/) — библиотека для обработки и анализа данных, содержит структуры данных DataFrame и Series. ✔️ Scikit-learn (https://scikit-learn.org/stable/) — библиотека машинного обучения. ✔️ Numerical Integration (https://docs.scipy.org/doc/scipy/tutorial/integrate.html) — библиотека для численного интегрирования. ✔️ PyMathProg (https://pymprog.sourceforge.net/) — библиотека для решения математических задач линейного и целочисленного программирования. ✔️ SymEngine (https://github.com/symengine/symengine) — библиотека для символьных вычислений. ✔️ Combinatorics (https://www.geeksforgeeks.org/permutation-and-combination-in-python/) — библиотека для комбинаторных вычислений. ✔️ NetworkX (https://networkx.org/) — библиотека для работы с графами. ✔️ Pyomo (http://www.pyomo.org/) — библиотека для решения задач оптимизации. ✔️ CvxOpt (https://cvxopt.org/) — библиотека для решения задач линейного и квадратичного программирования. ✔️ CVXPY (https://www.cvxpy.org/) — библиотека для решения задач линейного и квадратичного программирования.

❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_223 🔠 Что такое супер-полносвязные нейронные сети ? (Часть_2) L0-регуляризация представляет собой подход, который позволяет обнулять веса нейронов, тем самым уменьшая общее количество параметров в сети. Этот метод может быть особенно полезен для уменьшения размерности модели и повышения ее эффективности. Однако, его использование требует тщательного планирования и тестирования, поскольку неправильное применение может привести к нежелательным изменениям в структуре сети. #full_connected_net #neural_network #ds #analytics #optimization

❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_223 🔠 Что такое супер-полносвязные нейронные сети ? (Часть_1) Супер-полносвязные разреженные сети (Super-Sparse Fully Connected Networks) - это концепция в области машинного обучения, которая касается методов оптимизации и уменьшения размерности нейронных сетей. Основная идея заключается в использовании техник, таких как L0-регуляризация и dropout, для создания более эффективных и компактных моделей. Эти методы помогают уменьшить количество параметров в сети, делая ее более разреженной, что может улучшить производительность и уменьшить потребление ресурсов. #full_connected_net #neural_network #ds #analytics #optimization

🟡🟡🟡Два модных датасета, на которых проводится тестирование систем по принятию решений для автопилотом в современных авто: https://github.com/Farama-Foundation/HighwayEnv https://www.nuscenes.org/