PyMagic
Data Science / ML / Deep Learning VK group https://vk.com/club211095898
إظهار المزيد5 832
المشتركون
+424 ساعات
-27 أيام
+930 أيام
- المشتركون
- التغطية البريدية
- ER - نسبة المشاركة
جاري تحميل البيانات...
معدل نمو المشترك
جاري تحميل البيانات...
Repost from N/a
Photo unavailableShow in Telegram
Лови #дайджест_wbs: изучай и выбирай, какую новость будешь обсуждать с коллегами за кофе в понедельник 🔄
📎OpenAI представили CriticGPT — помощника в поиске ошибок и уязвимостей кода, созданного GPT-4.
📎Moshi — новый экспериментальный разговорный ИИ французской лаборатории Kyutai. С моделью уже можно поговорить, а статью, код и веса обещают выпустить скоро.
📎InternLM показали XComposer-2.5 — универсальную большая модель языка Vision, поддерживающую длинный контекстный ввод и вывод.
📎Graph RAG от Microsoft — новая методология использования структур памяти knowledge graph для улучшения работы LLM.
📎Oracle выпустила СУБД MySQL 9.0.0. Сборки MySQL Community Server 9.0.0 доступны для Linux, FreeBSD, macOS и Windows.
📎Представлена модель для генерации 3D объектов — 3D Gen от Meta. Этап генерации объекта занимает всего 30 секунд, а оптимизация – 20 секунд.
📎ESPNet XEUS — новая SoTA распознавания речи Университета Карнеги-Меллона, которая обучена более чем 4000 языкам.
📎Делимся интересным репозиторием с ДНК-подобным обучением, который имитирует игру в крестики-нолики.
Подписывайтесь, чтобы быть в курсе новостей:
🌟 @wb_space
📹 @wb_tech
🔥 17🤯 2❤ 1
В Data Science больше НЕ попасть 🚫
В следующий раз, когда будете читать комменты/отзывы скептиков, что в ИТ не пробиться, что в Data Science не попасть, что конкурс там ОГОГОШЕНЬКИ и ваши резюме не читают, вспоминайте факты и статистику из этого видео. Я могу полностью подтвердить это на собственном опыте ☺️
По описанию вакансии можно увидеть, что не требовались сверх знания и умения, поэтому не спешите кидаться помидорками 🍅
❗️Спойлер: у ребят из 1900 откликов на одну вакансию только 21 человек имел релевантный опыт 😳
Кажется, что подобным площадкам пора уже делать модели «фрода» на отклики 🤔 Коллеги, пора планировать бюджет для такой сочной задачи и делить пироги!
93,7% резюме - мусор. Конкуренция в IT - это миф?
На три вакансии я получил 4500 откликов и по итогу не нанял никого. Точнее нанял, но не там где искал. В этом ролике посмотрим что там с рынком джунов и насколько там все плохо или хорошо. Список разных источников вакансий -
https://t.me/svyatamesto/436Шаблон сопроводительного письма -
https://www.dropbox.com/scl/fi/gss0iwhe7fg11jahyf4f9/cover_letter_template.pdf?rlkey=qucuon35lc9jjaq0i5jgievwh&dl=0💡Бот с идеями для пет-проекта -
https://t.me/hub_404_bot💡Я в Телеграм -
https://t.me/svyatamesto💡Мой чат -
https://t.me/+YKgMaur5pIZjZjBi💡Комьюнити нетоксичных айтишников -
https://discord.gg/Maz5Qhvtwj💡Тик-ток -
https://www.tiktok.com/@svyatamesto💡Нельзяграм -
https://www.instagram.com/svyatamesto/⚡️Поддержать меня: Boosty -
https://boosty.to/svyat404BTC - bc1q4tk6mjxptfdnvcmjahee7q29rh2v5p3uk996qc ETH - 0x2659229d760383AF3C9de3a90457Cd1B190AddFD TON - EQCBtx7lfTymSTlPfuWlZpikGDiJm1fq-7-kTEqYFgMm8WQH 00:00 - Конкуренция это миф? 00:40 - Кого я искал? 01:33 - Описание наших вакансий 02:47 - Первые отклики 04:11 - Какие проблемы в резюме мы нашли 04:29 - Пустое резюме 05:48 - Откликаются на все подряд 06:44 - "О себе" в сопроводительном письме 07:57 - Плохо описан опыт в резюме 08:56 - Указывают популярные курсы как "опыт работы" 09:31 - Статистика для любителей цифр 10:44 - Где еще можно искать вакансии 11:18 - Так что в итоге с конкуренцией?
👍 15❤ 6⚡ 2
Где и когда использовать нейросети 🧠
Продолжаем с вами рубрику практического применения ML. Написать какой-то гайд на тему того, где и когда использовать нейросети в своей практике, довольно сложно, потому что сейчас есть множество самых разных архитектур: от совсем простых до очень сложных.
📍Но мы можем выделить основные аспекты, которые применимы для большинства моделей. Не будем сегодня разбивать наши задачи отдельно на обработку текстов, изображений и прочее, так как тогда это потянет уже на целую серию достаточно объемных лекций.
❗️Когда применять нейросети:
- Когда у вас есть большой массив данных, а лучше всего ОГРОМНЫЙ массив данных
- Когда связи в данных нелинейные
- Когда есть доступ к значительным вычислительным мощностям, а лучше всего, если есть пара лишних дата-центров)) но для простых задач хватит и gpu в Google Colab
- Когда бизнес не сильно зацикливается на интерпретируемости (потом разберёмся), нужны супер результаты и ИИ, чтобы всем рассказывать об этом в презентациях
- В комбинации с другими алгоритмами (пример: кандидатная модель в рекомендательных системах / модель попроще для стекинга)
- Когда хотите учитывать разные модальности данных (и текст, и картинки и прочее), но не забываем про мощности
- Когда традиционные алгоритмы машинного обучения не дают желаемого результата
Из перечня выше можно также сделать вывод о том, когда нейросети применять не надо 🤗
👍 18❤ 4
Самые сочные новости за последнюю неделю из мира AI 🤖
Доброе субботнее утро! ☕️
Мы собрали для вас ТОП новостей за эту неделю, теперь вы можете не переживать, что пропустили выход какой-то новой LLM или интриги у OpenAI 👌
Теперь дайджест новостей будет выходить по утрам субботы. Поэтому подписывайтесь на канал WB Space, где каждую неделю будем готовить для вас только самую сочную выжимку со всеми первоисточниками.
WB Space
WB Space — канал про технологии в области машинного обучения в Wildberries. Рассказываем как при помощи ML мы делаем маркетплейс лучше для продавцов и покупателей, делимся анонсами и полезным материалами от экспертов.
❤ 10👍 2
Repost from N/a
Photo unavailableShow in Telegram
Good morning, на связи WB Space!
Проводим утро субботы, читая новостной #дайджест_ws из мира Data Science и ML:
✔️ Бывший научный руководитель OpenAI основал свою AI-компанию. Safe Superintelligence (SSI) обеспечит безопасность искусственного интеллекта, не отвлекаясь на маркетинг.
⚙️ Первая модель с открытым исходным кодом, обгоняющая GPT4-Turbo в кодинге:
на днях вышел DeepSeekCoder 2.0.
🎙 Mars5 — новая речевая модель, которую представила компания Camb AI. Из 5 секунд аудио и фрагмента текста, нейронка может генерировать речь для сложных сценариев.
⭐️ Runway AI анонсировали Gen-3 Alpha, которая генерирует видео из текста и изображений.
➡️ Anthropic представили Claude 3.5 Sonnet — модель, которая превосходит Claude 3 Opus во всех стандартных vision-задачах.
🌐 Meta опубликовала четыре опенсорс-модели: Chameleon, Multi-Token Prediction, JASCO и AudioSeal.
✍️ NumPy 2.0 — первое обновление за 18 лет: поддержка строк, улучшение навигации в документах и другое.
😎 В Японии создали приложение CatsMe, которое использует ИИ для анализа эмоций животных.
Подписывайтесь:
🌟 @wb_space
📹 @wb_tech
🔥 13👍 4👌 1
5️⃣вещей, которые я хотела бы знать, прежде, чем работать в Data Science
Когда я только начинала свой путь в ML, то напоролась на огромное количество ошибок. Сейчас понимаю, что это очень сильно стопорило мое развитие в анализе данных.
Но я также перенимала опыт и чужих ошибок, что позволило мне избежать ряд проблем, которые бы наложились поверх существующих.
Сейчас хочется вам дать хороший инструмент для развития, и того, чтобы вы не боялись неудач, не боялись временных сложностей, потому что это все временно и решаемо, тут многое зависит о вашего желания.
Смотрите новый ролик, постаралась сделать его минимально душным, а местами и забавным 🤣
https://youtu.be/0LGK5X5iPyM
Старт карьеры в Data Science (5 вещей, которые я хотел бы знать...)
Тест "Насколько вам подходит область анализа данных"
https://clck.ru/3B7arFКурс по Data Science с нуля
https://clck.ru/3B7bje00:00 Изучение нейросетей до классического ML 02:26 Математика в Data Science не нужна 04:17 После обучения могу работать только как Data Scientist 05:56 Тотальная ошибка с учебными проектами 07:36 Мало практики ВКонтакте
https://vk.com/pymagicTelegram
https://t.me/pymagic#datascience #ityoutubersru #machinelearning
🔥 27
Кластеризуем правильно 💻
Я вам обещала пост про применение нейросетей, но из-за огромного кол-ва новостей про GPT-100500 модели, мы пропустили самое главное - алгоритмы кластеризации ❗️
Новички часто путают кластеризацию и классификацию. Кластеризация - это метод обучения БЕЗ учителя, когда вы находите кластеры в данных, как правило это группы объектов, которые объединились по похожим свойствам, закономерностям. Классификация - метод обучения С учителем, вам уже даны метки классов, задача натренировать по ним алгоритм. То есть в первом случае разметки нет, и ее надо найти, во втором она уже дана.
📌 Методов кластеризация есть несколько, какой из них выбирать не всегда понятно. Часто замечаю, что кроме как K-Means наши дата саентисты больше ничего не выучили, а зря!
Прежде, чем кластеризовать данные, вы должны снизить размеренность. Исходя из структуры новых эмбеддингов, следует применять следующие подходы:
➖Выпуклая структура (что бывает не очень часто) - K-means, он и быстрее и проще, но чувствителен к выбору начальной точки, поэтому можно попробовать K-means++
➖Сложная нелинейная структура (аля спиралька) со сложными связями - Spectral Clustering, но вычислительно дорогой
➖Кластеры в виде плотностей - DBSCAN / OPTICS, но нужно подбирать грамотно параметры
➖Кластеры различной плотности и формы, присутствует шум - HDBSCAN
➖Сложная структура, нечеткие границы, данные как смесь нормальных распределений - Gaussian Mixture Models
❗️Важно:
⁃ Выбор алгоритма кластеризации зависит от структуры данных
⁃ Нет универсального "лучшего" алгоритма
⁃ Важно понимать сильные и слабые стороны каждого алгоритма и правильно настраивать параметры
🔥 18👍 12
Photo unavailableShow in Telegram
Zero-shot 0️⃣
Zero-shot подходы набирают популярность в разных областях, а конкретно сегодня поговорим про пример в NLP!
Что же такое Zero-shot обучение? Это метод, позволяющий машинным моделям, обученным на определенном наборе данных, распознавать, обрабатывать и классифицировать новые объекты, которые не были представлены в обучающих данных. Такой подход опирается на информацию о свойствах самих объектов.
Примеры применения:
- Классификация текстов
- Определение тональности текста
- Классификация изображений по новым категориям
- Детекция новых объектов
- image-to-text
Рассмотрим пример применения Zero-shot обучения для классификации текста. Возьмем предобученную модель xlm-roberta-large-xnli и используем библиотеку transformers:
from transformers import pipeline
classifier = pipeline("zero-shot-classification", model="joeddav/xlm-roberta-large-xnli")
sequence_to_classify = "Zero-shot подходы набирают популярность в разных областях, а конкретно сегодня поговорим про пример в NLP!"
candidate_labels = ["маркетинг", "анализ данных", "искусственный интеллект", "финансы"]
result = classifier(sequence_to_classify, candidate_labels)
result
{'sequence': ....,
'labels': ['искусственный интеллект',
'анализ данных',
'финансы',
'маркетинг'],
'scores': [0.9305701851844788,
0.04775344580411911,
0.011018229648470879,
0.010658127255737782]}👍 20🔥 4👌 1
Полный гайд по IT-профессиям 👨💻👩💻🫡
Представить сейчас себе свою жизнь без телефона, компьютера и интернета практически нереально.
IT очень плотно интегрировалось в нашу жизнь, мы постоянно сталкиваемся с различными проектами и продуктами, которые используют информационные технологии под капотом.
Чем активнее мы пользуемся такими продуктами, тем выше спрос на них, и тем больше новых разработок появляется на рынке. Естественно, для создания и поддержки этих продуктов необходимы ресурсы - специалисты, разбирающиеся в соответствующих технологиях.
В ролике рассмотрела самые востребованные на текущий момент ИТ-специальности, а также навыки, которыми необходимо обладать для успешной работы в каждом из направлений.
P.S.: в видео найдете профориентационный тест 🤪 Мы уже успели его опробовать на фокус-группе, результат очень и очень показательный)
https://youtu.be/wHSICcrkxmg
Полный гайд по IT-профессиям. Что выбрать для старта и на кого учиться в ИТ?
Зарплаты и вакансии специалистов
https://career.hh.ru/professionsТест "Насколько вам подходит область анализа данных"
https://clck.ru/3B7arFКурс по Data Science с нуля
https://clck.ru/3B7bje00:00 Frontend-разработчик и что нужно знать 01:05 Backend-разработчик 02:09 Fullstack-разработчик 02:28 Data Scientist 04:18 Data Analyst и другие направления в аналитике 06:15 ML Engineer 07:05 Data Engineer 07:58 Product Manager 08:49 Project Manager 10:09 ИТ-архитектор 11:04 DevOps 12:02 QA-инженеры 13:16 Продуктовый дизайнер и UX/UI-дизайнер 15:10 Специалист по кибербезопасности 16:23 ИТ-рекрутер ВКонтакте
https://vk.com/pymagicTelegram
https://t.me/pymagic#datascience #ityoutubersru #job
👍 19
اختر خطة مختلفة
تسمح خطتك الحالية بتحليلات لما لا يزيد عن 5 قنوات. للحصول على المزيد، يُرجى اختيار خطة مختلفة.