Маша Грин и айти 🥂
Open in Telegram
Канал начинался с собесов в айтишку - перерос в тимлидские заметки, сводки с конференций и мемы. Собесы все еще здесь, но уже с другой стороны 😁 Для связи @masha_phd
Show more462
Subscribers
-124 hours
-27 days
No data30 days
Posts Archive
Контроль версий моделей и датасетов
https://proglib.io/p/git-dlya-data-science-kontrol-versiy-modeley-i-datasetov-s-pomoshchyu-dvc-2020-12-02
Товарищи, кто чем пользуется для этих целей?
Понятия “батч” и “эпоха” в машинном обучении
Допустим, у нас есть какой-то датасет, и в нем 200 строк. Мы ходим подать его на вход алгоритму машинного обучения, и задаем параметры batch size = 5, epochs = 100.
Это означает, что датасет будет разделен на 40 батчей (пакетов данных), в каждом из них будет по пять строк. Веса модели будут обновляться после прохождения алгоритма по каждой партии из пяти образцов. Когда пройдут эти 40 батчей и 40 обновлений весов модели, закончится одна эпоха. После этого начнется все сначала - нужно будет проходить через весь датасет еще 99 раз.
Итак, эпоха - это количество раз, которое модель видит весь датасет целиком. Тут важно отметить, что больше здесь не значит лучше. На каком-то этапе модель начнет переобучаться - поэтому мы в каждую эпоху смотрим на нужные нам метрики, и делаем так, чтобы автоматически сохранялась модель с лучшими метриками.
Задать батч и эпохи можно например так:
model.fit(x_train, y_train, batch_size=5, epochs=100)
Обсуждали сегодня с приятелем собесы. На одном из последних он услышал
«мы сейчас будем платить вам поменьше, чтобы у вас дальше была мотивация расти». И в целом типа «мы хотим, чтобы вы выбрали нас за идею».
Вот кринж вроде, но как на такое отвечать?
Repost from Центр диагностики и телемедицины
#РетроТелеМед
Назад в прошлое: здание нашего Центра на Петровке, 24 в разные годы XX в.
@npcmr
Repost from DS, учеба и олпрога
Ситуация
Не так давно в моем вузе начался такой предмет, как "проект по питону", причем немало команд взяли мл проект, при том, что ни питона как такого не было, ни тем более мл)
Вскоре после начала конечно нашли лекторов и по питону, и по мл, но если с первым все было, то во втором случае лектор давал сразу много ненужной информации и получалось так, что многие не успевали понимать материал (в первой лекции вообще захотел дать что такое ViT, хотя люди не знали что такое даже тензор)
Итоги
Дошло до того, что теперь лекции по основам мл теперь веду я у своего курса)
Пока лекции больше обзорные и без деталей, но кажется людям уже так гораздо проще понимать что это вообще такое, где и как с таким работать
Ситуация конечно забавная: первокурсник с опытом работы в мл на лекциях рассказывает своим однокурсникам как со всем этим работать и параллельно менторит 4 различные команды (с довольно интересными проектами) и помогает еще другим с их проблемами)
Но в целом это довольно интересный опыт - учить кого-то или руководить проектом + можно будет потом добавить в резюме и кажется будет смотреться очень неплохо
P.S. Если вдруг кому интересно посмотреть/оценить/покритиковать (как никак, эта лекция не последняя моя лекция и все-таки есть желание проводить качественные, но при этом простые и понятные лекции с ориентиром на параллельную этому проектную работу), вот моя первая презентация (простая обзорная лекция по классическому мл и чуть-чуть nlp), а также скоро будет лекция по оптимизаторам и презентацию с нее тоже сюда скину
Понятно, что про эпохи не понятно 😄 Спасибо за обратную связь, товарищи. Подготовлю разъяснительный текст по теме.
Муд: поставила считаться 300 эпох на ноуте 😂😂😂
Нет, я не думаю, что столько надо, но мы тут частью отдела пытаемся воспроизвести чужой код из статьи и смотрим, у кого что получится 😂 Идея эта заведомо провальная, потому что плохой сам дизайн эксперимента. Вот и получается у них на выходе «а у нас все модели выдают по 0.95+, мы так все классно сделали». Молодцы, отличная работа, все надо переделать 😂
Это к вопросу о том, что нельзя «мы тут сейчас быстренько начнём чёт делать, потом что-то с этим решим». Дизайн эксперимента или научного проекта - штука серьезная. Знаю, огребала там.
Это так, мысли на ночь. А если вдруг надо объяснить, что такое эпохи или что-то про модельки рассказать, вы говорите. Ибо я в душе не чаю, понятно это или нет 😄
Ребята из NEWHR взяли классное интервью. Как всегда, про поиск работы, но не просто поиск - а про посыпку из вранья.
Мне особенно отозвалось в рассказе чувака вот это, потому что и у меня подобного было навалом:
«В одной компании после очередного этапа отбора меня долго кормили завтраками, а потом вообще перестали отвечать. В другой несколько раз переносили интервью. В третьей то обещали оффер, то отзывали его обратно, а заодно пытались собрать персональные данные.»
https://vc.ru/hr/621131-dzhun-kotoryy-smog-kak-poluchit-offer-midla-v-2023?fbclid=PAAaaFoPVn-EFCfhrHXiTXKODQ8Jc-wEwg8DQnzhxtgxPfCcts48Xuox_u-r0
Сегодня мне написали прекрасное :) Дорогие эйчары и нанимающие товарищи, вот так пожалуйста делать не надо. Я, конечно, женщина опытная, но все ещё не умею в телепатию 😁 При подобных обращениях указывайте пожалуйста название своей компании, чем она занимается, что именно вас привлекло в кандидате, а также кого конкретно вы ищете.
Опять прекрасная коллекция. Она даже так и называется - «Awesome Face Forgery Generation and Detection». Список содержит статьи, коды, и базы данных, посвящённые манипуляциям с лицами и распознаванием таких манипуляций.
https://github.com/clpeng/Awesome-Face-Forgery-Generation-and-Detection
Repost from SciHugs
НАУЧНЫЙ СЕМИНАР С ПРИГЛАШЕННЫМ ГОСТЕМ ИЗ ИОХ РАН
28 февраля (вт) в 18:30, ауд. 446 хф МГУ состоится первый научный семинар студенческого научного общества химического факультета с научным сотрудником лаборатории №24 ИОХ РАН. Приглашенный гость — заведующий лаборатории теоретической химии ИОХ РАН — Михаил Геннадьевич Медведев выступит с докладом «Машинное обучение против машинного понимания».
🧪На семинаре расскажут о машинном обучении для целей теоретической химии, о переобучении и недообучении моделей, а также рассмотрят подводные камни, которые могут возникнуть при тренировке многопараметрических моделей и способы их обхода на примере создания методов Теории Функционала Плотности (DFT). Участники мероприятия смогут получить ответы на интересующие их вопросы в области машинного обучения в теоретической химии.
🔗 Приглашаем вас присоединиться к мероприятию и принять участие в обсуждении!
Для участия в семинаре необходима регистрация: forms.gle/V44YCRhdYRdUyheB9
Или напишите мне в лс @lolilithium
