STACK MORE LAYERS

Если вы ищете что послушать во время сосредоточенной работы помимо LoFi Girl, тогда заходите на блог digital ocean, кликайте на кита слева и слушайте пение китов 🐳 https://www.digitalocean.com/community/tutorials/an-introduction-to-kubernetes

Рано хоронишь, феникс восстанет!https://t.me/cpluspluscoursera/213363

К слову курс был реально хороший, потому что он прошел через огонь и медные трубы. Ребята записали весь курс, поняли что сделали плохо и переделали все заново, но уже хорошо. Про это даже статья есть! https://habr.com/ru/company/yandex/blog/332556/ А курса нет ))) P.S. Если кто из яндекса есть, скиньте zip’кой

С другой стороны практикум же надо как-то продавать 🙂

Раньше у Яндекса было много годных курсов по программированию и ML на курсере. После ухода курсеры в Марте все курсы были удалены. Сегодня я решил спросить что там по курсу C++, он был хороший, но сейчас даже видео нигде не посмотреть Ответ конечно интересный, не доставайся же ты никому Но и понятный, выложить курс на отдельную площадку с проверкой задач это целое дело, на которое нужны разработчики, коих может сейчас нехватать

Ладно, кто любит математику? Попробуйте без подсматривания в интернет доказать (a + b) % c = a%c + b%c) Или опровергнуть.

Вау! Это просто невероятный уровень инженерного задротства (в хорошем смысле). Автор соединил воедино знания в области физики, компьютерного моделирования, написания софта и любви к тачкам 😎 https://youtu.be/RKT-sKtR970

Попал в небольшой личностный кризис после начала войны, но вроде восстановился! Поэтому ловите инетерсный инженерный видосик https://www.youtube.com/watch?v=SH3lR2GLgT0

Российская экономика переживает в последнее время не лучшие времена. Помимо ухода различных компаний и брендов, мы наблюдаем интересную ситуацию с Meta. В ближайшее время ее хотят признать экстримисской организацией, примерно так, как это произошло с ФБК. Факт ближайшей блокировки facebook и instagram был очивиден, это лишь вопрос времени, но вот экстримизм имеет куда более широкие последствия. Как минимум, с точки зрения РФ, Meta становится крупнейшей и самой богатой экстримиской организацией мира. Помимо этого, кажется, что это может максимально неприятным образом отразиться на сотрудниках компании, родом из россии. Ведь при посещении страны, скажем, чтобы навестить родственников, они натурально подвергают себя опасности, ведь теперь они экстримисты. Так что каток русского правосудия может проехать там, где вы совсем не ждете.

Простите, что все ещё не привычные вам посты. Но я не могу пройти мимо. Знаю, что многие будут выходить на акции протеста или проходить таможенный контроль и вероятно будут иметь беседу с ФСБ. Если вы пользуетесь телефоном Самсунг, вы можете обезопасить чувствительные для вас данные. Подробно в этом твите: https://twitter.com/ebanatry/status/1499370986650624004?s=21

Астрологи предсказали повышенное скопление тракторов

Мы ВР компания из Словении https://deovr.com/, активно набираем на позицию data-anything, computer vision и даже просто соображающих менеджеров\продуктов\дизайнеров\юнити-дев. Сейчас пару горячих продуктов на выкате как раз по DL + CV. Если вы дата-аналатик, дата-инженер, мл-инженер или, прости господи, дата саентист из Украины или России и хотите уехать, напишите мне, набираем команду в Словении. Можно писать на имейл philip@deovr.com

🥷 Secutiry and Hacking ☠️ Нашел крутой канал про кибер безопасность, полезно посмотреть и мльщикам как через ваши веб апишки серверов у вас могут утянуть то, что не хотелось бы отдавать. Объясняется все коротко, интересно и самое главное - доступно, с приятным видеорядом. https://www.youtube.com/channel/UCW6MNdOsqv2E9AjQkv9we7A

🦇 BAT 👍 Вот бы cat но с подсветкой синтаксиса и номерами строк. А такой есть - bat

🤔 Инженерная задача 🧠 Есть у меня чисто инженерная задача, над которой я думаю в последнее время, может в комментариях предложите интересные решения. Представим что мы гугл, который собирает огромную базу разметки с Re-Capcha и мы хотим обучить классификатор на этих данных. Предположим что данных за все время набралось порядка 10тб, как же нам обучаться в таких объемах? Основные проблемы здесь это: * Хранить копию данных на каждой машине кластера на котором мы учимся - расточительно, особенно при условии, что датасет может регулярно обновляться * Любая работа по декодированию картинки в float32 тензор и последующие аугментации занимают много процессорного времени, от чего наши гпушки могут простаивать * Хочется делать максимально скелбл пайплан Мое решение: Скорее всего мы не захотим хранить картинки где-то на локальном диске, т.к. на нем просто не будет хватать места, давайте будем делать это в неком s3 подобном облаке. Поскольку выгрузка и декодирование картинки с аугментациями это сильно CPU bound задача, то мы разделим наш кластер на две части. 1 - GPU тачки с кучей видеокарт 2 - Мощные CPU воркеры с десятком процессорных ядер Вторые будут молотить картинки для первых и если гпушки будут простаивать, мы просто будем добавлять CPU воркеров до оптимума. Но как теперь доставлять данные от первых ко вторым? Можно поднять базу по типу кафки и пусть CPU воркеры кладут в нее сразу готовые батчи в виде последовательности байт. Тогда GPU машины вообще не будут тратить время на формирование батча, а будут копировать набор байт по сети и сразу класть их в сегмент памяти на видеокарте. Проведя некоторые расчеты с заданными размерами картинок, батча и то, сколько батчей в секунду может обработать одна машина, получается что скорость доступа до данных по сети должна быть как минимум 32 гигабита в секунду. И тут мне уже не понятно на сколько сложно добиться таких скоростей 🤔

📹 Computer Vision Math🎞 Нашел очень интересный канал с лекциями по математике применительно к обработке фотографий. Это лекции не про привычный вам машин лернинг и сверточки, а скорее разбор математических моделей камеры, как работают различные преобразования координат, некоторная математика применительная к self driving и прочее. Например очень интересно послушать подноготную фотограметрии! https://www.youtube.com/c/CyrillStachniss/videos

📹 Computer Vision Math🎞 Нашел очень интересный канал с лекциами по матматике применительно к обработке фотографий. Это лекции не про привычный вам машин лернинг и сверточки, а скорее разбор математических моделей камеры, как работают различные преобразования координат, некоторная математика применительная к self driving

Там кстати можно передать флажок и смотреть прогресс бар, советую изучить! https://www.gnu.org/software/parallel/parallel_tutorial.html

🐂 GNU Parallel 🛠 Если вы активный пользователь Linux, вы наверняка пользуетесь кучей инструментов GNU, такие как ls, cat, emacs, tar и прочее Каждый из этих инструментов обладает большим функционалом, который не используется и зачастую то, что можно было бы сделать с помощью встроенных утилит я делаю на питончике. Так было и с GNU Parallel, утилитка которая позволяет вам запустить работу скриптов в параллели. Обычно при обработке разных данных я просто использую питон + joblib. Но тут мне понадобилось обработать 300гб аудио. Делать это питоном - глупо, слишком маленький перформанс. Нужен FFmpeg! Но запускать его в из питона тоже как-то не по канону, тут я и вспомнил про GNU Parallel, двухстрочный код на баше + строчка запуска параллели и вот наши данные обрабатываются во всю мощь.