LEFT JOIN

Bing и DALL-E 3 превратят вашего питомца в звезду фильма Pixar В начале октября в Bing добавили DALL-E 3, и через месяц пользователи нашли нейросети действительно достойное применение. Они генерируют «постеры фильмов Pixar» со своими животными! Уже появились инструкции, как присоединиться к тренду и правильно написать промпт: 1️⃣ Стандартная формулировка начинается с «A Disney Pixar inspired movie poster with the title «Название фильма» (например, кличка животного)». 2️⃣ Описывать животных надо подробно, с указанием внешности, породы, цвета шерсти и глаз и даже выражения морды. Можно добавить пожелания к фону. 3️⃣ В конце промпта рекомендуют еще раз напомнить про стиль Pixar: «The image should be set in the distinct digital art style of Pixar, with a focus on character expressions, vibrant colors, and detailed textures that are characteristic of their animation». Хотя иногда это уточнение может приводить к странным результатам, так что предлагаем погенерировать картинки с ним и без него. 4️⃣ Не получилось с первого раза — продолжайте пробовать, можно даже с тем же промптом. Количество попыток не ограничено, но после 15-й придется 5 минут подождать. Если все равно получается что-то странное, поправьте промпт. В России DALL-E 3 в Bing, пока недоступна, но если для вас это не проблема, то попробуйте сгенерировать такой постер и скрасить понедельник. Ну, или посмотрите, что получается у пользователей в запрещенной соцсети: шотландский терьер Мия, такса Скай и кавапу (да, такая порода тоже есть) Поппи. Даже жалко, что постеры ненастоящие! 🔜 Кстати, герой сегодняшней обложки нового фильма Pixar — пес редактора канала @leftjoin!

Взболтать, но не смешивать: как подружить бизнес и IT Противостояние заказчиков и исполнителей вечно и неизбежно. Первые пишут ужасные ТЗ, вторые выдают результат хз, и с обеих сторон копятся взаимные претензии. Это происходит даже в рамках одной компании, где бизнес выступает в качестве заказчика, а IT — исполнителя. Подразделения настолько разные, что не понимают друг друга, а в это время работа буксует. Все так живут, и ладно, справляются же как-то? В МТС решили, что нет, не ладно. Евгений Селиверстов, руководитель продуктовой культуры, рассказал, как компания смогла перестроить работу и улучшить взаимодействие бизнеса и IT. Теперь оба направления более полно используют свои ресурсы, вовлекаются в совместную работу и главное — говорят на одном языке. Примеры — в видео выше, а подробности в телеграм-канале Грейд Клуба. Грейд Клуб — HR-платформа Яндекса Практикума по развитию цифровых команд. На канале постят новости на стыке HR и IT, кейсы и полезные материалы, поэтому очень советуем подписаться! #реклама

От перевозки кокаина до выслеживания террористов: история Хэнка Ашера Почти все о нас можно найти в интернете: что-то проще, что-то сложнее, что-то только за деньги и нелегально, но так или иначе сохранить конфиденциальность сегодня практически невозможно. Еще недавно это было совсем не так New York Times выложили материал о Хэнке Ашере, которого называют отцом data fusion. Хэнк был человеком предприимчивым. Какое-то время он горячо увлекался перевозкой кокаина из Южной Америки в Северную, но решил завязать и даже смог избежать наказания, благодаря сотрудничеству с органами правопорядка США. 🔵 В 1986 году он купил свой первый компьютер, Toshiba T1100, вскоре научился программированию и начал браться за коммерческие заказы. Одним из них стало создание базы данных автовладельцев. 🔵 Сейчас кажется очевидным, что страховые компании собирают всю доступную информацию о клиентах: пол, возраст, доход, состав семьи и так далее. Но в 80-х в США страховщики смотрели в основном на историю вождения, количество аварий и штрафов. Ашер был одним из тех, кто смог объединить несколько открытых баз данных так, чтобы компания могла узнать о человеке все, что ей может понадобится, и просчитать риски. 🔵 После этого он основал несколько фирм, собирающих данные о людях и предприятиях, и заработал не только огромные деньги, но и влияние. В начале нулевых он даже принял участие в поиске пилотов, обрушивших башни-близнецы, и в создании Matrix — спорного проекта по обнаружению террористов. 🔜 Хэнк Ашер умер 10 лет назад, но результаты его работы все еще живы. Автор статьи в New York Times назвал его «призраком в наших компьютерах». Ашер — один из создателей того мира, в котором мы живем сейчас, со всеми его плюсами, минусами и следящими за нами алгоритмами. Кстати, узнали, чьи атрибуты на иллюстрации? Подсказка: это вымышленный изобретатель ИИ, способного предсказывать преступления в городе. Ставьте 👀, если поняли отсылочку!

Беспилотные такси: за и против Вряд ли какая-то новая технология может сравниться с ИИ по количеству споров, которые она вызывает в обществе. Чем глубже нейросети и искусственный интеллект проникают в повседневную жизнь, тем жарче дискуссия, чего от них больше — вреда или пользы. Классный пример — статья на Bloomberg про беспилотные такси. В августе California Public Utilities Commission разрешила двум компаниям, Waymo и Cruise, выпустить на улицы Сан-Франциско такси без водителей, под управлением ИИ. Мнения по этому поводу разделились. 🔵 Беспилотные такси в разы реже попадают в аварии, особенно с риском для здоровья людей, но у нас пока слишком мало данных, чтобы делать долгосрочные выводы. Они «накатали» недостаточно километров, чтобы их можно было адекватно сравнивать с водителями-людьми. 🔵 Распространение сервисов такси дало людям дешевую альтернативу покупке собственной машины. Робо-такси поддержат эту тенденцию, и все больше водителей начнут переквалифицироваться в пешеходов и пассажиров. Но это все равно не помогает уменьшить число автомобилей в городах и «ворует» трафик у автобусов и поездов. Некоторые политики используют это как повод урезать финансирование общественному транспорту. 🔜 Легко назвать противников ИИ луддитами, а сторонников обвинить в недальновидности. Сложнее прислушаться к противоположной точке зрения и попробовать найти в ней рациональное зерно. Возможно, эта статья поможет кому-нибудь посмотреть на тему беспилотных автомобилей с новой для себя стороны. А вы за или против беспилотных такси в городе? Ставьте ⚡, если за, и 🙈, если против!

Evidence — гибкий BI-инструмент на Markdown и SQL Мы любим аналитику и уважаем open source, так не могли пройти мимо Evidence. Этот инструмент позволяет собирать наглядные отчеты и документы быстро и легко. Кстати, те, кто с нами давно, помнят, что мы уже рассказывали про него. Но с тех пор канал серьезно вырос, и мы решили, что повторить классную новость нам никто не запретит! Коротко о главном 🔵 Evidence работает на Markdown и SQL и позволяет добавлять в документ графики, диаграммы, текстовые вставки, ссылки, навигацию и все остальное, что нужно для полной и наглядной подачи информации. 🔵 Evidence превращает документ с данными в статический сайт, который выглядит симпатично и аккуратно даже на разных платформах, а работает шустро. Не придется ждать, пока все графики построятся и загрузятся. Примеры есть на сайте проекта. Не шедевры датавиза, но со своими задачами справляются. 🔵 Инструмент бесплатный, как и размещение получившегося мини-сайта с данными на Evidence Cloud. Можно будет заплатить за премиум 500$ в месяц, чтобы получить дополнительные возможности. Впрочем, никто не мешает решать вопрос с хостингом самостоятельно. Резюмируя: интересный вариант, особенно для небольших команд. Судя по подписи «Early Access» на странице с ценами, он еще в активной фазе разработки, но перспективы уже видны.

5%, 5% — это много или мало? В начале октября вышло большое обновление Python — версия 3.12.0. 🔜 Из нововведений больше всего обсуждали f-строки, которым добавили гибкости, и сообщения об ошибках: Python теперь не только указывает на опечатки, но и предлагает исправления. Также не забыли про поддержку подсистемы ядра perf на Linux, удаление устаревших модулей и усовершенствования синтаксиса. 🔜 В целом, за счет множества улучшений и оптимизаций производительность подросла на 5%. Хотим пошутить что-нибудь про то, что Python сбросил кожу, но не будем этого делать. Вместо этого интересуемся вашим мнением о 3.12.0 — времени, чтобы оценить изменения, наверняка было достаточно!

Открывайте шампанское, требуйте отгул на работе и поздравляйте коллег — отмечаем День таблиц! Старые добрые таблички в Excel — альфа и омега, то с чего мы все начинали, и к чему неизбежно возвращаемся. Так что поздравляем всех, кто не мог понять, почему формула выдает ошибку или график не строится. Коллеги, сил вам, терпения и кейсов успешных побольше!)) P.S. Не забудьте поделиться открыткой с коллегами, которые тоже любят экселевские таблички! Можно даже в WhatsApp — там она будет смотреться, как родная.

ClickHouse Keeper: как ZooKeeper, только быстрее, выше, сильнее Keeper — сервис координации данных на C++, который в ClickHouse разработали, когда им стало не хватать производительности ZooKeeper. Про особенности проекта и предпосылки для его создания они подробно рассказали в своем блоге. На самом деле подробно — с графиками, схемами и бенчмарками, не пресс-релиз на страничку. Рекомендуем почитать, потому что материал крутой и наглядный. Для затравки расскажем несколько интересных фактов. 🔵 Keeper написан на C++ и использует RAFT, один из самых эффективных и надежных алгоритмов консенсуса. 🔵 ClickHouse преодолели ограничения ZooKeeper. Keeper дает гарантию линеаризуемости чтения и записи, требует в 46 раз меньше памяти для обработки такого же объема данных и не страдает от ошибок из-за ZXID. 🔵 Keeper можно использовать точно так же, как ZooKeeper, в том числе — отдельно от ClickHouse. Разработчики позаботились о том, чтобы переход на их сервис был безболезненным и простым. Будем следить за проектом — ClickHouse планируют и дальше его развивать, увеличивать производительность и возможности для масштабирования. 🔥

Данные 7 млн клиентов биотехнологической компании 23andme попали в интернет 23andme — компания из США, больше всего известная тем, что делает ДНК-тесты по образцам слюны. Клиент отправляет материал и получает полный генетический анализ о предрасположенности к заболеваниям и отчет о своем происхождении. То есть он сможет узнать на сколько процентов он итальянец, англичанин или китаец. Теперь узнать это могут еще и посетители сомнительных сайтов в даркнете 👀 Несколько дней назад базы данных 23andme попали в сеть. Продают информацию о происхождении, фенотипе, состоянии здоровья и возможных родственниках. Первыми под удар попали около 300 000 клиентов китайского происхождения и 1,3 млн — еврейского. Сейчас сообщают о том, что доступны данные 7 млн человек — это половина всех, кто пользовался услугами 23andme. А что говорят представители компании? 1️⃣ С их стороны утечек не было. 2️⃣ Злоумышленники собрали информацию с помощью подстановки учетных данных и скрапинга. То есть взяли слитые логины и пароли с других сайтов, а они подошли к учеткам 23andme. Дальше через взломанные профили пользователей собирали информацию о членах семьи. 3️⃣ Не ставьте одинаковые пароли на разных сайтах и вообще меняйте их почаще. The Record отмечает, что, зная ID клиента, можно открыть его профиль даже без учетных данных. Результатов генетических тестов там не будет, но будет фотография, дата рождения и место жительства. Сколько точно аккаунтов взломали, пока неизвестно. Но если доступ к миллионам аккаунтов действительно получили через подбор паролей и скрапинг, то история получается поучительная и довольно мрачная. Даже не проникая глубоко в базу данных, хакер может собрать огромный массив очень важных данных. И все потому что главной уязвимостью любой системы, даже самой защищенной, остается человек.

Нейросети не только улучшают работу и учебу, но и помогают тем, кому это гораздо нужнее Недавно мы рассказывали про новые возможности ChatGPT, которая теперь умеет распознавать изображения. Эта функция нашла применение в приложении Be My Eyes — приложении для слабовидящих людей, которое помогает им справляться с трудностями в повседневной жизни. Как оно работает? Например, пользователь не может разобрать текст на уличной вывеске. Он фотографирует ее или снимает на видео, и этот материал попадет к волонтеру, который живет в том же часовом поясе и говорит на одном языке с отправителем. Он описывает, что видит на изображении, текстом или голосом — то есть на самом деле становится «глазами» для человека с плохим зрением (а в этом видео есть еще несколько примеров). Теперь в приложение добавляют ИИ-помощника на ChatGPT 4. Пока только на iOS, на Android обновление доберется позже. 🔵 Be My Eyes AI будет делать то же, что и человек-волонтер. Пользователь фотографирует что-то, что вызывает у него вопросы, приложение распознает объекты на картинке и описывает их. Это не замена, а альтернатива связи с волонтером. Вариант для тех, кому нужен моментальный ответ или просто не хочется сейчас ни с кем общаться. Возможность попросить помощь человека при этом никуда не девается. 🔵 ИИ-помощник находится в стадии открытой беты. Разработчики предупреждают, что на первых этапах возможны проблемы, «галлюцинации» нейросети и неверные ответы. 🔜 Разговоры о ИИ часто уходят в обсуждение рисков, этических вопросов и мрачных прогнозов Элиезера Юдковского. И хотя это важные темы, мы считаем, что надо не забывать и позитивных сторонах использования нейросетей. Они уже стали частью нашей жизни и начали приносить ощутимую пользу множеству людей.

А вы уже перешли на Polars? Pandas долго была незаменимым инструментом для аналитиков и дата-сайентистов, но скорости работы ей не хватает, а памяти она требует достаточно. Даже выход Pandas 2.0 не смог решить эти проблемы, зато смогла Polars. Или нет? Коротко про Polars 🔵 Это open source библиотека для обработки больших массивов данных на Python и Rust. Написана на Rust и основана на Apache Arrow. 🔵 Polars задействует все ядра компьютера для параллельных вычислений. Благодаря этому она более эффективно использует ресурсы компьютера, чем Pandas, и работает быстрее. На этом еще остановимся подробнее. 🔵 Два API: eager и lazy. Первый выполняет операции в том порядке, в котором они написаны в коде. Второй оптимизирует последовательность выполнения так, чтобы она была максимально эффективной и не перегруженной лишними вычислениями. Polars вышла в 2020 году. За это время она успела завоевать популярность, но до сих пор не перестала попадать в статьи «топ новых инструментов для аналитиков». Создатель Polars хотел разработать инструмент, соответствующий современным требованиям и подходам к работе с данными. Библиотека писалась с нуля так, чтобы добиться максимальной производительности на одной машине. 🔵 Polars требует в разы меньше памяти, чем Pandas. Последней нужно, чтобы объем RAM был в 5-10 раз больше датасета, а первой — только в 2-4 раза. 🔵 Polars действительно «blazingly fast», как и обещает на сайте. Она быстрее Pandas и в сравнении с остальными подобными инструментами устойчиво держится в топе по скорости. 🔵 Субъективно, но есть мнение, что Polars достаточно похожа Pandas, чтобы перейти на нее было легко, но достаточно отличается, чтобы быть удобнее. Вот еще статья на русском, в которой можно посмотреть, как Polars выглядит на практике. В общем, мы считаем, что Polars мировую любовь заслужила не зря. А что думаете вы? 👀

Пользователь интернета нажимает на кнопку «Принять все куки» в среднем 115 раз в день Пруфов не будет — мы выдумали эту цифру. Но принимать куки и отказываться от уведомлений приходится так часто, что, возможно, мы недалеки от правды. Если вы владелец iPhone или Mac, спасение есть — приложение Hush для браузера Safari. 🔵Hush скрывает надоедливые окошки, которыми сайты заваливают посетителей, и делает это быстро, бесплатно и не собирая данные о пользователе. Оно не принимает и не отказывается от куки за пользователя, а блокирует скрипты, выводящие уведомление на экран. 🔵Рекламу Hush не трогает — разработчик сказал, что не хочет лишать владельцев сайтов заработка. Чтобы попасть в прекрасный интернет здорового человека без куков и навязчивых уведомлений, надо просто скачать небольшой файл с сайта разработчика или с GitHub.

Spotify переводит подкасты с помощью ИИ Помните, недавно писали про нейросеть HeyGen, которая перевела на английский и переозвучила несколько классических мемов из нулевых? 🔵 Spotify хочет то же самое сделать со своими подкастами. Сервис использует ИИ, чтобы перевести и переозвучить речь участников, сохраняя их голоса и интонации. Пока новая функция доступна для ограниченного числа подкастов и языков: уже доступен испанский, скоро присоединятся французский и немецкий. 🔜 На сайте сервиса выложили видео, по которому можно оценить первые результаты. По-испански мы тут не говорим, поэтому не можем определить, насколько качественным получился сам перевод, но голоса действительно похожи. Тонкости работы ИИ Spotify не раскрывает, только указывает, что использовали технологии OpenAI. 🔵 И список шоу, и перечень языков планируют со временем расширять. И неудивительно: это способ охватить большую международную аудиторию без затрат на перевод и дубляж. Интересно, начнут ли таким образом переозвучивать фильмы и сериалы? Может быть, через пару лет, когда будем смотреть сиквел «Барби», Марго Робби в нем будет говорить своим родным голосом.🔥

Сентябрьский нейродайджест Сентябрь выдался богатым на инфоповоды, связанные с ИИ. Были и громкие анонсы, и полезные инструменты, и просто баловство с мемами и эмодзи. Вспоминаем, что интересного мы писали про нейросети и искусственный интеллект. 🔵 В начале месяца все обсуждали HeyGen — нейросеть, которая дала перевела на английский и переозвучила мемы нулевых. Наконец-то весь мир может проникнуться речью идущего к реке и преисполниться в своем познании. 🔵 Когда не хватает слов, на помощь приходят эмодзи. Когда не хватает эмодзи из стандартного набора, можно нагенерировать своих с помощью EmojiGen. 🔵 LlamaIndex — отличный инструмент для тех, кто много работает с нейросетями и большим количеством данных в разных форматах. Помогает сильно упростить и ускорить работу. 🔵 Google представила ИИ-помощника Bard. Это пока только эксперимент, но он уже много чего умеет — как минимум заголовки к постам писать. 🔵 Stability AI выпустила Stable Audio — нейросеть для генерации музыки и звуковых эффектов. Ее обучали на библиотеке стоковых аудио, поэтому результаты ее работы можно спокойно использовать в коммерческих видео, не боясь проблем с авторскими правами. Ставьте любимые реакции, если такие посты-дайджесты полезны, и мы будем публиковать их чаще! 🔥

Актуальная BI-стратегия за 20 часов Столько длится курс с емким названием «Разработка BI-Cтратегии». Его ведет Александр Бараков, который больше 10 лет разрабатывает и внедряет BI-системы. Сейчас в Luxoft, а до этого — в Tinkoff Bank, Банке России, X5 Retail Group и не только. 🔵На курсе он отделяет зерна от плевел, а рабочие методики — от модных, но неэффективных, рассказывает про лучшие практики, полезные инструменты и кейсы из своего богатого опыта. Все это поможет участникам упорядочить свои знания и разработать не только BI-стратегию для своего бизнеса, но и план по ее внедрению и развитию. Как пишут в отзывах: «Почти пошаговая инструкция, как внедрять BI». 🔵Будет полезно, главное, подготовиться, что программа насыщенная: 10 двухчасовых занятий с практическими заданиями три недели подряд — с 30 октября по 22 ноября. Надо заранее выделить время, чтобы погрузиться в учебу. И да, содержание курса подробно описано на его странице, никаких котов в мешке! Сразу можете оценить, надо ли это вам. Знакомьтесь с программой и записывайтесь по ссылке.

Почему резюме смотрят, а на собеседования не зовут? Рассказываю с точки зрения того самого работодателя, который смотрит и не зовет. Буквально сижу и рассказываю в своем новом видео про то, как правильно составить резюме. Может, какие-то вещи покажутся очевидными, вроде того, что надо писать про достижения и отправлять сопроводительное письмо. Но поверьте моему опыту — многим это абсолютно не очевидно, сколько бы здравого смысла в этих рекомендациях не было. И даже если человек написал сопроводительное, не факт, что от него будет толк. Смотрю на вас, выпускники IT-курсов, которым на последнем занятии дали шаблон и сказали разослать по разным компаниям. Узнаю эти письма с первых строчек. Про это в видео тоже будет, как и про собаку из заголовка. В общем, жду вас на канале Left Join и буду очень рад вашему фидбеку (все-таки первое видео, спустя год, это немного волнительно)!

Есть ли в 2023 спрос на аналитиков? Смотрим на hh.ru Рома @revealthedata опубликовал статистику по вакансиям для аналитиков. Рынок выглядит как будто здорово: и объявлений стало больше, и зарплаты подросли, правда, не у всех. 🔵 Больше всего работодатели нуждаются в Data/Product-аналитиках — количество вакансий увеличилось на 66%. 🔵 Зарплаты сильнее выросли у бизнес-аналитиков — на 7%. Надо учесть, что данные с hh.ru, где три четверти работодателей не указывают уровень дохода. 🔵 Хорошие новости для молодых специалистов — предложений для младших аналитиков стало на 59% больше, зарплаты у них выросли на 10%, а у сеньоров — всего на 5%, кстати. 🔜 Дашборд с данными за три года — для тех, кто хочет покопаться поподробнее. Какие выводы можно сделать? Рынок растет, а спрос на специалистов разных уровней большой — кажется, если ищете работу в этой сфере, проблем быть не должно… А если проблемы таки есть — завтра расскажу, в чем может быть дело.