LEFT JOIN

Что получится, если заставить ChatGPT заполнить налоговую декларацию? Программист Майк Макферсон решил это выяснить, а заодно — взглянуть на нейросети под довольно любопытным ракурсом. Их часто рассматривают как самостоятельный инструмент, который генерирует тексты, картинки, видео, код и так далее. Но что, если воспринимать ИИ как операционную систему, которая связывает несколько элементов вместе и помогает взаимодействовать с ними? 🔜 Возможности нейросетей сегодня впечатляют — и все же они до сих пор ограничены. Но их можно расширить, если «подружить» ИИ с другими приложениями, библиотеками или базами данных. В 2022 Майк создал библиотеку Python tenforty — она помогает юзерам посчитать, сколько налогов они должны государству в зависимости от доходов, расходов, семейного положения и прочих факторов. Сразу оговоримся — эта штука знакома только с законодательством США. Он планировал когда-нибудь сделать на ее основе приложение, но вместо этого сделал кастомную GPT Tax Driver. Ее функция та же — считать налоги и вычеты, только при этом она еще понимает запросы на естественном языке, пишет подробные ответы и даже может нарисовать график. 🔵 В целом, она с этими задачами отлично справляется, хотя иногда неправильно понимает суть вопроса или игнорирует некоторые требования пользователя. 🔵Это теоретически удобный инструмент, но он предъявляет высокие требования к пользователю — надо тщательно подходить к написанию промптов и внимательно перепроверять ответы. 🔵 Несмотря на эти недостатки, у подхода «ИИ как ОС» точно есть потенциал — он делает разработку приложений намного проще и быстрее.

Мы теряем интернет «Все, что попадает в интернет, остается там навсегда» — слышали такую фразу? Ее еще любят припоминать, когда заходит речь об эффекте Стрейзанд или той самой фотографии Бейонсе, которую ее адвокат удалил из интернета. Оказывается, это неправда. 🔜 38% веб-страниц, существовавших в 2013, сегодня уже недоступны — это обнаружила команда дата саентистов из Pew Research Center. Они изучили ссылки на новостных и правительственных сайтах, в примечаниях в «Википедии» и твиты. Последние — чтобы разобраться, как «цифровой распад» сказывается на соцсетях. Для того, чтобы отследить появление и исчезновение страниц за 10 лет, с 2013 по 2023 годы, они использовали Common Crawl. Это бесплатный архив, который каждый месяц собирает данные об доступных сайтах в интернете. В выборку исследователей попало чуть меньше миллиона разных страниц. 🔵23% новостных страниц и 21% страниц на правительственных сайтах содержат как минимум одну битую ссылку. 🔵 50 000 статей из «Википедии» в сумме содержали больше миллиона ссылок в разделе «Примечания» — то есть они вели на внешние сайты. Из них 11% оказались нерабочими. 🔵 За 10 лет почему-то исчезла половина твитов, написанных на турецком и арабском языках. 🔵 1/5 опубликованных твитов исчезают в течение нескольких месяцев. Даже немного грустно от мысли, сколько информации — полезной и не очень — потеряно и сколько еще мы потеряем. Может, когда-нибудь и знаменитая фотография Бейонсе исчезнет.

Ищем спеца по датавизу в команду Valiotti Analytics Если вы любите дизайн, данные и визуализацию, то у нас к вам деловое предложение. С нас: 🔵 Разнообразная и интересная работа — надо будет создавать крутые дашборды для наших заказчиков совместно с командой аналитиков, писать стайлгайды и статьи про датавиз. 🔵 Достойная зарплата, классная молодая команда, корпоративный английский и другие плюшки. 🔵Полная удаленка с гибким графиком. С вас: 🔵 Владение Power Point, Google Slides, Keynote и графическими программами — Figma, PS, Illustrator. 🔵 Опыт работы с визуализацией данных. 🔵 Знакомство с Tableau и аналитикой данных — большой плюс. Подробное описание вакансии читайте по ссылке. Это про вас? Тогда пишите скорее нашему HR Татьяне @tanya_zab. Будет классно, если у вас есть портфолио! Если это не про вас, но у вас есть кандидат на примете — помогите нам найти друг друга и отправьте ему этот пост. ❤️

ML и нейросети в российских сервисах Большинство обсуждаемых новостей про нейросети и искусственный интеллект предсказуемо генерируют США и Китай. Но ими дело не ограничивается, поэтому мы решили посмотреть, как дела за их пределами — например, в России. Самый очевидный пример — маркетплейсы. Они внедряют ИИ, чтобы сделать проще заполнение карточек текстами и картинками. 🔵 «Яндекс Маркет» добавил в личные кабинеты продавцов YandexGPT, создающую описание по информации в карточке. Wildberries тестирует сервис, которому достаточно только названия товара, чтобы составить текст. 🔵 Также внедряют нейросети, генерирующие картинки с товарами. YandexART представили в декабре прошлого года. Она до сих пор в бете и доступна не для всех категорий товаров. У Wildberries и Ozon аналогичные функции тоже пока находятся на стадии тестирования. 🔵 Ozon пошел дальше всех и еще в прошлом году выкатил сервис для генерации обложек на основе ML. Результат работы прикрепили к посту — кажется, дизайнерам боятся пока нечего. 🔵 «Яндекс Маркет» заботится не только о продавцах, но и покупателях — для них нейросеть [енерирует персонализированные подборки товаров. ML‑калькулятор для расчета стоимости квартир. Опять «Яндекс» — на этот раз «Яндекс Недвижимость». 🔵Сервис «Про дом» рассчитывает стоимость покупки или аренды жилья на основе данных в карточке: этаж, площадь, число комнат. Он принимает во внимание также состояние дома и цены на соседние квартиры в моменте и в динамике. «2ГИС» наводит порядок в карточках. 🔵 Нейросеть собственного изготовления сортирует фотографии по альбомам — отделяет фото интерьера от экстерьера и фото блюд из меню от фото парковки. 🔵 Сберовская GigaChat делает то, что в комментариях на vc.ru метко назвали «жмых по отзывам» — то есть краткое описание места или заведения на основе того, что о нем писали люди. А нам все не дает покоя ML-обложка от Ozon. Если наберется 100 👍🏻 — сделаем свою версию. Так что ставьте лайки, если интересно, что получится!

PDF Search: заставьте AI искать нужную информацию за вас Многим из нас приходится постоянно работать с огромным количеством всевозможных файлов и документов, и чем больше их становится, тем сложнее находить среди них нужную информацию. Современные технологию эту проблему не создали, но усугубили. И они же предлагают решение. Кто намного лучше людей справляется с большими объемами данных? Искусственный интеллект. ИИ за несколько минут прошерстит документы, которые человек будет перечитывать полдня. Это обещают создатели PDF Search — приложения для iPhone, Mac и iPad 🔵 Оно ищет информацию в ваших документах по запросу. ИИ здесь нужен для того, чтобы не просто высматривать ключевые слова, но и понимать контекст и поисковые запросы на естественном языке. 🔵 ИИ анализирует содержание документа целиком и в выдаче показывает наиболее релевантные страницы. Если подходящих документов несколько, он может вытащить из них информацию под ваш запрос в отдельную PDF-ку. 🔵 Отдельное приложение PDF Converter конвертирует в PDF файлы других форматов, чтобы PDF Search смог работать и с ними тоже. 🔵 И, конечно же, вы можете синхронизировать свои устройства, чтобы PDF Search смог работать со всеми файлами, какие только у вас есть. Приложение платное, но есть пробный период.

Вероятностные крестики-нолики Новая версия игры, где вы своими же действиями можете принести оппоненту победу. 🔜 Поле такое же, как всегда — сетка 3 х 3. И суть игры та же — игроки ходят по очереди и пытаются нарисовать три крестика или три нолика подряд. Но у каждой клетки прописаны вероятности — что произойдет, если вы попытаетесь поставить в ней крестик. Есть три варианта развития событий. 🔵 Благоприятный— игрок нарисует свою фигуру. 🔵 «Ну такой» — клетка останется пустой. 🔵 Неблагоприятный — игрок нарисует фигуру противника. Вероятность каждого результата прописана прямо на клетке и никогда не равна 100%. У игры есть два уровня сложности и два режима — против компьютера и против человека. 🔜 Как пишет автор до этой идеи он додумался, когда размышлял о том, какую большую роль в жизни играет случайность. Иногда вы можете все сделать правильно, но все равно проиграть, потому что удача была не на вашей стороне. Но все равно после какого-то количество попыток, если продолжать стараться, вы обязательно добьетесь своего.

Neosync: помощник по работе с данными для разработчиков Neosync — open source решение, которое позволяет анонимизировать реальные данные и генерировать синтетические. Оно пригодится для тестирования кода, воспроизведения багов или заполнения БД начальными данными. 🔜 В общем, для ситуаций, когда вам нужен набор данных, максимально приближенных к реальным. Или когда вы не можете использовать реальные данные — например, потому что они содержат чувствительную информацию, которую нигде «светить» нельзя. У разработчиков часто есть специальные датасеты для таких задач, но проблема в том, что тестовые данные, как правило, плохо передают все особенности того, что творится в реальности.  Neosync предлагает решение: 🔵 анонимизирует реальные данные, убирая из них всю информацию, по которой их можно идентифицировать; 🔵 генерирует набор синтетических данных с нуля на основе схемы вашей базы данных. При этом он сохраняет все взаимосвязи между таблицами. А еще умеет интегрироваться с Postgres, MySQL, AWS S3 и другими популярными системами и платформами. Больше про функционал и возможности инструмента можно узнать на странице на GitHub.

Идеальный курс по SQL: какой он? Наша команда уже выпустила один курс по SQL и Python — «Марафон Данных». Его прошли больше 10 000 человек, а средняя оценка составила 4,8 баллов. Еще не идеал, но уже весьма неплохо! 🔥 Мы почти готовы выпустить продолжение — новый курс, который поможет более глубоко познакомиться с SQL, от основ перейти к более сложным и продвинутым функциям и отточить знания на практических задачах. Чтобы он получился еще лучше и полезнее, просим вас пройти короткий опрос по ссылке. В нем всего 5 вопросов, но они помогут нам понять, какие задачи вам интересны и чему уделить особое внимание. Всем, кто пройдет опрос, обещаем бонус — промокод на новый курс. ❤️

Quary: BI для инженеров Есть Big Data — это большие объемы данных, обработать которые под силу только машинам. Есть Small Data — это, наоборот, небольшие данные, справиться с которыми может и человек. 💬 А что делать, если данные еще не большие, но табличек уже многовато и заполнять их вручную становится слишком сложно? Эту стадию развития бизнеса разработчики Quary назвали Middle Data, и именно для таких случаев они и создали свой продукт. 🔵 Он умеет подключаться к базам данных и внешним источникам через API, преобразовывать данные, собирать их в таблицы и визуализировать на графиках. Дашборды и отчеты в разработке. 🔵 Все это делается с помощью кода, поэтому инструмент и позиционируется как «BI для инженеров». 🔵 Полноценную систему аналитики он не заменит, но поможет навести в данных порядок. Это open source проект, так что узнать о нем побольше и скачать все необходимое для работы можно на GitHub.

Главная задача продуктового аналитика Можно долго рассуждать, зачем нужны аналитики, маркетологи, проджекты, продакты и так далее, приводить много аргументов и доказывать свою ценность для компании. Но так или иначе конечная цель у нас у всех одна — помогать бизнесу зарабатывать деньги и увеличивать прибыль. Просто каждый делает это по-своему. Как это делают продуктовые аналитики, рассказывает на своем канале @firstanalyticsguide Ярослав Хромов. Он построил собственную компанию с прибылью 50М+ и рулил аналитикой в Wakie, Fura и Turbo, так что он знает, о чем говорит. Про что он пишет: 💬 как научиться определять Use Case, понимать, в чем польза вашего продукта, и составить модель монетизации; 💬 как и зачем измерять вовлеченность; 💬 и почему не надо строить дерево метрик (и что надо вместо него). В общем — про пользу и практический опыт. И даже в посте про то, как он проиграл деньги в казино, сможет объяснить случившееся с точки зрения продуктовой аналитики! 🔜 Любите такое? Тогда вам сюда