LEFT JOIN

GPT-4 на страже порядка: больше никакого временного хаоса! ⏳ Любители фильмов «Довод» и «Интерстеллар» Кристофера Нолана наверняка часто ловили себя на мысли, что следить за ходом сюжетного времени не всегда так уж и легко. Исследователи художественной литературы, в частности, конечно, студенты-филологи, часто сталкиваются с подобной проблемой при написании курсовых и дипломных. Профессор Университета штата Иллинойс Тэд Ундервуд решил подойти к данной задаче новаторским путем: с помощью языковой модели GPT-4. В ходе экспериментов стало ясно, что использование ИИ, чтобы рассчитать сюжетное время в романе или другом литературном произведении, – это довольно успешное предприятие. Языковая модель, поясняя логику своих суждений, дает исследователю возможность найти в тексте временные скачки или определить время нахождения персонажа в определенной локации. А какие способы применения ИИ в академической среде кажутся вам наиболее перспективными, помимо полного делегирования написания научной работы ChatGPT?

P-value в действии: Влияет ли стакан молока на ночь на сон? В прошлом посте рубрики мы вспомнили про одну из самых важных тем, а именно про центральную предельную теорему, на которой держится вся статистика. Теперь давайте шлифанем ваши знания о p-value — метрике, которая помогает принять оценить тот или иной эксперимент и сделать вывод не просто каким-то выводом, а статистически значимым! P.S. Давайте соберем 100 ⚡под этим постом и мы продолжим нашу рубрику #основы_статистики карточками про критерий Стьюдента и сравнение выборок!

А стоит ли вообще учиться одной из IT-профессий, если придётся конкурировать с нейросетями? Если вы задаётесь этим вопросом, приходите на вебинар. Команда Яндекс Практикума пригласит экспертов, которые на своём примере покажут: с нейросетями нужно не конкурировать, а брать их в помощники. 🔜 Бесплатный вебинар — 27 июня в 19:00 по Москве Эксперты, которые расскажут, как повысить свою ценность на рынке с помощью нейросетей: 🔵 Алексей Мартынов, технический директор Akil.io, проекта в области ИИ. Ведущий эксперт на курсах программирования в Яндекс Практикуме. 🔵 Катерина Поль, старший дизайнер интерфейсов, наставница на курсе «Дизайнер интерфейсов» в Яндекс Практикуме. Работала продуктовым дизайнером в «Ростелеком ИТ». 🔵 Артём Исакин, руководитель трудоустройства в направлении анализа данных Яндекс Практикума. На вебинаре вы узнаете: — что нейросети умеют уже сегодня и в каких проектах им можно делегировать рутину; — какие профессии могут исчезнуть, а в каких AI-сервисы просто станут рабочими инструментами; — кем стать, чтобы самому работать над нейросетями; — как искусственный интеллект будет развиваться в будущем, и чему учиться уже сегодня. Приходите, делитесь своими сомнениями и задавайте вопросы! 🔜 Зарегистрироваться на вебинар #реклама

Зачем вообще нужно уметь пользоваться Docker? Вы скорее всего уже устали слышать слово «докер». Может сложиться впечатление, что это что-то загадочное и непонятное, особенно для аналитика данных. Поэтому я хочу показать вам небольшой тред из твиттера, в котором Женя Козлов рассказал про то, зачем эта компетенция нужна и как ее получить. В треде вы найдете массу полезных источников и статей, которые помогут вам понять, что же такое не только Docker, но и контейнеризация в целом. Советую сохранить этот тред, чтобы регулярно повторять базовые вещи! P.S. А еще, я начал регулярно вести Twitter-аккаунт, делиться там мнением относительно новых трендов и делиться опытом в SQL и анализ данных. И постить мемы, разумеется. Смешные! Подписывайтесь ❤️

Сколько стоит реклама в LEFT JOIN? Сколько раз я слышал этот вопрос — десять, тридцать, сто? Больше! Мы с командой решили ответить качественно и аргументировано и создали собственный медиакит. Больше не тайна, сколько стоит рекламный пост в канале. Однако, предупрежу, что размещаем мы не все подряд. Думаю, наши подписчики в этом смогли убедиться по хештегу #реклама.

Город засыпает, просыпаются рекрутеры и делают выбор — кто попадет в команду разработки внутренних продуктов? Ребята из МТС любят играть в мафию и проводить One Day Offer. Недавно они подумали: «Почему бы не совместить эти две активности и заодно не найти аналитиков разных профилей?». Команда МТС развивает сервисы в рамках собственной экосистемы HR Tech. Это может быть разработка системы управления эффективностью или создание корпоративного портала для сотрудников. И у них крайне амбициозные планы — стать первым цифровым HR с комплексным подходом к разработке и поддержке внутренних продуктов. Но для этого им нужны настоящие профи. Готовы участвовать и проверить — вы Дон SQL или мирный аналитик? Кликайте по ссылке и успевайте начать игру до 19 июня включительно!

Docker: с чего начать? В современном мире многообразие технологий дает не только свободу выбора инструментов для рабочего проекта, но и создает кучу трудностей, которые замедляют работу. Проблемы часто возникают при работе с виртуальными машинами — перенос приложения из одной виртуальной машины в другую со всеми зависимостями может оказаться очень долгим процессом. А вот и решение этих проблем! К счастью, был изобретен Docker — приложение для управления контейнерами, то есть изолированными виртуальными средами разработки. Как раз о Docker и идет речь во вводном докладе Питера МакКи. В нем он рассказывает про ключевую концепцию в Docker — Docker-образ. Это текстовый файл, который описывает последовательность действий при создании контейнера. Такая концепция позволяет без труда запускать точно такие же контейнеры на другом устройстве без особых усилий. Также, в докладе подробно раскрыта последовательность действий при создании контейнера: 🔵 Написание Dockerfile, 🔵 Создание образа из Dockerfile, 🔵 Создание контейнера на основе образа. Кроме того, Питер показывает как взаимодействовать с Docker Hub, который по сути является GitHub'ом для образов. Обо всем по порядку и во всех подробностях вы узнаете из доклада. #краткий_пересказ

Аналитик-разработчик в Yandex.Cloud Yandex.Cloud — облачная платформа, которую используют тысячи компаний и предпринимателей, от технических специалистов до международных корпораций. Она позволяет быстро и просто получить доступ к современным технологиям обработки и хранения данных – виртуальным машинам, управляемым базам данных, распознанию и синтезу речи. Сейчас команда Yandex.Cloud ищет аналитика-разработчика! Что нужно будет делать? Собрать юнит-экономику бизнеса, а также заниматься построением прогнозной модели (бизнес-моделирование процессов, форкастинг временных рядов) и работать над воронкой (гипотезы, эксперименты, оценка непрямых эффектов). Вы — тот, кто им нужен, если вы: 🔵 Получили техническое или математическое образование, уверенно владеете Python и можете написать сложную бизнес-логику на SQLв удобном для чтения виде, 🔵 Умеете перевести в ТЗ нечетко сформулированные задачи и понимаете реальные потребности бизнеса, ставите себя на место заказчика, 🔵 Сможете детально и понятно объяснять результаты исследований, 🔵 Аккуратны, самостоятельны, инициативны, внимательны к деталям и знаете английский язык. А еще? Будет большущим плюсом, если вы уже работали в сфере облачных технологий! Если вы пройдете собеседование и вас примус в команду: 🔵 Вы станете частью сильной команды, с которой можно расти, получите возможность влиять на процесс и результат и сможете работать в гибком графике. А еще сотрудникам предоставляемся расширенный ДМС и существует система премий, которые начисляются каждые полгода после прохождения ревью. 🔵 Также, компания предоставляет сотрудникам скидки в бассейнах, фитнес-центрах и магазинах партнеров и оплату курсов, тренингов и участия в профильных конференциях. 🔥 Уже захотелось начать работать в Yandex.Cloud? Отправляйте отклик на их вакансию! #реклама

ChatGPT: как будет меняться работа аналитика с развитием искусственного интеллекта Кажется, уже все эксперты в разных областях и блогеры поговорили про ChatGPT и начало эпохи нейросетей. Однако, в подкасте Data Heroes мы это еще не обсуждали и… сейчас исправимся! 🐢 Мы знаем, что многие из вас уже устали от этой темы, но сегодня Николай и его гости постарались раскрыть ее шире и, конечно, пофантазировать о будущем! И те эксперты, кто пророчит конец света и восстание машин, и те, кто в порыве восторга и экстаза говорит о том, как чудесна станет жизнь в ближайшее десятилетие, соглашаются в одном — мир не будет прежним. Итак, сегодняшний разговор именно об этом. А еще о том: 🔵Правда ли релиз нейросетей перекроит рынок труда, 🔵Как ChatGPT может помочь в анализе больших объемов данных, 🔵Какие проблемы возникают при работе с ChatGPT и как их решать, 🔵Какие есть альтернативы нашумевшей модели и насколько они хороши в деле, 🔵Как писать промпты, чтобы модель выдавала самый лучший результат, а не сплошные глупости, 🔵Правда ли, что в будущем роботы будут общаться между собой 🤯 Включайте подкаст и узнайте, как пережить восстание машин 🚀 (Шутка! Или нет?..) СПИКЕРЫ: 1️⃣ Андрей Новиков — Lead Product Analyst, автор YouTube-канала Noukash 2️⃣ Анастасия Никулина — CEO & Founder школы по Data Science и анализу данных с обширным бэкграундом в Data Science 3️⃣ Игорь Котенков — Head of Ai Department в Unleashing.AI, компания ML Consulting Agency, автор телеграм-канала "Сиолошная” P.S. Над обложкой этого эпизода Data Heroes мы поколдовали с Midjorney, а затем наш дизайнер @lagmann оформила и кастомизировала ее, ведь нейросети все еще неидеальны и их результаты пока что требуют доработки. Слушайте подкаст на платформах: Spotify, Anchor, Apple Podcasts, Google, Yandex, Overcast, Mave, Castbox, Telegram (↓) #подкаст #DataHeroes

Как случайность объясняет мир вокруг нас? Давайте продолжим разговор про главный инструмент аналитиков данных и дата саентистов — про статистику. Мы уже освежили в памяти базовые вещи, вспомнили, что такое выборка и генеральная совокупность, вспомнили как посчитать основные описательные статистики. Сегодня давайте вспомним одну из самых главных вещей в статистике — центральную предельную теорему (ЦПТ). Если уже все про нее знаете, все равно просмотрите карточки — потом блеснете на собеседовании фундаментальными знаниями. P.S. Помните, что никто не в силах вам запретить поставить забавную реакцию этому посту или переслать пост из канала @leftjoin лучшему другу.

Как стать специалистом широкого профиля в работе с данными? Для этого нужно расширять свои компетенции и выходить за рамки профессии «аналитик данных». В этом вам точно поможет курс от Яндекс Практикума, где вы научитесь разрабатывать архитектуру данных. Выпускники курса смогут: 🔵 проектировать хранилища и пайплайны; 🔵 использовать инструменты DE: оркестраторы, контейнеры и не только; 🔵 работать со стриминговой обработкой данных и облачными хранилищами; 🔵 создавать хранилища Data Warehouse и Data Lake. Что будет на учёбе: — Реальные рабочие задачи и командные проекты; — Код-ревью и поддержка от действующих инженеров данных; — Вебинары и продакшн-опыт от экспертов в инженерии данных. 🔥 Приходите учиться, если хотите развить свои компетенции или перейти на должность Data Engineer #реклама

Исчерпывающая лекция Андрея Карпаты, сооснователя OpenAI, о GPT 🎓 На форуме Microsoft Build 2023, который состоялся в этом мае, помимо презентаций новинок от Microsoft, были и другие заметные выступления. Например, с потрясающей лекцией «State of GPT» выступил Андрей Карпаты из OpenAI. В своей презентации он рассказал о том, как тренировалась модель GPT и как создать ассистента, аналогичного ChatGPT. Он рассказал о токенизации, предварительной тренировке, fine-tuning и обучении с подкреплением на основе отзывов людей (RLHF). Андрей — это, можно сказать, один из пап ChatGPT, поэтому послушать его лекцию, сопровожденную подробными слайдами, — настоящая находка для фаната языковых моделей. Лекция, если что, на английском 🇨🇦

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞 🔵 Dataform для BigQuery в общем доступе Dataform – это сервис для аналитиков и инженеров данных, который дает возможность творить SQL-чудеса в BigQuery. Ранее доступ к нему был ограничен. Теперь же и вы можете контролировать версии с помощью Git и CI/CD, обновлять таблицы без ковыряний в инфраструктуре и управлять жизненным циклом кода. 🔵 Falcon 40B LLM – новая языковая модель от AWS AWS представила новую модель, рейтинг которой на Hugging Face уже в числе самых высоких. Натренировали «соколика» на Amazon SageMaker с помощью 1000Б токенов. Модель с 40 миллиардами параметров и открытым кодом, так что ждем новых сервисов и продуктов на ее основе! 🔵 Vision Pro: $3,499 за очки дополненной реальности — будущее уже здесь? Apple анонсировала новый продукт, пространственный компьютер для дополненной реальности Vision Pro, который способен филигранно обогащать реальную обстановку цифровым контентом. И интернет уже, конечно, переполнен обсуждениями этого релиза… Личное мнение Это крутой продукт с абсолютно новым подходом и парадигмой к набившему оскомину VR. Все предыдущие попытки создать шлемы VR исходили из идеи погружения нас в альтернативную цифровую реальность, Apple же идет другим путем — их аквалангная маска расширяет присутствие цифрового контента и в большей степени конкурирует с очень крутыми мониторами, на которых можно смотреть контент. Но не без «но» Смущают две вещи (естественно, помимо цены): 1) Два часа работы — это как-то очень мало, у розетки что ли с ним сидеть? 2) В концепции фильмосмотрения — это, конечно, идеальный девайс для социопата-эгоиста, который смотрит кино в одиночку. Рекламные ролики, конечно, ввергают несколько в шок, особенно в моментах, где человек с надетым шлемом на голову общается с детьми — как-то это кринжово. И, в целом, эффект сериала «Черное зеркало» достигнут. А у вас какие мысли на счет нового продукта? Будущее ли это? Интересно было бы попробовать? (мне — очень) 😎

Фишки, которые должен знать каждый пользователь ClickHouse ClickHouse славится тем, что не тормозит и поддерживает SQL. Но не все знают, что правильная архитектура базы может ускорить выполнение запросов до немыслимого уровня. В своем докладе генеральный директор компании Altinity (которая занимается консалтингом по использованию и настройке ClickHouse) Роберт Ходжес расскажет несколько лайфхаков, которые могут вам пригодиться при проектировании базы данных. Мы хотим выделить 2 лайфхака, которые показались нам особенно полезными: 🔵Во-первых — трассировка запроса. Оптимизировать запрос крайне непростая задача, которая требует богатого опыта и интуиции. Не всегда понятно до конца, какие действия производит СУБД во время обработки запроса. К счастью, в ClickHouse есть возможность увидеть трассировку запроса, то есть последовательность действий, которые были выполнены системой. 🔵Другой лайфхак может помочь при построении таблицы для данных, у которых структура не очень строгая. Если заранее не известно, какой набор полей будет в каждой записи, можно воспользоваться массивами. В одно поле записывается массив названий различных показателей, в другое - массив значений этих показателей. Такое архитектурное решение удобно за счет богатого арсенала функций для работы с массивами. Остальное, как всегда, в самом докладе на блестящем английском! #краткий_пересказ

По данным Gemalto, 65% компаний не могут самостоятельно проанализировать данные. Поэтому те, кто научится с ними работать, будут востребованы и через десятки лет в любой индустрии: от финансового сектора до геймдева. При этом спрос на таких специалистов сильно превышает предложение, а зарплатная «вилка» middle-аналитиков стартует от 130 000 рублей. Получить необходимые знания и практический опыт с нуля — на примере 32 бизнес-кейсов — можно на курсе «Аналитик данных» от Академии Eduson. О курсе 🔵 Интерактивные тренажёры и методика от простого к сложному не дадут запутаться: начнете с Excel, а потом овладеете SQL, Python и Power BI. Преподаватели из «Яндекса», Datalatte, Softline и Ghetto Studio делятся опытом с первых уроков. 🔵 Личный куратор будет на связи 365 дней со старта обучения, а сама Академия поможет с трудоустройством и отправит ваше резюме своим компаниям-партнерам, среди которых Avito и ВТБ. 🔵 Чтобы пойти на повышение в должности или найти востребованную работу в IT — оставляйте заявку по ссылке. 🔥 Промокод LEFTJOIN зафиксирует за вами скидку 60% и бесплатную карьерную консультацию для быстрого старта в профессии. #Реклама, ООО «Эдюсон», ИНН: 7729779476, erid: LjN8K87iN

На чем держится весь мир анализа данных? Друзья, мы перезапускаем нашу самую любимую рубрику из закрытого проекта FULL JOIN — основы статистики. В ближайшие несколько недель мы пройдемся по самым простым вещам, а затем начнем вспоминать чуть менее тривиальные понятия и аспекты матстата. Начнем с того, что с ростом любой компании растет и объем генерируемых данных. Но какой толк от данных, если их не анализировать? Анализом данных, как вы и сами знаете, занимаются аналитики данных. Но что на самом деле он из себя представляет? Давайте вспомним азы статистики, на которых зиждется весь анализ, чтобы эта терминология у вас отскакивала от зубов, а все понятия прочно и однозначно закрепились в голове. Как говорится, чтобы если вас ночью разбудили и спросили, вы ответили без запинки. Или, что более вероятно, если вас спросят об этом на собеседовании в компанию мечты. P.S. Если вам это все давно хорошо знакомо, то этим постом лучше поделиться с другом, ведь лучший подарок — книга пост из канала @leftjoin.

Orb: новый криптопроект от основателя OpenAI и Worldcoin Сэм Альтман, CEO OpenAI, и основатель крипто стартапа Worldcoin, с которым мы активно сотрудничаем в рамках проекта по разработке процессов инжиниринга и аналитики для них, решил приблизить наступление цифровизации общества на еще один шажочек своим новым проектом. OpenAI — это те самые, кто ChatGPT. А, если кто не знает, Worldcoin — это криптовалюта с собственным блокчейном и открытым исходным кодом. Orb: прибор для сканирования радужки Сфера стального цвета, которую вы могли видеть в новостях — это и есть Orb, устройство, которое, просканировав вашу радужку, присваивает вам World ID, своеобразный цифровой паспорт, и делает доступными любые web3 сервисы. Инструмент не хранит данные о радужке: он переводит их в код, который затем привязывается к конкретному человеку и, соответственно, конкретному кошельку. Таким образом, криптовладельцам не придётся тревожиться о возможных потерях холодного кошелька или seed-фразы. Однако уже можно встретить и критиков проекта, которые метко подмечают, что для создания системы аутентификации и идентификации владельца кошелька необязательно сканировать именно радужку глаза, если она все равно шифруется в код. «Особое мнение» все смотрели? Orb уже готов, осталось приделать ему лапки и отправить на поиски Тома Круза...

⚖️ ChatGPT: доверяй, но проверяй 🧑‍⚖️ Хотя, возможно, другой заголовок был бы уместнее для сегодняшнего поста: «Подлог в заведомо корыстных целях с использованием ChatGPT». А дело все вот в чем: англоязычный Twitter бурлит тредами о шумной истории, в которой юридическая компания в качестве примеров для суда в рамках одного дела привела кейсы, полностью выдуманные ChatGPT. 🔵 Кратко Адвокат Стивен Шварц в деле против авиакомпании, во время рейса которой получил травмы его подзащитный, в качестве примеров аналогичных судебных тяжб привел названия, описания и имена участников дел, сгенерированные ChatGPT. Чтобы упростить суду работу (или, возможно, разъярить судью), он даже сопроводил дело скриншотами из чата. Все могло бы показаться невинным: человек мог не знать, что ChatGPT — не поисковик и не агрегатор информации, а инструмент на основе языковой модели. Но вся соль ситуации начинает «чувствоваться», когда, читая переписку адвоката и ChatGPT, ты понимаешь, что промпты, составленные первым, вероятнее всего, были очень качественны, так как ответы, данные вторым, полны деталей и уверенности в достоверности предоставляемых фактов. Так, на вопрос адвоката: «Точно ли это существующее дело?», ChatGPT отвечает: «Да, я проверил, это дело существует в надежных юридических базах LexisNexis и Westlaw». Следующее заседание суда, которое даст характеристику действиям Стивена и сдвинет дело с мертвой точки разбирательств по поводу использования ChatGPT, пройдет 8 июня. 💬 А нам-то оно зачем? А лишь затем, что вся эта история довольно поучительна: ChatGPT — это инструмент для генерации текста, кода, идей и прочего. Но использовать его, не проверив полученную информацию, — так себе идея и, вероятнее всего, будет в будущем наказуема согласно регулируемым законодательством канонам.

👀 Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🔵 На радость таргетологам: чат с ИИ в Google Ads На днях в блоге Google вышла новость о том, что Google Ads теперь — «умный» сервис, который может сгенерировать текст для рекламы на основе вашего лендинга, изменить заголовок рекламы, чтобы он больше соответствовал поисковому запросу, собрать ключевики, подходящие под ваш продукт, и многое другое. Хочется верить, что рекламные таланты ИИ не навредят обычному пользователю Google и не сделают рекламу в поисковике чем-то, для чего нужен свой AdBlock. 🔵 Новая веха для NVIDIA: капитализация превысила $1 триллион И все благодаря золотой лихорадке, распространенной спорами ИИ: Nvidia производит чипы для генеративных моделей, и именно это семейство продуктов позволило компании покрасоваться на почетном месте среди других лидеров рынка: Apple, Microsoft, Alphabet (материнская компания Google) и Amazon. 🔵 KDnuggets: подборка сервисов, позволяющих определить контент, написанный ИИ Про то, как важно уметь писать тексты с помощью языковых моделей, мы уже писали. В своей подборке KDnuggets собрали 10 сервисов, которые могут помочь определить, написан ли был текст человеком или ИИ. Конечно, никто не дает 100% гарантий правильности постановки «диагноза», но на случай крайней необходимости можно попробовать. #дайджест #под_утренний_кофе