DigitalTech — Новости
前往频道在 Telegram
Здесь делюсь своими мыслишками про IT и околоайти, а ещё пишу про себя в IT.
显示更多1 878
订阅者
无数据24 小时
-57 天
-930 天
帖子存档
Devin AI и смерть программирования
Опять программирование хоронят. Земля пухом.
Devin AI — новая тулза, которая может решать сложные верхнеуровневые задачи, она уже показала себя в тестах и точно заменит программистов.И почти каждый тезис в этой фразе — неправильный. 1. Когда пишут про Devin AI, обязательно упоминают факт, что это решение закрывает 14% GitHub issues у больших оупенсорсных репозиториев. И вот это уже сильное заявление. Но здесь надо покопаться, что это за задачи. А речь идёт про SWE-benchmark. И про этот тест надо рассказать подробнее. Это тест для моделей, которые пишут код. В тест включены 2294 issues из 12 крупнейших открытых Python-репозиториев. Задачи выбраны по определённым критериям: они хорошо задокументированы, они небольшие по размеру, они уже решены и имеют изменённые тесты. Этим критериям удовлетворяли всего 3% из всех задач, попавших в выборку. Даже голая GPT-4 закрывает некоторые задачи из этого списка. То есть если очистить тезис от шелухи, то получится следующее: из специально выбранных, небольших, хорошо задокументированных задач с уже написанными тестами, убийца программистов не справился с 86%. 2. Подобные инструменты уже есть. Вот самый популярный из них, GPT Engineer. 50 000 звёзд на гитхабе. Devin AI отличается от GPT Engineer двумя вещами: они нарисовали красивый интерфейс и завирусились в тик-токе. 3. Эти инструменты не решают верхнеуровневые задачи. Они могут очень хорошо написать змейку или какие-то синтетические, тысячи раз решённые задачи. Внутри они обращаются к API OpenAI. Проблема одна: GPT-4 держит маленький контекст. Репозитории даже небольших продуктов — это сотни тысяч строк кода. В будущем вы ещё много раз услышите, что программирование умерло. Не спешите в этот момент посыпать голову пеплом. Так действительно может случиться. Но готовиться к этому — это как готовиться к концу света. Когда программированием займётся AI, то все профессии, кроме курьера, постигнет та же участь. И ещё раз напомню, прогнозирование — топкое болото. Общий ИИ (AGI, интеллект, который сильнее человека во всём) может как появиться через пару лет, так и не появиться никогда из-за того, что человечество упрётся в лимит электричества или видеокарт. Случится ли это, точно не знает даже Сэм Альтман, CEO OpenAI, он рассказывает о своих сомнениях и проблемах развития AI на каждом публичном выступлении. Я напомню фразу из 1992 года, которую сказал фаундер Intel'а Эндрю Гроув: «Идея персонального коммуникатора в каждом кармане – это несбыточная мечта, которой движет жадность». Тогда не было человека, который бы знал больше об индустрии персональных компьютеров и их возможностей, чем Эндрю Гроув, но ошибся даже он.
