Недостатки Gemini AI в автоматизации релизов Ubuntu 26.04 указывают на проблемы ИИ в крупных проектах

Некоторое время назад инженер Canonical сообщил о неудачном опыте применения искусственного интеллекта для модернизации системы отслеживания ошибок Ubuntu Error Tracker. Тогда использование Microsoft GitHub Copilot привело к созданию некорректного программного кода. Тот же специалист решил протестировать возможности Google Gemini AI для написания вспомогательного скрипта на языке Python, предназначенного для подготовки ежемесячных ISO-образов системы. Однако нейросеть от Google также сгенерировала код низкого качества.

Опыт тестирования нейросети в подготовке релизов

Разработчик Ubuntu под псевдонимом Skia проводил эксперименты с Gemini AI в процессе создания инструментов для подготовки промежуточных сборок дистрибутива, включая недавно выпущенный Ubuntu 26.04 Resolute Raccoon Snapshot 2. По результатам работы программист отметил, что недостатки Gemini во многом повторяют ошибки, характерные для Copilot. Основные претензии касаются отсутствия логического анализа и непонимания семантики решаемых задач.

Я снова попробовал использовать ИИ, на этот раз Gemini, чтобы помочь в написании небольшого вспомогательного скрипта для релиза. Подробности можно найти в отдельных коммитах и комментариях к этому PR, но если вкратце, я бы сказал, что здесь наблюдаются те же проблемы, что и с Copilot: он не думает, поэтому допускает глупые ошибки и не понимает семантику вещей. Это быстро приводит к неудачному именованию переменных, что только усложняет чтение скрипта, в котором обязанности между функциями зачастую распределены странным образом.

Текущее состояние ИИ в разработке программного обеспечения

Опубликованный запрос на слияние (pull request) наглядно демонстрирует как первоначальный вариант кода, созданный нейросетью, так и последующие правки, внесенные разработчиком вручную для приведения скрипта в рабочее состояние. Основные сложности возникли с именованием переменных и нелогичным распределением функций, что затрудняло анализ и поддержку кода.

Специалисты отмечают, что современные большие языковые модели (LLM) все еще не обладают достаточной надежностью для качественного написания программ в рамках крупных ИТ-проектов. На текущем этапе развития инструменты искусственного интеллекта требуют тщательного контроля со стороны человека, так как допускают элементарные ошибки, несвойственные профессиональным программистам.