Группа специалисты компании Apple провела на днях интереснейшее исследование, в рамках которого привели доказательства о не думающих в реальности ИИ — моделях. Сотрудники it — гиганта утверждают, что так называемые «большие языковые модели»(Large Langauage Models, LLM) на подобии ChatGPT давая ответы, не совершают осознанные действия, а производят ассоциативный подбор информации из встречавшихся им ранее подобных задач. Такой подход оставляет даже самую умную LMM всего лишь виртуальной машиной, и такую ЭВМ очень легко обмануть, дав ей в время решения того или иного задания, малейшие малейшие сбивающие с толку факторы.

Для примера специалисты Apple привели простейшую задачу:

«Оливер собрал 44 киви в пятницу. Затем он собрал 58 киви в субботу. В воскресенье он собрал вдвое больше киви, чем в пятницу. Сколько киви у Оливера?»

Умная машина на примере ИИ GPT-o1-mini даёт следующие решение и ответ:

44 + 58 + (44 * 2) = 190

Всё верно. Но если добавить в задачу элементарное изменение:

«Оливер собрал 44 киви в пятницу. Затем он собрал 58 киви в субботу. В воскресенье он собрал вдвое больше киви, чем в пятницу, но пять из них были немного меньше среднего. Сколько киви у Оливера?»

При новых условиях нейромозг начинает «плыть», пытаясь решить задачу буквально так:

«…в воскресенье 5 из собранных киви были меньше среднего. Следовательно, необходимо вычесть их из воскресной суммы: 88 (все воскресные киви) – 5 (меньшие киви) = 83 киви»

В конечном итоге мы получаем действие и ответ:

44 + 58 + (44 * 2 — 5) = 185

И это в корне не правильно, ведь по факту, вне зависимости от размера в сумме собранно всё равно 190 киви.

Как подвёл итог один из исследователей Мердад Фараджтабар:

«Мы предполагаем, это снижение связано с тем, что нынешние LLM не способны к подлинному логическому рассуждению; вместо этого они пытаются воспроизвести шаги рассуждения, наблюдаемые в их обучающих данных»

Также возникают вопросы и к ответам моделей GPT. Если сказать им «я тебя люблю», то получим аналогичные тёплые слова, но, мы как минимум слишком мало знакомы с программой, чтобы у неё возникли чувства к нам. Следовательно, языковая модель выдаёт ассоциативный ответ без реального осознания происходящего.

Оппонируют таким выводам специалисты OpenAI, как раз являющиеся разработчиками ChatGPT. Те утверждают, что если вводить уточняющие данные или подсказки, то вполне можно добиваться правильных решений и осознанных ответов.

В свою очередь, уже на это высказывания сотрудники Apple лукаво уточнили, сколько же нужно добавить подсказок в GPT, чтобы тот мог в любой ситуации вести себя как человек и давать верные слова и решения? На этот вопрос ребята из OpenAI ответить уже не смогли, ведь речь идёт о бесконечности таких подсказок…

p.s. С другой стороны, не всё так однозначно. Ведь если задать задачу с киви семи или восьмилетнему ребёнку, с высокой долей вероятности пресловутые пять киви меньшего размера также собьют его с толку.

Вам может быть интересно: Из-за отключения всего одного ненужного прибора, запаса топлива спутника «Вояджер-2» хватит до начала 30х годов