Насколько люди доверяют AI
Вышло интересное исследование о том, насколько люди доверяют AI: участникам задавали сложные вопросы и разрешали в любой момент сказать "не знаю". Без LLM так отвечали в 40% случаев, а c LLM - всего в 3-6%.
Итог:
- точность упала с 28% до 9%
- уверенность выросла с 30% до 76% 🙂
К дизайну исследования есть небольшие вопросы, но оно довольно надежно в одной теме - как люди себя ведут, когда на сложный вопрос под рукой есть неправильный/непроверенный ответ LLM.
С LLM люди отвечали на больше вопросов, но давали меньше правильных ответов. То есть LLM не закрывала пробелы в знаниях, а превращала в ошибки ответы, которые человек знал или мог восстановить сам.
1️⃣ С одной стороны, можно сделать очевидный вывод: не стоит слепо доверять LLM, нужно все перепроверять. Это разумно, особенно в важных вопросах - здоровья, карьеры, отношений, своего будущего и т.д.
Кстати гугление менее проблемное: добавляется трение в виде "открыть ссылки, все прочитать, сопоставить, выбрать правильное". А LLM просто выдает надежный на первый взгляд ответ, в который хочется поверить.
2️⃣ С другой стороны, большинство вопросов, которые мы задаем ллм - не жизни и смерти, а всякие мелочи, цена ошибки которых невелика.
Кроме того, почти у всех нас либо неточная картина мира, либо вообще неправильная. Например есть миллиарды религиозных людей, которые чудовищно неправы со своим магическим мышлением. Но какая разница, если они с этим всем находят единомышленников и живут более счастливую жизнь, чем рациональные скептики?
Может AI не рассказывает истину, нередко ошибается, но хотя бы дает ощущение заполнения своей картины мира. Что возможно важнее, чем правда, и является основой спокойствия и уверенности в себе ("знаю, как этот мир устроен! не пропаду")
Добавил ли вам AI ощущения уверенности в своих силах?