Поддакивающий AI
Часто языковые модели используют для самотерапии или для советов по личным вопросам и общению с другими людьми.
Вы так делаете? Спрашиваете chatgpt о личном? О важном?
1️⃣ На эту тему недавно в Science вышла работа, о social sycophancy - склонности LLM не просто соглашаться с фактами, а поддерживать самого юзера, его действия и его интерпретацию ситуации.
В личных и конфликтных сценариях AI в среднем на 49% чаще, чем люди, поддерживал позицию юзера, в том числе когда тот был неправ. Причем эффект наблюдался не только у уязвимых групп, но и у обычных психически здоровых людей.
2️⃣ Заведомо неправых AI оправдывал в 51% случаев, а люди - в 0%. Более того, даже один разговор с таким AI делал юзеров более уверенными, что они правы и менее готовыми извиняться, брать ответственность.
При этом поддакивающие советы от AI оцениваются юзерами как более качественные (+9-15%) и больше доверяют (+6–9%).
3️⃣ Любопытно, что отсутствие критики от AI человек оценивал как одобрение. Звучит логично - не спорит, значит "ну ок, нормально себя ведешь".
4️⃣ Я бы сказал, что хороший совет - это тот, которые создает дискомфорт (сомнение, необходимость пересмотреть себя), но при этом является безопасным и поддерживающим. Возникает трение, которое помогает думать, учиться и смотреть под другим углом.
5️⃣ Все это можно перенести не только на жизненные вопросы, но и когда люди приводят ответ AI как пруф. Более того, в кириллике уже были несколько комментаторов, которые писали не обычный нейрослоп, а прям заморачивались: обсуждали вопрос с ллм и выдавали кому-то вполне человеческий ответ.
И тут вопрос: если в дискуссии человек не ссылается на ллм, не пишет очевидный слоп (но он все равно заметен), и коммент в целом полезный, то это ок или не ок? Если вы знаете, что написан слоп, хоть и хороший, будет ли хуже отношение?
6️⃣ Если рассуждать об AI в контексте сложных жизненных вопросов, то можно сказать так:
LLM - это машина для генерации аргументов, а не для поиска истины.
Что полезно в срачах в интернете, но делает ли счастливее? 🙂