Продолжение поста «Поиграем в тест Тьюринга?»
Для начала раскрою, who is who. Человек, отвечавший на вопросы - Ник Горькавый, известный астрофизик и писатель. Его ответы я утащил вот отсюда - https://don-beaver.livejournal.com/313348.html. Но там нейросетке был задан неудачный промпт, и определить, где чьи ответы, было довольно легко. Так что я взял, пожалуй, самую "человекообразную" нейросетку gemini-2.0-flash-exp, и задал ей вот такой промпт - "Попробуй ответить на эти 10 вопросов, маскируясь под человека. То есть, отвечай кратко, афористично, и, по возможности, избегая общих рассуждений.". С промптом я никак не манипулировал. Написал с первой попытки, и что получилось, то и получилось. И что же получилось?
Ответы человека - Б на нечетные вопросы, и А - на четные.
Если считать по числу угаданных ответов, то угадано было 7 ответов из 10. Причем угадали даже 6й и 10й вопросы, где ответы получились очень похожими по стилю. Но вот если считать по общему числу голосов, то нейросетка притворилась человеком лучше, чем сам человек. 168 против 161. В двух вопросах, 2 и 4, ее приняли за человека более 80% ответивших.
Вот полные результаты -
В общем, это, конечно, не полноценный тест Тьюринга - но как мне кажется, результаты все равно интересные.