Исследование группы Нильсена Нормана Структура запросов в диалогах с генеративным ИИ

В мае и июне 2023 года группа Нильсена Нормана провела двухнедельное исследование с участием 18 участников, которые использовали ChatGPT 4.0, Bard и Bing Chat. Участники зарегистрировали 425 бесед и оценили каждую на предмет полезности и достоверности. В конце исследования провели глубинные интервью с 14 участниками.

Промпт - это отдельный запрос пользователя, который инициирует или направляет ответ чат-бота. Беседа с ИИ чат-ботом может содержать один или несколько запросов. Группа Нильсена Нормана выделила четыре компонента, которые часто (но не всегда) входили в состав запросов для нейросетей, использованных в исследовании:

1. Запрос

2. Ссылки либо на предыдущие ответы бота, либо на внешние источники

3. Формат

4. Формулирование

Запрос Запрос - это самая прямолинейная часть промпта — это основа потребности в информации, которую пользователь желает удовлетворить. В исследовании запрос присутствовал в большинстве промптов (но не во всех), и многие промпты состояли только из этого компонента. Промпты, не включавшие в себя запрос, обычно представляли собой простые дополнительные фразы вроде “Спасибо” или служили для предоставления уточнений к начальному запросу. Формулировка самого запрос обычно представляла собой вопрос, неявное обращение, команду или неполное предложение.

Некоторые из наблюдаемых бесед содержали промпты только с запросом — промпт состоял из запроса без какого-либо дополнительного контекста. Некоторые промпты только с запросом (например, лучшие упражнения на силу) напоминали поисковый запрос. Распространенный промпт только с запросом в исследовании включал просьбу к боту предоставить лучшее из чего-то — например, самый дешевый аэропорт, лучший способ добраться из Токио в Хаконе для осмотра горы Фудзи, лучшие средства от мигрени, самый простой способ добавить чечевицу в свой рацион. Такие промпты на “лучшее” часто были неэффективными (поскольку они не содержали достаточно деталей) и приводили к воронке разговоров, так как она начинается с нечетких, неопределенных промптов и требуют много обратной связи между пользователем и ботом, из-за этого пользователь использует последующие промпты, чтобы уточнить свои требования.

Существуют два вида ссылок, которые могут появляться в промптах ИИ:

• Ссылки внутри беседы (или цитаты) на предыдущий ответ, предоставленный ботом, обычно в рамках той же беседы

• Внешние ссылки на документы или сторонние источники, обычно скопированные или вставленные пользователем как часть его промпта

Внутренняя ссылка: Цитата из предыдущего ответа

Этот элемент промпта ссылается на что-то, что бот сказал в рамках той же беседы. Участникам исследования часто приходилось упоминать часть предыдущего ответа (такое поведение называется “собирать яблоки”). Особенно если референт представлял собой фрагмент текста, пользователю приходилось набирать его снова или копировать и вставлять, чтобы устранить двусмысленность. Иногда пользователь ссылался на структуру ответа бота, чтобы показать свою заинтересованность (например, изменить последнее слово в последнем абзаце). Такие ссылки могут использоваться как самостоятельно (как в примере выше - последнее слово в последнем абзаце), так и в сочетании с фактической цитатой. Особенно на мобильных устройствах, пользователю было сложно ссылаться на конкретные аспекты предыдущего ответа бота. Иногда, вместо копирования текста, пользователь случайно нажимал кнопку Ввод и отправлял запрос слишком рано.

Внешняя Ссылка: Исходный Текст

Когда пользователи просят бота работать с куском текста (например, при генерации текста или при программировании), им часто приходится копировать и вставлять его из другого места. При программировании пользователи иногда также вставляют сообщения об ошибках, чтобы получить помощь в отладке. Не все ссылки включают в себя копирование и вставку исходного текста. Вместо этого пользователь может просто сослаться на внешний источник по имени, не вставляя его текст в промпт, потому что он предполагает, что бот ИИ уже знаком с ним. Например, в следующем промпте пользователь предположил, что текст популярной песни “Holy” Джастина Бибера не нужно предоставлять: Пожалуйста, сделайте комическую пародию на текст песни “Holy” Джастина Бибера, но сфокусируйте песню на моей собаке, мистере Смите […] Иногда пользователи включают внешний источник в качестве примера результата, который они хотят получить от бота. Например, когда один из участников исследования инструктировал Bing Chat пересмотреть разделы резюме, он использовал промпт: Пересмотрите резюме о работе. Подберите тон к этому: [предыдущий раздел ее резюме].

При указании формата в промпте пользователи предоставляют конкретные атрибуты, которые они хотят получить на выходе от бота. Эти атрибуты часто включают:

• Длину (например, один абзац, 1500 слов)

• Язык (например, английский для средней школы, Python)

• Как должна быть представлена информация (например, список с маркерами, таблица, визуализация)

• Тональность голоса (например, профессиональный, неформальный, веселый)

Вот некоторые примеры указаний формата из нашего дневного исследования: Выступи в роли эксперта по искусственному интеллекту и скажи мне, что необходимо для соединения Bing с Bard, Anthropic и ChatGPT, и дай ответ в одном окне. Переведи следующую неформальную записку для моей домработницы. Используй стандарт неформального испанского (Мексика). Можешь дать визуализацию свёрточных и рекуррентных связей Пожалуйста, напиши мне письмо с благодарностью группе за участие в собрании, включая раздел вопросов и ответов. Это письмо должно быть профессиональным и не слишком длинным. Естественно, лишь немногие участники исследования включали такие указания в свои запросы, поскольку они часто были не нужны для разговоров с целью поиска информации. (Исключение составляли случаи, когда пользователь хотел получить краткое, легко читаемое объяснение.) Указания формата были более распространены в разговорах на основе задач, результаты которых предполагалось использовать участником для определенной цели (например, для включения в резюме или презентацию).

Формулировка промпта включает описание проблемы, которую пользователь хочет решить, или их контекста. Формулировка промпта предназначена для предоставления боту всей необходимой информации для генерации удовлетворительного ответа. Таким образом это уменьшает необходимость в переформулировании запросов. Некоторые виды четко определенных информационных потребностей не могут быть удовлетворительно решены без достаточной формулировки промпта. Однако предоставление контекстных деталей требует больших усилий пользователя. В исследовании некоторые диалоги начинались с промпта, который имел подробную формулировку. Например: Я хочу начать предоставление услуги прачечной в моем районе. Услуга будет включать стирку, сушку и складывание белья. Я также предоставлю услуги по забору и доставке белья. Не могли бы вы предложить мне несколько вариантов названий? Я впервые еду в Японию в ноябре на 7-10 дней. Я буду останавливаться в Токио и не собираюсь арендовать машину. Какие топ-10 вещей я должен увидеть? Формулировка промпта часто включала объяснение цели пользователя, чтобы убедиться, что ответ ИИ будет соответствовать нужному углу зрения. Например: Я пытаюсь решить, какую машину купить. У меня есть три варианта: Kia Telluride 2023 года, Kia Carnival 2023 года и Jeep Grand Cherokee L 2023 года. Пожалуйста, сравните эти три автомобиля в следующих категориях: безопасность, стоимость и отзывы в интернете. Некоторые формулировки промптов следовали модели ролевых игр, которая стала популярной в новостях и социальных сетях. Фразы, используемые для введения таких промптов, включали “Будь”, “Представь, что ты”, “Притворись, что ты”, “Действуй как”. Цель этих фраз заключалась в уменьшении двусмысленности путем заранее определения области запроса. Представь, что ты мой тренер, я женщина весом 59 кг и хочу похудеть. Разработай ежедневную программу из нескольких упражнений, которые можно выполнять, чтобы гарантировать, что я смогу похудеть через два месяца. Будь гидом по путешествиям. Составь для меня программу на 4 дня в Чикаго, включая активности и рекомендации по ресторанам с предполагаемыми расходами. Действуй как эксперт по искусственному интеллекту и скажи мне, что необходимо для соединения Bing, Bard, Anthropic и ChatGPT, чтобы дать ответ в одном окне. Иногда, однако, участники неправильно использовали ролевые промпты и предполагали, что фразы вроде “будь X” или подобные являются волшебными словами, которые вероятно приведут к хорошему ответу. На самом деле приглашение бота играть определенную роль не всегда было необходимым (или достаточным) для формулировки их запроса. Например, формулировка следующего промпта содержала ролевой компонент, но этот компонент не принес никакой пользы: Представь, что ты аналитик в области бизнес-интеллекта или стратег по технологиям, какие технические навыки мне нужно было бы знать? Точно такой же подробный ответ был дан коротким запросом, без формулировки: Какие технические навыки необходимы аналитикам в области бизнес-интеллекта? Формулирование промпта - это задача, требующая времени от пользователей. Это требует от них продумать всю информацию, которая может понадобиться боту, а затем ввести её. Некоторым пользователям может быть сложно явно указать все ограничения своего промпта. В результате многие диалоги с четко определенными информационными целями начинаются без должного формулирования промпта. Однако стоит заметить, что не все промпты нуждаются в формулировании. Когда потребность в информации широка и сосредоточена на обучении, формулирование промпта необязательно. Можно начать с промпта без формулирования, а затем использовать ответ бота, чтобы определить наилучшее направление, в котором должен идти разговор.

Можете ли вы подсказать : Неуверенность в возможностях бота

Иногда пользователи не были уверены, попадает ли их информационная потребность в сферу возможностей бота, поэтому они начинали беседу с вопроса к боту, может ли он помочь с конкретной задачей. Эта стратегия экономила время пользователей, поскольку им не нужно было заботиться о вводе сложного запроса, если бот не мог помочь. Например, один пользователь, который хотел проанализировать некоторые документы, начал свою беседу с: Вы можете получить доступ к Плану местного контроля и обязательств (LCAP) за 2022 год для школьного округа Висалия? Как только он узнал, что ChatGPT не может сделать это, он задал дополнительные вопросы, чтобы выяснить, как он может заставить бота получить доступ к этим документам, но в конечном итоге сдался. Другой участник не был уверен, может ли ChatGPT помочь с созданием бизнес-плана, поэтому он начал разговор с вопроса: “Можешь помочь мне создать бизнес-план?” ChatGPT ответил, предоставив детальную структуру бизнес-плана. Хотя эта информация была точной, она требовала от пользователя прочитать длинный ответ, который не был специфичен для его ситуации. Вопросы с формулировкой “Можешь ли ты” часто задают люди, которые впервые сталкиваются с искусственным интеллектом или пытаются выполнить задачу с помощью бота в первый раз. По мере того как пользователи становятся более опытными в общении с ботами на основе ИИ, такие вопросы, вероятно, будут возникать реже. Обратите внимание, что иногда люди используют формулировку “Можешь ли ты” для того, чтобы попросить бота сделать что-то, а не для выяснения его способностей. Обычно это запрос, который предоставляет больше контекста, чем очень базовый вопрос “Можешь ли ты сделать это”, как в примере ниже, где пользователь, который хотел, чтобы его резюме было переписано, ссылался на текст, который нужно было отредактировать: Можешь переписать это? Амбициозный бизнес-лидер предлагает навыки…

Иногда участники были недовольны ответом бота и просили больше вариантов. Такие запросы обычно возникали в беседах, где пользователь предоставил широкий, недостаточно конкретизированный промпт с малым или без какого-либо контекста, обычно запрашивая список элементов (например, рекомендаций). Если элементы, включенные в список бота, не вызывали интереса у пользователя, участник просил больше вариантов, не пытаясь добавить контекст к своей подсказке. С фразой “Дайте мне больше подсказок”, усилия пользователя минимальны на уровне промпта, но не на уровне разговора — скорее всего, им потребуется продолжить с дополнительными промптами или уточнениями запроса, которые включают больше деталей для их вопроса. С фразой “Дайте ме больше вариантов” наименее вероятно достижение успеха, и пользователям, на самом деле, может быть лучше просто воспользоваться поисковой системой. Как выразился один из участников: Мне казалось, что я хочу большего, как будто более уникальных или более творческих блюд, но он продолжал предлагать мне вещи, которые я уже знал, и тогда мне приходилось продолжать просить, вроде, “дайте мне больше”, “дайте мне больше”. И, таким образом, если мне уже приходится просить его дать мне больше идей, мне кажется, что я мог бы просто зайти в Google и пролистывать, кликая по ссылкам, которые, как мне кажется, будут отвечать на мой вопрос так, как я хочу.

Дополнительные высказывания, которые включают вежливые фразы, такие как “Спасибо”, “Доброй ночи”, “Мило” или “Это было полезно”, не имеют реальной коммуникативной функции, но они выполняют социальную функцию в человеческих беседах. Такие высказывания убеждают собеседника в том, что его сообщение было получено и оценено. Участники исследования довольно часто использовали такие фразы — это признак того, что они приписывали ботам антропоморфные качества. Некоторые пользователи жаловались, когда боты не узнавали некоторые более тонкие промпты-обращения (кроме “Спасибо”, “Это было здорово” и подобных), и, вместо этого, обрабатывали их как обычные промпты, предоставляя ответ на них. Хотя люди могли бы просто игнорировать результат, который им не нужен, ответ всё равно требовал их внимания.

Информационная потребность пользователя подобна айсбергу. Видимая вершина этого айсберга — это прямой промпт, в то время как погружённые слои представляют собой критическую массу, которая придаёт промпту его истинную форму и направление. Чем больше этих погружённых слоёв раскрывается в промпте, тем эффективнее искусственный интеллект может удовлетворить информационную потребность пользователя. Включение всех различных компонентов (запрос, ссылки, формат и формулировка) в промпт может помочь пользователям получить наиболее точный ответ. Но иногда это бывает сложно по нескольким причинам:

• Усилия пользователя, связанные с выявлением и точным описанием некоторых из этих компонентов, слишком велики.

• Пользователю не хватает словарного запаса или знаний, необходимых для точного выражения некоторых компонентов (например, он может не знать, как описать желаемый тон речи или определённый визуальный стиль).

• Некоторые люди не хотят делиться определёнными фрагментами информации из-за заботы о конфиденциальности или приватности данных.

• Многие современные интерфейсы искусственного интеллекта не имеют достаточной поддержки для загрузки большого объёма контекстуальной информации в промпты.

Если вы только начинаете работать с генеративным искусственным интеллектом и вам нужна помощь в конкретной задаче, представьте свою информационную потребность в виде айсберга: чем больше вы раскроете эту потребность в своих промптах, тем выше шанс, что бот предоставит что-то полезное. Промпты вроде “Лучшее из” или “Дай мне больше” очень неэффективны — если вы обнаружите, что используете их, это знак того, что вам может быть лучше воспользоваться поисковой системой. Запросы, ссылки и многие спецификации формата относительно просты для большинства людей (хотя некоторые из нас могут забыть о формате, когда мы впервые задаём свои вопросы). Однако определение правильной рамки для промпта может быть сложной задачей. Во-первых, выявление всей контекстуальной информации требует усилий — нужно подумать об этом, сформулировать и, наконец, ввести это. (Вот почему наличие библиотеки промптов Ai Wiz может помочь, если вы, скорее всего, будете выполнять одну и ту же задачу несколько раз). Во-вторых, предоставление слишком многих ненужных деталей иногда может отвлечь бота. Современное внимание к инженерии промптов и популярность концепции ролевого оформления в СМИ заставляют некоторых пользователей предполагать, что рамки задаются просто путём просьбы к боту играть определённую роль. На самом деле, богатая спецификация контекста часто является необходимой, но это не обязательно означает ролевую игру. Если выявить рамки для вопроса слишком сложно, попросите помощи у бота — подскажите ему задать вам вопросы о дополнительной информации, которая может быть необходима для предоставления конкретного ответа. Однако не все промпты требуют сложной рамки. Если ваша цель менее чётко определена и вы хотите узнать о новой области или начать работу в какой-то сфере, вы можете смело начать с общего запроса, а затем использовать ответ бота, чтобы определить направление, в котором должен идти разговор.