Как промпт-инжиниринг становится мастхэв-навыком в эру генеративного ИИ

Основные моменты

• Простой интерфейс генеративных нейросетей способствует их массовому использованию. 
• Несмотря на кажущуюся простоту, при использовании нейросетей человек сталкивается с серьёзной проблемой: как правильно сформулировать запрос к ИИ-модели, чтобы получить необходимый результат.
• По мнению участников рынка, навыки моделирования запросов через несколько лет превратятся в обязательную норму для всех специалистов, использующих в работе нейросетевые модели.
• Именно навык промт-инжиниринга позволяет раскрыть весь потенциал генеративного ИИ. Вокруг этой потребности уже формируется образовательная среда и новые специальности.
• И сейчас пользователи могут освоить эти навыки на курсах, изучая специальные гайды и книги, используя сервисы, которые помогают в генерации промт-запросов для визуальных нейросетей, а также прибегая к помощи консультантов-фрилансеров для решения конкретных задач.
• С начала 2023 появились десятки различных гайдов и книг по работе с нейросетями. 
• Отдельные курсы по использованию генеративного ИИ учат как общим навыкам повышения продуктивности и использования ИИ в повседневной работе, так и специализированным навыкам — в первую очередь для дизайнеров и разработчиков, имеющих дело с программным кодом. 

Генеративные нейросети становятся сервисом для массового применения и формируют спрос на новые навыки

Простой интерфейс генеративных нейросетей позволяет использовать их не только специалистам и крупным компаниям с большим IT-штатом (среди недавних примеров таких компаний — Сбер, Яндекс, VK). Применять их на практике — как инструмент поддержки бизнеса и для решения других, в том числе повседневных, задач — стремятся также небольшие компании, индивидуальные предприниматели и обычные пользователи.  

Эксперты сходятся во мнении, что ИИ станет неотъемлемой частью рабочих процессов в будущем. Например, mGPT — многоязычная версия GPT-3, представленная командой SberDevices. Одна из её особенностей в том, что она умеет генерировать тексты на 61 языке, включая языки народов РФ и стран СНГ.

Такие инструменты стали сейчас доступны и обычным пользователям. Нейросети, распространяемые бесплатно или по недорогой подписке, могут помочь пользователям практически с любой задачей. Среди примеров — написание книг с помощью ИИ (в том числе людьми, у которых нет опыта литературной деятельности), создание сценариев для коротких видео, помощь в юридических процедурах (например, составление апелляции на штраф).

Несмотря на кажущуюся простоту, при использовании нейросетей человек сталкивается с серьёзной проблемой: как правильно сформулировать запрос к ИИ-модели, чтобы получить необходимый результат. Именно тут требуются навыки промпт-инженера или соответствующего сервиса. 

Профессионал с помощью качественно составленной текстовой подсказки сможет по-настоящему раскрыть потенциал нейросети. А сам навык промпт-инжиниринга называют ключом к тому, чтобы раскрыть весь потенциал той или иной генеративной нейросети. 

Спрос рождает предложение: 

• образовательные платформы запускают курсы моделирования запросов (prompt engineering) для операторов нейросетей; 
• развиваются сообщества с подборками запросов и сервисы для помощи в их генерации, например преобразования обычных запросов в форму, более удобную для нейросетей; 
• составляются руководства для оптимизации запросов (платные и общедоступные);
• фриланс-платформы предлагают такие услуги по работе с нейросетями.

Моделирование запросов может быть как профессиональным, так и упрощённым

Профессиональное моделирование запросов — деятельность, направленная на дообучение нейросети. Цель оператора — лучше понять её возможности и выявить ошибки. Он может менять структуру запросов, чтобы добиться более точных и адекватных ответов — или, наоборот, найти слабые места в работе алгоритма.

Сам ChatGPT, отвечая на вопрос журналистов об этой специальности, заявил, что «эффективное моделирование критически важно для того, чтобы добиться высокой производительности от генеративных нейросетей». Оно позволяет «получать результаты, которые понятны, релевантны и соответствуют ожиданиям».

Моделирование запросов — разновидность программирования. Основное отличие в том, что оператор использует не код, а обычный язык. 

Один из приёмов, который используют операторы, — стимулирование нейросети к пошаговому разбору задач и решению проблем. Это позволяет указать на её ошибки и добиться корректных ответов. Метод также позволяет внедрить в память нейросети идею более эффективного решения проблем.

Дополнительная задача специалистов по моделированию запросов — формировать условный «характер» нейросети. Это значит не только добиваться корректных ответов, но и следить за тем, чтобы система не использовала оскорбительные или неприличные формулировки. Как отмечают авторы одного из исследований этой области, оператор должен быть «ограничителем поведения» нейросети — обеспечивать такую работу системы, которая не будет выходить за установленные этические рамки.

От специалиста неизменно требуются навыки тестировщика и умение чётко формулировать задачи. Конкретные требования могут различаться, но предполагается, что он легко ориентируется в архитектуре генеративных нейросетей и учитывает искажения данных, которые могут возникать при дообучении. При работе с системами, генерирующими изображения (такими как Kandinsky 2.1 и Midjourney), востребован опыт в сфере искусства, например знание архитектурных стилей и знакомство с работами известных художников. 

Более простой формат моделирования, которому учат некоторые курсы или руководства для начинающих, — оптимизация запросов для практической работы с нейросетью, например её использования для деловой переписки или генерирования контента для соцсетей. Выпускники таких курсов также могут продавать свои запросы на маркетплейсах или выполнять простые заказы в качестве фрилансеров.

Специалист по моделированию запросов — отдельная новая профессия

Специалистов по моделированию запросов нанимают компании в разных отраслях. На онлайн-платформе HeadHunter можно найти объявления о поиске специалистов и примерный уровень зарплаты. Помимо постоянных сотрудников компании ищут и фрилансеров, например для частных проектов по монетизации запросов.

Один из примеров: ML-инженера ищет компания Klarity, которая занимается автоматизацией работы с документами. За 130–230 тысяч долларов в год успешный кандидат должен будет:

• писать промпты, настраивать большие языковые модели (LLM) и «общаться» с ними;
• следить за новыми трендами в области LLM;
• тестировать новые способы применения LLM-моделей.

В качестве требований к кандидату указано следующее:

• опыт работы с алгоритмами обработки естественного языка (NLP) и LLM;
• 3–5 лет опыта разработки и применения ML-приложений;
• степень бакалавра или магистра в информатике или смежной области.

Услуги промпт-инжиниринга для самых разных задач уже представлены на фриланс-маркетплейсах вроде Freelancer, Fiverr, Upwork или Kwork:

Дизайн. Услуги AI-художников (AI Artists) на Fiverr, по данным на март 2023 года, предлагают более 15 тысяч человек. В основном они создают визуальный контент (с помощью Midjourney, DALL-E и других моделей) по потребностям заказчиков. Среди прочего они предлагают создание цифровых аватаров, маскотов, изображений игровых и фантазийных персонажей и другие объекты.

Обучение. Фрилансеры также предлагают обучение моделированию, консультации, создание запросов для написания книг, генерацию контента для соцсетей и запросы для SEO-оптимизации. Предлагаются и более профессиональные услуги, например настройка нейросетевых моделей и профессиональный дизайн с помощью ИИ.  

Наиболее компетентные фрилансеры могут зарабатывать больше 300 долларов за час работы. В таких случаях речь идёт о профессионалах, которые работают с несколькими нейросетями, сами занимались разработкой подобных моделей и имеют подтверждённый опыт сотрудничества с крупными компаниями.

На рынке доступны и комплексные сервисы. Например, компания Leeway Hertz, которая специализируется на Web3-решениях, предлагает услуги своих специалистов по моделированию запросов для консультаций и аналитики, разработки AI-стратегий, дизайна и тестирования запросов, а также оптимизации генеративных нейросетей.

В недавнем обзоре Всемирный экономический форум упомянул моделирование запросов в списке перспективных профессий — наряду с удалённым оператором автономных грузовиков и инженером по эксплуатации ветряных генераторов. 

В то же время некоторые исследователи и участники рынка скептически отнеслись к перспективам профессии. По их мнению, уже через несколько лет отдельная специальность «оператора по моделированию запросов» окажется невостребованной — она может превратиться, скорее, в набор навыков, владение которыми станет нормой для технических специалистов, работающих с нейросетевыми моделями.

Образовательные платформы запускают курсы по Prompt Engineering

Курсы по оптимизации запросов запустили Udemy (около десятка вариантов, включая курсы для начинающих), SkillShare и другие платформы, например TowardsAI (Learnprompting), VexPower, Class Central и Prompt Hero. Свой курс также запустил один из создателей Notion. Специализированная платформа Prompt Yes предлагает несколько форматов обучения — групповые и индивидуальные занятия, а также корпоративные курсы.

Отдельный мастер-класс по нейросетям также запустила онлайн-школа видеомейкинга fine.courses. Однако пока доступна только предзапись на курс. 

Универсальные и специализированные руководства

Руководства по оптимизации запросов выпускаются в самых разных форматах. Это могут быть просто неформальные сборники советов, общие принципы, подборки стратегий и готовых запросов для разных сегментов (бизнеса, музыки, маркетинга, образования и других), бесплатные книги. Академический анализ можно найти в тематических исследованиях и научных статьях.

Пример подробного бесплатного руководства — Prompting Guide от просветительского проекта DAIR.AI. В руководстве говорится о базовых принципах моделирования, основных техниках (разложение задач на составляющие, добавление контекста и другие) и генеративных моделях. Также авторы описали основные риски моделирования (например, возможности утечек информации), добавили подборки научных исследований и сервисов, которые могут понадобиться операторам.

Руководства также могут содержать советы и инструкции для практического моделирования в разных областях. Например, 4WeekMBA описывает сценарий для чат-бота службы поддержки магазина, куда обратился покупатель, чтобы вернуть купленный телевизор. Авторы обзора также обозначили возможности моделирования в здравоохранении, промышленности и других отраслях.

Есть руководства, созданные энтузиастами. Например, Prompter Guide художника Шейна Макгихана, посвящённый работе с Midjourney. Гайд поделён на четыре главы и подробно разбирает взаимодействие с нейросетью — от работы с интерфейсом до написания «правильных» текстовых подсказок и практических советов при генерации изображений и использовании сервиса. 

Есть гайды и на уже упоминавшемся ультимативном ресурсе, посвящённом промпт-инжинирингу — PromptHero. Например, в небольшом руководстве для начинающих по Stable Diffusion объясняют, что такое промпты, как в нейросети работать со стилями и цветом, какие слова лучше использовать и не использовать при написании подсказки. 

Для общей информации по генеративным нейросетям и промптам для них, не привязанной к одной конкретной модели, можно использовать руководство от ресурса Towards Data Science.

Для работы с ChatGPT есть электронная книга The Art of ChatGPT Prompting Фатиха Кадира Акина, который ведёт страничку Awesome ChatGPT Prompts на GitHub. Книга, как можно догадаться из названия, посвящена написанию качественных промптов для чат-бота, практическим кейсам и разбору распространённых ошибок при написании подсказок. Книга доступна бесплатно (но можно и поддержать автора любой суммой), на момент написания этого текста её скачали почти 45 тысяч раз. 

Часть руководств доступна в платном формате. На Amazon можно найти десятки тематических книг, выпущенных с начала 2023 года — от рекомендаций с акцентом на развитии карьеры в этой области до составления запросов для детей. Среди недавно вышедших книг: 

• Prompt / Prompt for Artists (советы по применению AI для развития бренда и карьерного роста);
• AI Prompt Masterbook (советы по моделированию и библиотеки запросов для ChatGPT и Midjourney);
• ChatGPT for Beginners (руководство для «чайников»);
• The Book of Prompts (руководство с акцентом на генерацию визуального контента в Midjourney и DALL-E);
• Maximizing Productivity and Efficiency (советы по практическому использованию запросов для повышения продуктивности).

Среди профильных исследований есть такие: 

• A Taxonomy of Prompt Modifiers for Text-To-Image Generation;
• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing;
• Visual-Language Prompt Tuning with Knowledge-guided Context Optimization;
• A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT;
• Dynamic Prompting: A Unified Framework for Prompt Tuning;
• и другие (подробный список собран в руководстве Prompting Guide).

Формулировка запроса к нейросети становится товаром

Развиваются и сервисы, помогающие взаимодействовать с нейросетями, — это могут быть менеджеры запросов или алгоритмы, которые конвертируют простые запросы в более удобную для ИИ форму. Также возникают специализированные маркетплейсы (например, PromptBase), где можно продавать и покупать тематические запросы.

Высокий интерес к генеративным нейросетям способствует тому, что некоторые запросы приобретают статус самостоятельных продуктов. Авторы готовых запросов, у которых есть коммерческий потенциал, не раскрывают их и рекламируют с помощью результатов работы ИИ (например, сгенерированных изображений на заданные темы) — для возможной продажи тем, кого могут заинтересовать аналоги. 

Пример подобного отношения — американский предприниматель Джейсон Аллен, который выиграл творческий конкурс с картиной, которую по его инструкциям нарисовала Midjourney. После победы он отказался раскрыть содержание запроса, заявив, что потратил на моделирование около 80 часов, пройдя более 900 итераций. Аллен допустил, что может опубликовать набор команд позднее, но подчеркнул, что считает его творческим продуктом и своей собственностью.

Одна из разновидностей вспомогательных сервисов — библиотеки сгенерированных изображений и соответствующих им запросов, например Krea, Lexica, Playground и PromptHero. Последний содержит поиск по ключевым словам, категориям (фотореалистичные изображения, портреты, аниме) и нейросетевым моделям (ChatGPT, Midjourney, Openjourney, Stable Diffusion, DALL-E). Он также предлагает курсы моделирования, планирует развивать сообщество и биржу труда (по данным на конец марта 2023 года, там доступны всего несколько сторонних вакансий).

Другая разновидность сервисов — генераторы запросов, например 

Kandinsky 2.1 от Сбера (умеет также смешивать несколько картинок или создавать изображение на основе другого), Promptist (генератор простых случайных запросов для получения изображений), ChatGPT Generator и Midjourney Prompt Helper. Более сложный вариант — менеджеры запросов с дополнительными функциями оптимизации (например, PromptPerfect).

Развиваются и маркетплейсы запросов. Один из самых популярных, PromptBase, содержит библиотеку изображений, сгенерированных моделями GPT, Midjourney, DALL-E и Stable Diffusion. Пользователи могут искать их по ключевым словам и покупать оригинальные запросы (например, если им нужны иллюстрации в такой стилистике). Стоимость невелика — лучшие запросы в Midjourney продаются всего за несколько долларов. На платформе также можно продавать и покупать услуги операторов (для создания кастомизированных запросов) и генерировать запросы в Stable Diffusion.

Среди других маркетплейсов — Phraser, который позиционирует себя как основной конкурент PromptBase. Он доступен по подписке и делает акцент на дополнительных возможностях — сообществе, менеджере запросов с различными функциями и большом количестве поддерживаемых нейросетевых моделей.  

Промпт-инжиниринг в России

Пока бизнес и образовательные платформы только начинают интересоваться промпт-инжинирингом. Так, вакансию промпт-инженера в декабре 2022 года публиковал стартап Avatarify. Группа компаний «Михайлов и Партнёры», занимающаяся стратегическими коммуникациями и диджиталом, ищет промпт-инженера для работы в коммуникациях, чтобы с помощью нейросетей создавать креативные кампании для российских и иностранных брендов.

Что касается цифровых гигантов, то «Яндекс» сообщил, что сервис премиум-доставки «Ultima Яндекс.Еда» будет пользоваться арт-боксами, изображения на которых создал промпт-инженер «Яндекса» Никита Павлов совместно с художницей Катериной Павловой.

Кроме того, Сбер совместно с телеканалом Пятница! создали оригинальный промо-ролик, собранный из эпизодов популярных шоу телеканала при помощи нейросети VTS (это сервис автоматического распознавания и тегирования видеоконтента). Всего за один уик-энд охват проекта в эфире составил 12 млн телезрителей, согласно данным MediaScope.

Крупные российские онлайн-школы пока не выпустили отдельные курсы по промпт-инжинирингу, но есть варианты на смежные темы. В Inbox Marketing рассказывают, как эффективно использовать ChatGPT в работе. Курс по нейросетям есть у Skillfactory. В Городском центре дополнительного профессионального образования в Москве за 24 часа студента обещают обучить базовым навыкам в Digital Art в нейросетях, работе нейрохудожника, а также работе с нейросетями Midjourney, ChatGPT, DALL-E 2, Stable Diffusion. 

На образовательной платформе Edutoria можно найти курс «Введение в ИИ» от СберУниверситета и курс «Искусственный интеллект и Машинное обучение + Основы Python».

Промпт-инженер имеет все шансы стать IT-профессией будущего: интерес к нейросетям растёт, а технологии ИИ активно внедряются во все сферы жизни. Узнать немного больше о достижениях и недоработках нейросетей можно в наших статьях: «Могут ли нейросети писать тексты и картины?», «GPT для маркетинга».