AI Prompt Engineer (LLM, QA)
Компания RemoteHive ищет AI Prompt Engineer для работы над генеративными AI-функциями EdTech-платформы для создания флеш-карточек. Роль предполагает прямую работу с Knowledge Manager: итерации по LLM-промптам, анализ реальных пользовательских данных и контроль качества AI-вывода как на запуске, так и при обновлении моделей.
Ближайший приоритет — миграция и тестирование существующих промптов массового создания флеш-карточек в обновлённой AI-среде с новыми моделями GPT. Эти промпты обеспечивают три пользовательские функции: импорт вставленного или загруженного контента в флеш-карточки, суммаризация документов в флеш-карточки и генерация флеш-карточек по описанной пользователем теме. Далее роль расширяется до постоянного QA, регрессионного тестирования и оптимизации промптов для всех AI-функций.
Это part-time контрактная роль (~5-10 часов в неделю, удалённо) до конца 2026 года с возможностью продления или перехода в постоянную позицию. Почасовая ставка $40-$100 в зависимости от опыта и локации.
Задачи:
- Миграция и тестирование существующих промптов массового создания флеш-карточек в обновлённой AI-среде с новыми моделями GPT, а также планирование будущих миграций по мере вывода старых моделей.
- Запуск тестовых наборов и ручная проверка AI-вывода на качество и корректность промптов.
- Анализ реальных пользовательских данных для выявления паттернов сбоев и улучшения промптов.
- Оптимизация процессов тестирования и оценки для повышения повторяемости QA.
- Мониторинг качества в продакшене после запуска и выявление регрессий при изменении базовых моделей.
- Создание и поддержка датасетов оценки моделей на основе реальных пользовательских вводов по всем AI-функциям.
- Написание новых тестов для граничных случаев, многоязычного контента и неаккуратных реальных вводов.
- Документирование изменений промптов, результатов тестов и выводов.
- Работа с контент-командой для применения стандартов качества авторских флеш-карточек.
Требования:
- 1+ год практического опыта промпт-инжиниринга с LLM / API (систематическое тестирование и итерации, а не просто повседневное использование ChatGPT).
- Знакомство с IDE или аналогичными AI-инструментами разработки (работа преимущественно на Python — опыт важнее, чем сам навык Python).
- Опыт работы с Git и совместной работы через общие репозитории.
- Привычка документировать, что пробовали, что сработало и почему; QA-бэкграунд не обязателен, но важно отслеживать свой процесс.
- Чёткие навыки письменной коммуникации, способность работать самостоятельно и управлять своим временем.
Бонусы:
- Опыт построения оценок промптов, AI quality assurance или использования GPT для оценки вывода GPT.
- Опыт регрессионного тестирования AI-систем или выявления дрейфа моделей.
- Бэкграунд в EdTech или создании контента, особенно микрообучение, флеш-карточки или другие форматы кратких вопросов и ответов.
- Степень в Computer Science, Information Science или смежной области.
