Специалист по оценке AI-навыков и сертификации
OpenAI — компания, которая занимается исследованиями и внедрением искусственного интеллекта общего назначения.
О команде
Подразделение Customer Education помогает клиентам получать практические навыки и уверенность в безопасном и эффективном использовании ИИ и продуктов OpenAI. Внутри него команда сертификации помогает людям подтверждать востребованные ИИ-навыки, а компаниям и партнёрам — проверять, что у сотрудников есть навыки для задач, где используется ИИ.
Система строится на прозрачности: учащийся понимает, где развивать навыки, как их подтвердить и что изучать дальше, а руководители — что означает каждый сертификат и как он подтверждает готовность сотрудников. Для этого создаются ролевые сертификации, проверяющие практические навыки.
О роли
Специалист проектирует, собирает, тестирует, запускает и поддерживает практические ассессменты, на которых основана техническая ролевая сертификация OpenAI. Задания должны позволять кандидатам показать, что они умеют в реалистичных сценариях, а проверяющим — получать надёжные доказательства для выставления оценки.
Это индивидуальная роль без управления людьми; подчинение — Technical Certification Lead. Работа предполагает использование скриптов и автоматизации, а также совместную работу с инженерами над разработкой и интеграциями доставки. Взаимодействие идёт с командами сертификации, измерений, инженерии и операций, техническими экспертами и внешними провайдерами доставки; Technical Certification Lead координирует согласование с учебным контентом, сохраняя конфиденциальные детали ассессментов отдельно от учебных материалов.
Ассессменты проходят путь от прототипа через пилот и запуск до постоянной поддержки в очном и виртуальном формате. При изменении продуктов и инструментов задания, среды и правила оценки обновляются вместе, чтобы кандидаты проверялись по нужным навыкам.
Задачи
- Переводить блупринты ассессментов в реалистичные сценарии, инструкции для кандидатов и практические задания; вместе с экспертами предметной области проверять, что задания отражают реальную работу и дают доказательства под каждую рубрику.
- Определять требования к среде ассессмента и собирать или настраивать среды, в которых работают кандидаты; выстраивать воспроизводимые процессы провижининга и сброса аккаунтов, инструментов, данных и прав доступа, чтобы кандидаты стартовали из одинаковых условий.
- Строить и поддерживать пайплайны, которые собирают ответы кандидатов и другие доказательства для оценки, применяют правила оценивания и направляют результаты на проверку; обеспечивать прослеживаемость оценок до исходных доказательств и защиту чувствительных данных в рамках утверждённых контролей.
- Строить и тестировать оценку с помощью модели с привлечением квалифицированных людей-ревьюеров по установленным критериям валидации: сравнивать оценки модели с откалиброванными экспертными суждениями, разбирать расхождения, внедрять согласованные правила передачи случаев человеку и повторять валидационные тесты после существенных изменений модели, задания или рубрики.
- Тестировать ассессменты сквозным образом — от настройки среды до сбора доказательств и оценки; на пробных прогонах и пилотах проверять инструкции, тайминг, доступность и восстановление после сбоев, исправлять дефекты и подтверждать исправления перед релизом.
- Проверять оценивание на нескольких корректных подходах, частичных и неверных решениях, а также на сбоях среды, чтобы проблема платформы не принималась за ошибку кандидата.
- Переводить потребности ассессмента в требования к интеграциям доставки; вместе с инженерами и провайдерами доставки тестировать доступ кандидатов, передачу ответов и результатов и разбирать возникающие проблемы.
- Готовить ассессменты к запуску вместе с платформенными и операционными партнёрами; документировать настройку, зависимости версий и диагностику, чтобы команды доставки проводили ассессменты единообразно и умели реагировать на сбои.
- Вести версионирование заданий, сред, конфигураций оценки и тестовых фикстур; по обратной связи кандидатов и данным доставки и оценивания находить проблемы, обновлять или выводить задания из эксплуатации и проверять, что изменения сохраняют проверяемые навыки и сложность.
- Разбирать технические проблемы, возникшие при доставке или проверке работ: по возможности воспроизводить дефекты, фиксировать, что именно затронуто, и тестировать исправления с соответствующими партнёрами по доставке.
Требования
- Опыт самостоятельного проектирования и сборки практических ассессментов, лабораторий или симуляций с проверкой выполнения для технических ролей, например разработчиков или solution-архитекторов, с последующим тестированием, запуском и поддержкой; опыт создания только тестов с вопросами и ответами не подходит.
- Опыт использования скриптов и автоматизации для сборки и диагностики технических сред ассессмента.
- Умение работать с техническими экспертами и превращать реалистичные решения в ассессменты; глубокая экспертиза в ИИ-инженерии или опыт с конкретным языком программирования либо платформой доставки не требуются.
- Опыт работы в технологической компании в быстром темпе: расстановка приоритетов и выполнение работы при меняющихся требованиях и потребностях бизнеса.
- Умение по блупринту и рубрике проектировать реалистичные задания и определять, какие доказательства отличают компетентное выполнение от простого завершения задачи.
- Опыт создания или поддержки процессов, которые собирают ответы, обрабатывают доказательства и дают прослеживаемые оценки либо выходы для ревьюеров.
- Опыт внедрения или валидации модельной оценки в сравнении с экспертными суждениями людей и умение объяснить, когда оценку нужно передавать на человеческое ревью.
- Опыт прямого взаимодействия с внешними техническими экспертами или провайдерами доставки и перевода требований в интеграции, которые можно протестировать сквозным образом.
- Опыт улучшения качества ассессментов по результатам пилотов, обратной связи кандидатов и данным оценивания и доставки.
- Понимание, как обеспечивать доступность ассессментов и как защищать доказательства кандидатов и конфиденциальное содержание заданий.
- Умение понятно объяснять технические компромиссы экспертам предметной области, специалистам по измерениям, платформенным инженерам и операционным командам.
Плюсом будет
- Опыт создания практических ассессментов для разработки ИИ-приложений, агентных сценариев или клиентских внедрений.
- Работа с психометриками или специалистами по измерениям над калибровкой рубрик, согласованностью оценивания и валидацией практических ассессментов.
- Запуск сертификационных ассессментов с проверкой выполнения в очном и удалённом формате.
Условия
- Локация: Сан-Франциско.