Промт-инженер по системным промтам и оценкам
О команде Команда занимается созданием надёжных, интерпретируемых и управляемых моделей. В команде исследователи, инженеры, эксперты по политикам и бизнес-лидеры.
О роли В продуктовую инженерную команду ищут инженеров промтов и контекста для создания продуктов, функций и оценок на основе моделей. Задача — связать возможности модели с реальным пользовательским опытом, работая с продуктовыми командами над согласованными, безопасными и полезными сценариями на всех поверхностях продукта. Предстоит участвовать в выпуске новых функций и моделей, сочетая инженерную экспертизу с пониманием передовых приложений и качества моделей. Нужно стать экспертом по поведенческим особенностям и возможностям Claude и применять эти знания для лучшего пользовательского опыта. Вы будете первым ресурсом для продуктовых команд, работающих с инфраструктурой Claude: системными промтами, промтами для инструментов, навыками и оценками. Роль требует умения одновременно глубоко вникать в улучшение Claude и поддерживать множество параллельных проектов в разных продуктовых командах.
Задачи
- Проектирование, тестирование и оптимизация системных промтов и промтов для конкретных функций, формирующих поведение Claude в продуктах и API.
- Создание и поддержка комплексных наборов оценок для обеспечения качества и согласованности моделей при запусках и обновлениях продуктов.
- Тесное сотрудничество с продуктовыми командами, исследовательскими командами и командами по безопасности для соответствия новых функций стандартам качества и безопасности.
- Критическая роль в выпусках моделей: обеспечение плавного развёртывания и выявление регрессий до того, как они повлияют на пользователей.
- Помощь в создании и улучшении фреймворков и инструментов, позволяющих командам уверенно разрабатывать и тестировать промты и функции.
- Обучение продуктовых инженеров лучшим практикам промт-инжиниринга и помощь командам в создании первых оценок.
- Быстрая итерация в среде, где возможности моделей развиваются ежедневно, с быстрой адаптацией и творческим решением проблем.
Требования
- 5+ лет опыта в разработке программного обеспечения на Python или аналогичных языках.
- Подтверждённый опыт работы с LLM и промт-инжинирингом (в работе, исследованиях или значимых личных проектах).
- Сильное понимание методологий и метрик оценки.
- Отличные навыки письменной и устной коммуникации — потребуется объяснять сложное поведение моделей разным заинтересованным сторонам.
- Умение вести несколько параллельных проектов и эффективно расставлять приоритеты.
- Опыт с контролем версий, CI/CD и практиками разработки программного обеспечения.
- Требуется как минимум степень бакалавра в смежной области или эквивалентный опыт.
Будет плюсом
- Опыт работы с Claude или другими передовыми моделями в продакшене.
- Опыт в машинном обучении, NLP или смежных областях.
- Опыт с A/B-тестированием и фреймворками экспериментов (например, Statsig).
- Знакомство с вопросами безопасности и согласованности.
- Опыт создания инструментов и инфраструктуры для ML-процессов.
- Подтверждённый опыт повышения производительности системы через систематическую оценку и итерации.
Условия
- Конкурентная компенсация и льготы.
- Опциональный матчинг пожертвований в акции.
- Щедрый отпуск и отпуск по уходу за ребёнком.
- Гибкий график работы.
- Уютный офис для сотрудничества с коллегами.