Data Annotation Specialist, Safety

Cohere ищет Data Annotation Specialists со знанием Trust & Safety, модерации контента, оценки AI-моделей или смежных областей. Роль предполагает работу с человеческими и сгенерированными моделью текстами, включая явно выраженный контент.

Задачи:

• Оценивать и улучшать безопасность модели: размечать, ранжировать, аудировать и дорабатывать тексты для повышения безопасности, качества и соответствия политикам, включая контент сексуального, насильственного или психологически тревожного характера.
• Применять детальные правила безопасности: оценивать выводы модели по подробным гайдлайнам, рубрикам и стандартам стиля, принимая последовательные решения в неоднозначных, чувствительных и контекстно-зависимых случаях.
• Создавать промпты и тест-кейсы безопасности: писать реалистичные промпты, пользовательские сценарии и состязательные примеры для оценки поведения модели по категориям безопасности и выявления небезопасных, уклончивых, излишне отказных или несоответствующих политике ответов.
• Поддерживать качество и калибровку: выявлять несоответствия в аннотациях или неясные гайдлайны, давать практическую обратную связь по повторяющимся пограничным случаям, сбоям модели и возможностям улучшения качества данных.
• Работать точно и независимо: выполнять задачи аннотирования с высоким вниманием к деталям в глобальной распределённой асинхронной команде.

Требования:

• Опыт от 1 года в модерации контента, Trust & Safety, аннотировании AI-данных, оценке LLM или аналогичной аналитической роли; желателен опыт в обеспечении качества, red teaming и/или промпт-инжиниринге.
• Опыт применения детальных гайдлайнов к сложному и чувствительному контенту, сильное контекстное и социокультурное суждение, умение распознавать и управлять личными предубеждениями.
• Эмоциональная устойчивость: комфортная работа с контентом, содержащим небезопасные, явные и/или токсичные материалы, включая сексуальный, насильственный или психологически тревожный характер.
• Отличное владение письменным английским и умение чётко обосновывать оценки контента, включая объяснение того, почему вывод безопасен, небезопасен, качественен или некачественен. Бонус — свободное владение другим языком.
• Сильное внимание к деталям и точность, способность сохранять последовательность при большом объёме монотонных задач.
• Хорошая самоорганизация в удалённой работе, включая тайм-менеджмент, освоение новых инструментов и независимую работу в глобальной асинхронной команде.

Условия:

• Частичная занятость, удалённая работа, независимый контракт в Канаде или США.
• Минимум 16 часов в неделю.
• Ставка 45 CAD/час или 40 USD/час в зависимости от местоположения, включая базовую оплату 30/час плюс 15 CAD или 10 USD/час надбавки за риск.
• Работа на собственном устройстве (ноутбуке).
• Контракт на 12 месяцев с возможностью продления.
• Независимые подрядчики не получают льгот для сотрудников; оплата по счетам в соответствии с договором.
• Непрерывность работы не гарантируется: взаимодействие проектное, возможны временные, периодические или прерывистые периоды в зависимости от потребностей организации и доступности проектов.
• Роль предполагает работу с человеческими и сгенерированными моделью задачами, которые могут включать NSFW-текст, в том числе явный, оскорбительный или иной неподобающий материал.