Senior Software Engineer – LLM Evaluation

Удалённая часть-тайм консалтинговая позиция для опытных Senior Software Engineers. Работа включает оценку больших языковых моделей, разработку бенчмарков для кода и исследования в области AI-ассистированной разработки ПО.

Задачи:

• Курировать высококачественные примеры кода для обучения и бенчмаркинга моделей.
• Разрабатывать точные эталонные решения для задач разработки ПО.
• Исправлять и улучшать код на Python, JavaScript, ReactJS, C/C++, Java, Rust и Go.
• Оценивать AI-сгенерированный код на техническую корректность, эффективность, масштабируемость и надёжность.
• Выявлять слабые места реализаций и повторяющиеся паттерны ошибок.
• Предоставлять структурированные обоснования решений по оценке.
• Проектировать механизмы автоматической проверки решений и агентов для оценки качества кода.
• Создавать детерминированные или структурированные проверки для повторяемых задач.
• Оценивать возможности моделей на протяжении жизненного цикла разработки ПО: прототипирование, архитектура, API-дизайн, продакшн-реализация, запуск, мониторинг.
• Сотрудничать с исследователями и кросс-функциональными командами, участвовать в создании датасетов и стратегий оценки.

Требования:

• Несколько лет профессионального опыта в разработке ПО.
• Минимум 2 года непрерывного полного рабочего дня в топовой продуктовой компании.
• Сильные навыки full-stack разработки.
• Опыт создания масштабируемого продакшн-ПО.
• Глубокое понимание архитектуры ПО и системного дизайна.
• Знание отладки и оценки качества кода.
• Опыт ревью и улучшения сложного продакшн-кода.
• Владение одним или несколькими языками: Python, JavaScript, C/C++, Java, Rust, Go.
• Опыт с ReactJS приветствуется для фронтенд-задач.
• Понимание API-дизайна и продакшн-реализации.
• Знакомство с мониторингом и операционной поддержкой ПО.
• Способность рассуждать о полном жизненном цикле разработки.
• Сильные аналитические и проблемно-решающие навыки.
• Отличные письменные и устные коммуникационные навыки.
• Умение работать удалённо с исследовательскими и техническими командами.

Условия:

• Частичная занятость в качестве независимого подрядчика.
• Полностью удалённая работа.
• Минимальная загрузка: 10 часов в неделю.
• Гибкая загрузка до 40 часов в неделю.
• Требуется частичное пересечение с рабочими часами PST.
• Начальная длительность проекта около 1 месяца.
• Проект, как ожидается, начнётся на следующей неделе.
• Возможно продление в зависимости от результатов и соответствия проекту.
• Медицинские и оплачиваемые отпуска не предусмотрены.
• Работа должна выполняться без использования конфиденциального, проприетарного или защищённого кода, данных, архитектурных материалов или технической информации, принадлежащих любым работодателям, клиентам или третьим лицам.