Senior Software Engineer – LLM Evaluation

Part-time consulting opportunity for experienced Senior Software Engineers to contribute to advanced large language model evaluation, coding benchmark development, and AI-assisted software-engineering research.

Задачи:

• Курировать и оценивать код, разрабатывать механизмы верификации, оценивать AI-сгенерированное ПО на разных языках программирования.
• Помогать исследователям понимать, где продвинутые модели преуспевают или терпят неудачу на протяжении жизненного цикла разработки ПО.
• Курировать высококачественные примеры кода для обучения и бенчмаркинга моделей.
• Разрабатывать точные эталонные решения для задач программной инженерии.
• Исправлять и улучшать код на нескольких языках программирования.
• Работать с Python, JavaScript, ReactJS, C/C++, Java, Rust и Go.
• Поддерживать высокие стандарты корректности, ясности и поддерживаемости.
• Оценивать AI-сгенерированный код на техническую корректность.
• Оценивать решения на эффективность, масштабируемость и надёжность.
• Выявлять слабые места реализации и повторяющиеся паттерны ошибок.
• Проверять качество кода на соответствие профессиональным инженерным стандартам.
• Предоставлять структурированные обоснования, поддерживающие решения по оценке.
• Проектировать механизмы, автоматически проверяющие решения задач программной инженерии.
• Создавать агентов, способных оценивать качество кода.
• Разрабатывать подходы для выявления общих паттернов отказов моделей.
• Создавать детерминированные или структурированные проверки, где это уместно.
• Поддерживать надёжную оценку при повторяющихся задачах кодирования.
• Оценивать возможности моделей на протяжении жизненного цикла разработки ПО.
• Оценивать рассуждения о прототипировании и проектировании архитектуры.
• Проверять дизайн API и решения по производственной реализации.
• Оценивать сценарии запуска, экспериментирования, мониторинга и эксплуатации.
• Выявлять, где модели испытывают трудности с реальными инженерными рабочими процессами.
• Сотрудничать с исследователями и кросс-функциональными техническими командами.
• Вносить вклад в наборы данных, используемые для обучения и бенчмаркинга.
• Помогать определять стратегии инженерной оценки и стандарты качества.
• Сравнивать производительность моделей с профессиональными инженерными ожиданиями.
• Поддерживать итеративные улучшения систем оценки, ориентированных на кодирование.

Требования:

• Несколько лет профессионального опыта в разработке ПО.
• Как минимум 2 года непрерывного полного рабочего дня в топовой продуктовой компании.
• Сильные навыки full-stack разработки.
• Опыт создания масштабируемого ПО производственного уровня.
• Глубокое понимание архитектуры ПО и проектирования систем.
• Сильные знания отладки и оценки качества кода.
• Опыт проверки и улучшения сложного производственного кода.
• Владение одним или несколькими из: Python, JavaScript, C/C++, Java, Rust или Go.
• Опыт с ReactJS ценен для фронтенд-ориентированных заданий.
• Сильное понимание дизайна API и производственной реализации.
• Знакомство с мониторингом ПО и операционным обслуживанием.
• Способность рассуждать на протяжении всего жизненного цикла разработки ПО.
• Сильные аналитические способности и навыки решения проблем.
• Отличные навыки письменной и устной коммуникации.
• Способность создавать чёткие и структурированные обоснования оценок.
• Комфортная работа с исследовательскими и техническими командами в удалённой среде.

Условия:

• Part-time независимый контракт.
• Полностью удалённо.
• Минимальная загрузка: 10 часов в неделю.
• Гибкая нагрузка до 40 часов в неделю.
• Требуется частичное пересечение с рабочими часами PST.
• Начальная продолжительность проекта примерно 1 месяц.
• Проект, как ожидается, начнётся на следующей неделе.
• Возможно продление в зависимости от производительности и соответствия проекту.
• Медицинские или оплачиваемые отпускные льготы не включены в контрактную договорённость.
• Работа будет включать оценку кодирования, разработку бенчмарков, системы верификации и исследования в области программной инженерии.
• Задания могут охватывать Python, JavaScript, ReactJS, C/C++, Java, Rust, Go и связанные технологии.
• Работа должна выполняться без использования конфиденциального, проприетарного, невыпущенного, ограниченного работодателем, клиентом или иным образом защищённого кода, наборов данных, архитектурных материалов или технической информации, принадлежащей любому работодателю, клиенту, учреждению или другой третьей стороне.