Senior LLM-инженер / AI Evaluation

Vraify ищет опытных LLM Engineering Experts для создания и проверки сложных инженерных задач на основе симуляций, предназначенных для оценки продвинутых AI-агентов. Это удалённая контракторская позиция, доступная только кандидатам, проживающим в США или Канаде.

Задачи

• Разрабатывать оригинальные самодостаточные инженерные задачи с конкурирующими ограничениями, явными целями оптимизации, проверенными эталонными решениями и объективными автогрейдерами.
• Создавать, запускать и валидировать среды задач с использованием открытых симуляционных инструментов и собственных тестовых стендов на Python.
• Оценивать результаты кодирующих агентов и логи выполнения в повторных испытаниях для выявления системных режимов отказа.
• Уточнять сложность задач на основе эмпирических данных о производительности моделей, не внося двусмысленности или недостающей информации.
• Сотрудничать с AI-исследователями, руководителями подразделений и экспертами предметной области для интеграции строгих бенчмарков в конвейер оценки моделей.

Требования

• Степень магистра или PhD в области электротехники, машиностроения, аэрокосмической инженерии или смежной области.
• 8+ лет практического опыта инженерного проектирования.
• Владение хотя бы одним релевантным открытым симуляционным пакетом, например ngspice, PySpice, OpenFOAM, FEniCSx, CalculiX, python-control, CadQuery, build123d, OpenModelica, Cantera или Gmsh.
• Уверенные навыки скриптинга на Python.
• Практический опыт работы с современными LLM или кодирующими агентами и концепциями оценки, такими как pass@k, анализ режимов отказа и недетерминированное поведение.
• Умение анализировать логи траекторий и выявлять основные ошибки рассуждений или использования инструментов.
• Внимание к физической правдоподобности, согласованности единиц измерения, граничным условиям, критериям сходимости и технической документации.
• Стабильный высокоскоростной интернет и личный настольный компьютер или ноутбук, подходящий для удалённой работы.

Условия

• Удалённая контракторская работа продолжительностью до 24 недель, начало немедленное.
• Ожидаемая занятость: 40 часов в неделю с пересечением не менее 4 часов с тихоокеанским временем.
• Требуется доступность для on-call в выходные; возможна частичная занятость.
• Оплата: 500 USD за выполненную задачу; ожидаемое время на задачу — примерно 30–40 часов.
• Кандидаты, прошедшие отбор, выполнят процесс калибровки и проверки выполнения.
• Доступные локации: только США и Канада.