Near AI AI-компанииОпубликована 7 дней назад · отклик: dailyremote.com
LLM Inference Engineer (ML, AI-инфраструктура)
ЗарплатаПо договорённости
ФорматУдалённо
ЛокацияSan Francisco, Не указана
Локации: Сан-Франциско или удалённо.
О роли
Команда NEAR AI строит децентрализованную и конфиденциальную инфраструктуру машинного обучения для пользовательского AI. Миссия — создание масштабируемой и эффективной инфраструктуры для open-source AI в глобальном масштабе. Ищут эксперта в области высокопроизводительных систем обслуживания LLM и оптимизации инференса. В этой роли вы будете расширять границы того, как обслуживаются большие языковые модели.
Задачи
- Проектировать и поддерживать production-системы обслуживания LLM с высоким трафиком.
- Оптимизировать пропускную способность, задержку и стоимость для ведущих open-source LLM.
Требования
- Сильный практический опыт в инференсе LLM, экспертиза в отладке и оптимизации основных движков инференса, таких как SGLang, vLLM или TensorRT.
- Глубокое знание современных архитектур GPU и умение эффективно их использовать с помощью PyTorch, Triton, CuTe, CUDA и т.п.
- Подтверждённый опыт проектирования и поддержки end-to-end систем обслуживания LLM с высоким трафиком.
- Сильные навыки решения проблем и умение ясно доносить технические идеи.
Будет плюсом
- Опыт работы с Trusted Execution Environments (TEE).
- Активное участие в open-source движках инференса LLM.
Инструменты в вакансии
Навыки и технологии
Направления