معرضوظائف

Inference Engineer

Adaption
حضوريهندسة
الموقع
الولايات المتحدة
نوع العمل
حضوري
الراتب
غير مذكور في الإعلان
نُشرت
قبل شهر واحد
المصدر
jobs.ashbyhq.com
لغة الإعلان الأصلي
الإنجليزية

من الإعلان الأصلي

San Francisco THE ROLE You'll own the cost and performance of our inference stack. Your work will determine how efficiently we serve models as workloads, traffic, and hardware change. You'll work closely with the engineers operating the serving fleet while owning the core performance levers: caching, batching, quantization, decoding, and kernel-level optimization. Success means improving throughput and latency without compromising reliability or model quality. RESPONSIBILITIES - Improve throughput, cost, and tail latency through KV-cache management, continuous batching, speculative decoding,…

مقتطف من نص الإعلان الأصلي (الإنجليزية). التفاصيل الكاملة عند صاحب العمل.

معرض وظائف لا يوظّف ولا يمثّل صاحب العمل. تفاصيل الإعلان الأصلي هي المرجع.

وظائف مشابهة