LLMOps Engineer

ลักษณะงาน

รับผิดชอบการนำโมเดลภาษาของลูกค้าขึ้นใช้งานจริงบน GPU ของบริษัทหรือของลูกค้า ออกแบบ serving stack ให้มีประสิทธิภาพ เสถียร และควบคุมต้นทุนได้ รวมถึงดูแลระบบหลังเปิดใช้งาน

หน้าที่และความรับผิดชอบ

• Deploy โมเดล open-weight บน vLLM, TensorRT-LLM หรือ Triton
• ปรับแต่ง batching, quantization และ caching ให้ได้ latency และ throughput ตามเป้าหมาย
• พัฒนา pipeline สำหรับ RAG, evaluation และการปล่อยโมเดลเวอร์ชันใหม่
• ติดตั้ง API gateway พร้อม authentication, rate limiting และ usage tracking
• จัดทำ observability ครอบคลุม latency, error, token usage และต้นทุนต่อ request
• วางแผน capacity ร่วมกับทีม GPU Infrastructure

คุณสมบัติผู้สมัคร

• มีประสบการณ์ด้าน DevOps, Platform Engineering หรือ MLOps อย่างน้อย 3 ปี
• มีความชำนาญ Kubernetes, Helm และ container
• มีทักษะ Python ในระดับดีและสามารถอ่านโค้ดของ inference server ได้
• มีประสบการณ์ deploy LLM หรือโมเดล deep learning ขึ้น production
• มีประสบการณ์ใช้งาน Prometheus, Grafana หรือ OpenTelemetry

คุณสมบัติที่จะได้รับการพิจารณาเป็นพิเศษ

• มีความเข้าใจ KV cache, speculative decoding หรือ tensor parallelism
• มีประสบการณ์ใช้งาน vector database เช่น Milvus, Qdrant หรือ pgvector
• มีผลงาน open source ด้าน LLM tooling

เครื่องมือและเทคโนโลยี

• Kubernetes
• Helm
• vLLM
• TensorRT-LLM
• Triton
• Python
• Prometheus
• OpenTelemetry