Sujet: "llm-serving"
France-Travail/happy_vllm
A REST API for vLLM, production ready
langage: Python - taille: 859 ko - dernière synchronisation: il y a 7 jours - enregistré: il y a 13 jours - étoiles: 23 - forks: 2
France-Travail/benchmark_llm_serving
A library to benchmark LLMs via their API exposure
langage: Python - taille: 8,04 Mo - dernière synchronisation: il y a 7 jours - enregistré: il y a 2 mois - étoiles: 7 - forks: 0
Sujets associés