GitHub topics: llm-serving
InseeFrLab/auto-tuning-vllm
Auto-tuning for vllm. Getting the best performance out of your LLM deployment (vllm+guidellm+optuna)
langage: Python - taille: 2,99 Mo - dernière synchronisation: il y a 4 jours - enregistré: il y a 14 jours - étoiles: 6 - forks: 0
France-Travail/happy_vllm
A REST API for vLLM, production ready
langage: Python - taille: 857 ko - dernière synchronisation: il y a 5 jours - enregistré: il y a 11 mois - étoiles: 29 - forks: 5
France-Travail/benchmark_llm_serving
A library to benchmark LLMs via their API exposure
langage: Python - taille: 8,04 Mo - dernière synchronisation: il y a 5 jours - enregistré: il y a plus d'un an - étoiles: 8 - forks: 1