llm-cost-optimization
Limitation de debit et controle des couts des API LLM : gerez les budgets de tokens, le throttling par cle et les tableaux de bord de couts
Empêchez les couts des API LLM de s'envoler. Un guide pratique pour la limitation de debit, les budgets de tokens par utilisateur, le cache a correspondance exacte et les tableaux de bord de couts avec un proxy open-source deployable.