Run your own local LLM with rate limits via API-keys
Article URL: https://github.com/skorotkiewicz/llm-rt Comments URL: https://news.ycombinator.com/item?id=48298553 Points: 1 # Comments: 0
GitHub
llm-rt
OpenAI
Ruby
skorotkiewicz
Évolution chronologique
-
Llm-rt : un prototype Ruby pour gérer les limites de débit d'un LLM local via des clés API
Un développeur a publié un prototype Ruby nommé llm-rt, un proxy compatible avec l'API d'OpenAI pour contrôler l'accès à un LLM local via des clés API et un système de seau à jeton...