이 노트에 대하여
프로바이더마다 다른 인증과 호출 방식을 하나의 인터페이스로 감싸 개발과 운영 부담을 줄여 준다. 로컬 모델과 상용 API를 함께 다루는 환경에서 특히 효용이 크다.
BIBLIOGRAPHY
“Berriai/Litellm.” 2025. https://github.com/BerriAI/litellm.
History
- litellm은 무엇인가? 이미고가 핵심을 잘 가지고 가는구나
Related-Notes
BerriAI/litellm
Python SDK, Proxy Server (LLM Gateway) to call 100+ LLM APIs in OpenAI format - [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, Replicate, Groq]
로그
|2025-06-27 Fri 12:13|
@user litellm의 비지니스 모델이 있는가?
@assistant 네, litellm 비즈니스 모델은 여러 LLM API에 대한 단일 접점을 제공하는 프록시 서버 및 Python SDK를 통해 수수료를 받는 것입니다.
@user 사용자에게 과금을 받지 않는 것 같은데?
@assistant 제공된 정보만으로는 litellm이 사용자에게 직접 과금하는지 여부를 확실히 알 수 없습니다. 추가 정보가 필요합니다.
@user
설치 방법
그냥 pipx 로 설치한다. 복잡하다.
pipx reinstall litellm
Comments