---
title: "©BerriAI ¤litellm - 프록시 서버 LLM 게이트웨이 - 로컬 혼용"
url: "https://notes.junghanacs.com/bib/20250404T123502"
author: "Junghan Kim"
date: "2025-04-04T12:35:00+09:00"
lastmod: "2025-04-04T00:00:00+09:00"
tags: ["anthropic","bib","gateway","llmclient","openai","python"]
description: "LiteLLM은 여러 LLM API를 OpenAI 형식으로 통합해 주는 프록시 겸 SDK로 멀티모델 운용을 단순화한다."
---

> [!abstract] 이 노트에 대하여
> 
> 프로바이더마다 다른 인증과 호출 방식을 하나의 인터페이스로 감싸 개발과 운영 부담을 줄여 준다. 로컬 모델과 상용 API를 함께 다루는 환경에서 특히 효용이 크다.

## BIBLIOGRAPHY

- “Berriai/Litellm.” 2025. <https://github.com/BerriAI/litellm>.

## 히스토리

-   [2025-04-04 Fri 12:35] litellm은 무엇인가? 이미고가 핵심을 잘 가지고 가는구나

## Related-Notes

-   [@MatthewZMD 이맥스 고수](https://notes.junghanacs.com/bib/20250328T173123)
-   [†#지피텔](https://notes.junghanacs.com/meta/20250404T125106)

## BerriAI/litellm

([“Berriai/Litellm” 2025](https://notes.junghanacs.com/bib/20250404T123502#citeproc_bib_item_1))

Python SDK, Proxy Server (LLM Gateway) to call 100+ LLM APIs in OpenAI format - [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, Replicate, Groq]

## 로그

### [|2025-06-27 Fri 12:13|](https://notes.junghanacs.com/journal/20250623T000000#h-2025-06-27)

#### @user litellm의 비지니스 모델이 있는가?

@assistant 네, litellm 비즈니스 모델은 여러 LLM API에 대한 단일 접점을 제공하는 프록시 서버 및 Python SDK를 통해 수수료를 받는 것입니다.

#### @user 사용자에게 과금을 받지 않는 것 같은데?

@assistant 제공된 정보만으로는 litellm이 사용자에게 직접 과금하는지 여부를 확실히 알 수 없습니다. 추가 정보가 필요합니다.

#### @user

## 설치 방법

[2025-08-03 Sun 10:53]

그냥 pipx 로 설치한다. 복잡하다.

```shell
pipx reinstall litellm
```