首先创建一个目录，
在目录下创建一个config.yaml文件
model_list:-model_name:gpt-4olitellm_params:model:openai/gpt-4oapi_key:os.environ/OPENAI_API_KEY-model_name:claude-3-5-sonnetlitellm_params:model:anthropic/claude-3-5-sonnetapi_key:os.environ/ANTHROPIC_API_KEYgeneral_settings:# 必须配置数据库以启用管理后台database_url:os.environ/DATABASE_URL# 管理员访问后台以及生成其他密钥的根密钥（必须以 sk- 开头）master_key:sk-admin-master-key-123456# 推荐开启：允许通过网关 UI 或 API 动态向数据库添加模型proxy_batch_write_at_least_every_x_seconds:5在同目录下创建一个docker-compose.yaml
services:litellm:image:litellm/litellm:main-stablecontainer_name:litellm-proxyports:-"4000:4000"volumes:-./config.yaml:/app/config.yamlenvironment:# 数据库连接串，格式：postgresql://用户名:密码@服务名:端口/数据库名-DATABASE_URL=postgresql://litellm_user:secure_password_99@db:5432/litellm_db# 上游模型真实的 API 密钥-OPENAI_API_KEY=sk-w34qXTFaDk91mYuv7oyOAhRE7XOuWJZ1KDJH2FKYLu1ado1J-ANTHROPIC_API_KEY=sk-w34qXTFaDk91mYuv7oyOAhRE7XOuWJZ1KDJH2FKYLu1ado1J-STORE_MODEL_IN_DB=Truedepends_on:db:condition:service_healthycommand:["--config","/app/config.yaml","--port","4000"]restart:alwaysdb:image:postgres:16-alpinecontainer_name:litellm-dbports:-"5432:5432"# 如果不需要在外部直连数据库，可以删掉这行端口映射environment:-POSTGRES_USER=litellm_user-POSTGRES_PASSWORD=secure_password_99-POSTGRES_DB=litellm_dbvolumes:-pgdata:/var/lib/postgresql/datahealthcheck:test:["CMD-SHELL","pg_isready -U litellm_user -d litellm_db"]interval:5stimeout:5sretries:5restart:alwaysvolumes:pgdata:启动
dockercompose up-d访问后台管理系统: http://服务器ip:4000/ui
检查健康状态 http://服务器ip:4000/health