无法在多GPU环境下在指定GPU上启动3个及以上数量的副本

[epic1219]

System Info / 系統信息

Ubuntu 22.04.5 LTS

Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？

• docker / docker
• pip install / 通过 pip install 安装
• installation from source / 从源码安装

Version info / 版本信息

xprobe/xinference:v1.0.1
sha256:5934a612a67108569a576ec1546e1d6ad17e510bd5624b95eaebb981400fd12f

The command used to start Xinference / 用以启动 xinference 的命令

docker run -e XINFERENCE_MODEL_SRC=huggingface -e HF_ENDPOINT=https://hf-mirror.com -p 9997:9997 --gpus all xprobe/xinference:v1.0.1 xinference-local --host 0.0.0.0 --port 9997

Reproduction / 复现过程

1. 启动镜像并进入容器
2. xinference launch -n bge-large-zh-v1.5 -t embedding -r 3 --n-gpu 1 --gpu-idx 0,0,0 -u bge-large-zh-v1.5
3. 报错：RuntimeError: Failed to launch model, detail: [address=0.0.0.0:33372, pid=53129] Model not found in the model list, uid: bge-large-zh-v1.5-2
4. 初步排查原因在于函数 allocate_devices_with_gpu_idx (xinference/core/worker.py:L466) 判断所选GPU设备上是否部署有vllm模型时调用了 supervisor 的 get_model 函数导致

Expected behavior / 期待表现

正常启动模型实例

[qinxuye]

gpu idx 和 replica 配合可能支持的不太好，如果有修复也可以提交 PR。

[github-actions]

This issue is stale because it has been open for 7 days with no activity.