Docker启动量化模型的GPU模式

[jasonheyh]

Docker启动GPU推理模式，可以使用INT4量化后的模型吗，启动好像出错了。

[jasonheyh]

看到在TGI启动的时候，可以加这个参数，但是运行直接就出错了。能帮验证一下吗。

出错信息：

[ZZR0]

你好，当前TGI还不支持CodeShell模型的量化部署。