能不能出一个docker镜像呢？

[FreemanZ]

如题，被本地显卡的显存溢出折磨的死去活来，希望能出一个deocker镜像，这样就能租用在线服务器来跑了，拜谢~

[CheshireCC]

这个可以考虑，但是如果你租用服务器的话，你不是可以直接部署 原版 whisper ？

[CheshireCC]

没有8GB 显存导致显存溢出的话，
建议更换量化方式，这对精度影响比较有限
当然使用小一点的模型也不是不可以，但是对识别精度影响比较大

[FreemanZ]

这个可以考虑，但是如果你租用服务器的话，你不是可以直接部署 原版 whisper ？

之前在AutoDL上试过原版的Whisper，写个简单的批处理py，数据传上去运行起来是很快，可他不带字幕对齐，主要是需要这个功能来着

哦吼，应该是带了VAD的，但是怎么使用呢（捂脸），我这只能看懂一点点的半吊子水平得好好琢磨下

[FreemanZ]

没有8GB 显存导致显存溢出的话， 建议更换量化方式，这对精度影响比较有限 当然使用小一点的模型也不是不可以，但是对识别精度影响比较大

单纯字幕识别到没有问题，同事笔记本都能跑，问题还是出在WhisperX字幕对齐上，经常遇到批处理跑着跑着突然卡在一个音频上，怎么调整参数就是过不去，观察显存占用就这么突然往上窜，然后爆显存，而且不回收，22G显存的魔改版2080Ti和20G显存的魔改版3080也都这样，目前已知4090没这个问题，不确定到底影响的点在哪里，白天再租个4070试试，
再不济2.8/小时租一台48G的A40，这总不能爆显存了；

F16和int8都试过，区别不大，症状基本相似“显存持续暴涨，显示【对齐已完成】但实际卡住了”；

我们使用下来只能用Large-v2或者v3，更小的模型在应对比较标准的普通话时还行，我们自己的实际情况上来看，识别错误相当严重，跑出来的字幕基本不能用。

[CheshireCC]

现存爆了可以尝试在 whisperx 对齐之前先卸载 fasterwhisper 模型，释放掉现存占用

[FreemanZ]

释放了，没啥用，现在用的4070tis照样爆。（捂脸

[CheshireCC]

释放了，没啥用，现在用的4070tis照样爆。（捂脸

实在不行就把模型量化换成 int8 吧，这样能省掉 好几倍 的显存占用Z😂

[neko7055]

或許可以出個網頁伺服器版本，就可以用 docker 包，用雲端架