فهرست شکلها …………………………………………………………………………………………………………………………………………………………………………………..ج
فهرست جداول ………………………………………………………………………………………………………………………………………………………………………………ذ
واژه نامه …………………………………………………………………………………………………………………………………………………………………………………………ز
فهرست اختصارات ………………………………………………………………………………………………………………………………………………………………………..ش
فصل1- مقدمهای بر جداسازی سیگنال صحبت… 1
1-1- مسائل پیش روی جداسازی صحبت.. 2
1-2- آنالیز ترکیب شنیداری محاسباتی (CASA) 4
1-3- ویژگیها 5
1-4- ساختار پایاننامه. 6
فصل2- پیشینه سیستمهای جداکننده صحبت… 7
2-1- مقدمه 8
2-2- جداسازی دوگوشی سیگنال…………………………………………………………………………………………………………………………………………………………………………………….9
2-2-1- اختلاف زمانی درونگوشی.. 11
2-2-2- اختلاف سطح درونگوشی.. 13
2-2-3- ماسک زمان- فرکانس…. 14
2-3- جداسازی با استفاده از مدل کردن زاویه مکان گوینده 15
2-3-1- مکانیابی.. 17
2-3-2- تبدیل سیگنال تکگوشی به دوگوشی.. 18
2-3-3- بافت نگاشت زاویه سمت… 19
2-3-4- تعامد مجزای پنجره شده (WDO) 19
2-3-5- مدل گوسی مخلوط.. 20
2-3-6- هموارسازی بافتنگاشت… 21
2-3-7- تخمین پارامترهای گوسی با الگوریتم EM… 22
2-3-8- تخمین ماسک و جداسازی.. 24
2-4- جداسازی به روش DUET. 26
2-4-1- فرضیات روش DUET.. 28
2-4-1-1- ترکیب بدون پژواک… 28
2-4-1-2- تعامد مجزای پنجرهشده (W-DO) 28
2-4-2- مشاهدات اصلی.. 30
2-4-3- بافتنگاشت وزندار هموارشده دو بعدی.. 32
2-4-4- جداسازی منابع.. 35
2-5- جداسازی دو گوشی مبتنی بر مدل کردن پارامترهای درونگوشی (MESSL) 37
2-5-1- تخمین پارامترهای مدل.. 41
2-5-2- تخمین ماسک جداسازی.. 44
2-5-3- نتایج مربوط به جداسازی.. 44
فصل3- روشهای پیشنهادی جهت بهبود کیفیت سیگنال گفتار جداشده 49
3-1- مقدمه……………….………………………………………………………………………………… 50
3-2- بهبود کیفیت سیگنال هدف جداشده در شرایط بدون پژواک.. 50
3-2-1- حذف نویز بر اساس تبدیل موجک…. 51
3-2-2- حذف نویز به روش MMSE.. 54
3-3- بهبود کیفیت سیگنال هدف جداشده در شرایط پژواک.. 57
3-3-1- ماسک تابع انسجام. 57
3-3-2- هموارسازی.. 63
3-3-2-1- تخمین پارامتر هموارسازی.. 65
3-3-2-2- هموارسازی دادههای با فواصل یکسان.. 66
3-3-2-3- هموارسازی چندبعدی.. 69
3-3-2-4- هموارسازی دادههای ILD.. 70
فصل4- نتایج و شبیهسازیها 72
4-1- مقدمه 73
4-2-آزمایشهای مربوط به جداسازی سیگنال صحبت… 73
4-2-1- پایگاه داده. 74
4-2-2- معیار ارزیابی.. 76
4-2-3- پارامتر حالت… 78
4-3- ارزیابی سیستم جداسازی سیگنال صحبت پیشنهادی در شرایط بدون پژواک.. 80
4-3-1- حالت دومنبعی.. ..108
4-3-2- حالت سهمنبعی 105
4-4- ارزیابی سیستم جداسازی سیگنال صحبت پیشنهادی در شرایط باپژواک………………………………………………………………..108
4-5- بررسی عملکرد الگوریتم در زمان پژواکهای متفاوت…………………………………………………………….139
4-6- نتیجهگیری 144
4-7- روشهای پیشنهادی برای بهبود عملکرد سیستم جداکننده صحبت… 145
فهرست شکلها و نمودارها
شکل (2-1): مختصات قطبی مکان منبع |
11 |
||
شکل (2-2): مختصات نسبی منبع صوتی و سر |
12 |
||
شکل (2-3): بلوک دیاگرام روش جداسازی با استفاده از مدل کردن مکان گوینده |
16 |
||
شکل (2-4): تبدیل سیگنال از حالت تکگوشی به دوگوشی |
19 |
||
شکل (2-5): مکانیابی برای چهار منبع: بافتنگاشت |
22 |
||
شکل (2-6): بلوک دیاگرام روش DUET |
27 |
||
شکل (2-7): بلوک دیاگرام روش MESSL |
39 |
||
شکل (2-8): نمودار زمانی سیگنالهای مورد آزمایش |
45 |
||
شکل (2-9): نمودار زمان- فرکانس ماسک جداکننده سیگنال منبع هدف |
45 |
||
شکل (2-10): نمودار زمانی سیگنالهای مورد آزمایش |
46 |
||
شکل (2-11): نمودار زمان- فرکانس ماسک جداکننده سیگنال منبع اخلال …. |
47 |
||
شکل (3-1): بلوک دیاگرام سیستم جداکننده صحبت در شرایط بدون پژواک. |
50 |
||
شکل (3-2): نمونهای از همبستگی متقابل |
59 |
||
شکل (3-3): نمونهای از همبستگی متقابل دارای چندین نقطه اوج |
60 |
||
شکل (3-4): بلوک دیاگرام سیستم جداکننده صحبت در شرایط پژواک |
70 |
||
شکل (4-1): مختصات اتاق مورد آزمایش برای پاسخ ضربههای …. |
73 |
||
شکل (4-2): نمودار زمان- فرکانس IPD سیگنال هدف قبل از ترکیب با سیگنال اخلال…… |
78 |
||
شکل (4-3): نمودار زمان- فرکانس IPD سیگنال هدف جداشده توسط سیستم جداکننده صحبت دو گوشی |
79 |
||
شکل (4-4): نمودار زمان- فرکانس IPD سیگنال هدف بدستآمده توسط سیستم پیشنهادی بهبود کیفیت گفتار…. |
80 |
||
شکل (4-5): نمودار زمان- فرکانس ILD سیگنال هدف قبل از ترکیب با سیگنال اخلال…… |
81 |
||
شکل (4-6): نمودار زمان- فرکانس ILD سیگنال هدف جداشده توسط سیستم جداکننده صحبت دو گوشی |
82 |
||
شکل (4-7): نمودار زمان- فرکانس ILD سیگنال هدف بدستآمده توسط سیستم پیشنهادی بهبود کیفیت گفتار…. |
83 |
||
شکل (4-8): نمودار SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) |
85 |
||
شکل (4-9): نمودار SDR پس از اعمال سیستم بهبودی کیفیت گفتار پیشنهادی |
87 |
||
شکل (4-10): نمودار SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) و سیستم پیشنهادی جهت بهبود کیفیت گفتار دو منبع صوتی برای پارامتر حالت . |
88 |
||
شکل (4-11): نمودار SIR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) |
91 |
||
شکل (4-12): نمودار SDR پس از اعمال سیستم بهبودی کیفیت گفتار پیشنهادی |
92 |
||
شکل (4-13): نمودار SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) و سیستم پیشنهادی جهت بهبود کیفیت گفتار دو منبع صوتی برای پارامتر حالت . |
93 |
||
شکل (4-14): نمودار SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) |
97 |
||
شکل (4-15): نمودار SDR پس از اعمال سیستم بهبودی کیفیت گفتار پیشنهادی |
98 |
||
شکل (4-16): نمودار SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) و سیستم پیشنهادی جهت بهبود کیفیت گفتار دو منبع صوتی برای پارامتر حالت . |
99 |
||
شکل (4-17): نمودار SIR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) |
102 |
||
شکل (4-18): نمودار SIR پس از اعمال سیستم بهبودی کیفیت گفتار پیشنهادی |
103 |
||
شکل (4-19): نمودار SIR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) و سیستم پیشنهادی جهت بهبود کیفیت گفتار دو منبع صوتی برای پارامتر حالت .. |
104 |
||
شکل (4-20): نمودار زمان- فرکانس IPD سیگنال هدف قبل از ترکیب با سیگنال اخلال در شرایط پژواک…… |
106 |
||
شکل (4-21): نمودار زمان- فرکانس IPD سیگنال هدف جداشده توسط سیستم جداکننده صحبت دو گوشی |
107 |
||
شکل (4-22): نمودار زمان- فرکانس IPD سیگنال هدف بدستآمده توسط سیستم پیشنهادی بهبود کیفیت گفتار…. |
107 |
||
شکل (4-23): نمودار زمان- فرکانس ILD سیگنال هدف قبل از ترکیب با سیگنال اخلال…… |
108 |
||
شکل (4-24): نمودار زمان- فرکانس ILD سیگنال هدف جداشده توسط سیستم جداکننده صحبت دو گوشی |
107 |
||
شکل (4-25): نمودار زمان- فرکانس ILD سیگنال هدف بدستآمده توسط سیستم پیشنهادی بهبود کیفیت گفتار…. |
110 |
||
شکل (4-26): نمودار SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) |
112 |
||
شکل (4-27): نمودار SDR پس از اعمال الگوریتم پیشنهادی در شرایط پژواک…. |
114 |
||
شکل (4-28): نمودار SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) و الگوریتم پیشنهادی جهت بهبود کیفیت گفتار دو منبع صوتی برای پارامتر حالت . |
115 |
||
شکل (4-29): نمودار SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) و سیستم پیشنهادی جهت بهبود کیفیت گفتار دو منبع صوتی برای پارامتر حالت . |
116 |
||
شکل (4-30): نمودار SIR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) |
118 |
||
شکل (4-31): نمودار SIR پس از اعمال الگوریتم پیشنهادی در شرایط پژواک…. |
120 |
||
شکل (4-32): نمودار SIR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) و الگوریتم پیشنهادی جهت بهبود کیفیت گفتار دو منبع صوتی برای پارامتر حالت . |
121 |
||
شکل (4-33): نمودار SIR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) و الگوریتم پیشنهادی جهت بهبود کیفیت گفتار دو منبع صوتی برای پارامتر حالت . |
122 |
||
شکل (4-34): نمودار SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL)برای سه منبع صوتی….. |
124 |
||
شکل (4-35): نمودار SDR پس از اعمال الگوریتم پیشنهادی در شرایط پژواک…. |
125 |
||
شکل (4-36): نمودار SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) و الگوریتم پیشنهادی جهت بهبود کیفیت گفتار سه منبع صوتی برای پارامتر حالت . |
127 |
||
شکل (4-37): نمودار SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) و سیستم پیشنهادی جهت بهبود کیفیت گفتار سه منبع صوتی برای پارامتر حالت . |
128 |
||
شکل (4-38): نمودار SIR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) |
130 |
||
شکل (4-39): نمودار SIR پس از اعمال الگوریتم پیشنهادی در شرایط پژواک…. |
132 |
||
شکل (4-40): نمودار SIR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) و الگوریتم پیشنهادی جهت بهبود کیفیت گفتار سه منبع صوتی برای پارامتر حالت . |
134 |
||
شکل (4-41): نمودار SIR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) و الگوریتم پیشنهادی جهت بهبود کیفیت گفتار سه منبع صوتی برای پارامتر حالت .. |
134 |
||
شکل (4-42): مقایسه بین مقادیر SDR حالت دو منبعی برای پارامتر حالت …. |
137 |
||
شکل (4-43): مقایسه بین مقادیر SDR حالت سه منبعی برای پارامتر حالت …. |
138 |
||
شکل (4-44): مقایسه بین مقادیر SIR حالت دو منبعی برای پارامتر حالت …. |
139 |
||
شکل (4-45): مقایسه بین مقادیر SIR حالت سه منبعی برای پارامتر حالت … |
140 |
||
فهرست جداول
جدول (4-1): موقعیت قرارگیری سر شنونده در کلاس مورد آزمایش |
74 |
||
جدول (4-2): میانگین و واریانس IPD و ILD به ازای پارامترهای مختلف حالت [22]. |
77 |
||
جدول (4-3): نتایج SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) برای دو منبع صوتی |
81 |
||
جدول (4-4): نتایج SDR پس از اعمال سیستم بهبودی کیفیت گفتار پیشنهادی برای دو منبع صوتی … |
83 |
||
جدول (4-5): نتایج SIR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) برای دو منبع صوتی |
86 |
||
جدول (4-6): نتایج SIR پس از اعمال سیستم بهبودی کیفیت گفتار پیشنهادی برای دو منبع صوتی … |
87 |
||
جدول (4-7): نتایج PESQ مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) و سیستم پیشنهادی بهبود کیفیت گفتار برای دو منبع صوتی |
91 |
||
جدول (4-8): نتایج SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) برای سه منبع صوتی |
92 |
||
جدول (4-9): نتایج SDR پس از اعمال سیستم بهبودی کیفیت گفتار پیشنهادی برای سه منبع صوتی … |
93 |
||
جدول (4-10): نتایج SIR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) برای سه منبع صوتی |
97 |
||
جدول (4-11): نتایج SIR پس از اعمال سیستم بهبودی کیفیت گفتار پیشنهادی برای سه منبع صوتی … |
98 |
||
جدول (4-12): نتایج PESQ مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) و سیستم پیشنهادی بهبود کیفیت گفتار برای سه منبع صوتی |
102 |
||
جدول (4-13): نتایج SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) برای دو منبع صوتی در شرایط پژواک…. |
108 |
||
جدول (4-14): نتایج SDR مربوط به سیستم جداکننده صحبت دوگوشی پس از اعمال الگوریتم پیشنهادی در شرایط پژواک و حالت دو منبعی… |
110 |
||
جدول (4-15): نتایج SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) برای دو منبع صوتی در شرایط پژواک…. |
114 |
||
جدول (4-16): نتایج SIR پس از اعمال الگوریتم پیشنهادی کیفیت گفتار پیشنهادی برای دو منبع صوتی … |
116 |
||
جدول (4-17): نتایج PESQ مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) و الگوریتم پیشنهادی برای دو منبع و پارامتر حالت . |
119 |
||
جدول (4-18): نتایج SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) برای سه منبع صوتی در شرایط پژواک…. |
120 |
||
جدول (4-19): نتایج SDR مربوط به سیستم جداکننده صحبت دوگوشی پس از اعمال الگوریتم پیشنهادی در شرایط پژواک و حالت سه منبعی… |
122 |
||
جدول (4-20): نتایج SDR مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) برای سه منبع صوتی در شرایط پژواک…. |
126 |
||
جدول (4-21): نتایج SIR پس از اعمال الگوریتم پیشنهادی کیفیت گفتار پیشنهادی برای سه منبع صوتی … |
128 |
||
جدول (4-22): نتایج PESQ مربوط به سیستم جداکننده صحبت دوگوشی (MESSL) و الگوریتم پیشنهادی برای سه منبع و پارامتر حالت . |
132 |
||
جدول (4-23): نتایج PESQ مربوط به سیستم MESSL و الگوریتم پیشنهادی برای حالت دو منبعی و زمان پژواکهای 565، 581 و 585 میلیثانیه…. |
137 |
||
جدول (4-24): نتایج PESQ مربوط به سیستم MESSL و الگوریتم پیشنهادی برای حالت سه منبعی و زمان پژواکهای 565، 581 و 585 میلیثانیه…. |
137 |
||
واژه نامه
آنالیز ترکیب شنیداری |
ASA |
تشخیص خودکار صحبت |
ASR |
جداسازی کور صحبت |
BSS |
آنالیز ترکیب شنیداری محاسباتی |
CASA |
مسیر رسیدن |
DOA |
روش تخمین جداسازی تباهیده |
DUET |
حداکثرسازی امید ریاضی |
EM |
تبدیل فوریه سریع |
FFT |
مدل مخلوط گوسی |
GMM |
پاسخ ضربه مربوط به سر |
HRIR |
تابع تبدیل مربوط به سر |
HRTF |
تحلیل مولفه مستقل |
ICA |
تابع انسجام درونگوشی |
ICF |
مدل مخلوط گوسی بینهایت |
IGMM |
اختلاف سطح درونگوشی |
ILD |
اختلاف فاز درونگوشی |
IPD |
اختلاف زمانی درونگوشی |
ITD |
احتمال بیشینه |
ML |
جداسازی و مکانیابی مبتنی بر مدل با استفاده از حداکثرسازی امید ریاضی ماکزیمم |
MESSL |
حداقل میانگین مربعات خطا |
MMSE |
تابع چگالی احتمال |
|
امتیاز میانگین نظر |
MOS |
ارزیابی ادراکی کیفیت سیگنال |
PESQ |
رگرسیون حداقل مربعات جریمه شده |
PLSR |
مجذور میانگین مربعات |
RMS |
مجموع مربعات باقیمانده |
RSS |
نسبت سیگنال به اغتشاش |
SDR |
نسبت سیگنال به اخلال |
SIR |
تبدیل فوریه زمان-کوتاه |
STFT |
تشخیص فعالیت صحبت |
VAD |
تعامد مجزای پنجرهشده |
WDO |