%36تخفیف

دانلود پروژه: ¬¬¬ ارائه یک روش هوشمند بمنظور یافتن ارتباط تصاویر و تولید تصاویر با زاويه ديد وسيع با استفاده از هوش محاسباتی

تعداد 125صفحه در فایل word

کارشناسی ارشد در رشته­ی مهندسی کامپیوتر گرایش هوش مصنوعی

                                                

­­­ ارائه یک روش هوشمند بمنظور یافتن ارتباط تصاویر و تولید تصاویر با زاويه ديد وسيع با استفاده از هوش محاسباتی

چكيده:

تولید تصاویر با زاویه دید وسیع یکی از پرکاربردترین شاخه­های علم بینایی ماشین محسوب می­شود.تصویر با زاویه دید وسیع به تصویری یکپارچه از یک محیط گفته می­شود که با کنار هم قرار دادن تصاویر گرفته شده از آن محیط که دارای ناحیه همپوشانی هستند بدست می­آید.زاویه دید پایین دوربین­ها می­تواند دلیلی باشد برای تولید تصاویر با زاویه دید وسیع زیرادر بسیاری از موارد نیاز است تا تصویری با زاویه دید بزرگ از یک محیط داشته باشیم. این تصاویر لزوماٌ دارای روشنایی یکسان نیستند، یا در یک زمان مشخص و از یک زاویه دید مشخص گرفته نشده­اند.تولید تصاویر با زاویه دید وسیع از دو قسمت اصلی تشکیل شده است.1- همتراز سازی: در این قسمت ابتدا باید ناحیه مشترک بین تصاویر مشخص شود و پارامترهای ماتریس انتقال از یک تصویر به تصویر دیگر محاسبه شود. برای انجا این کار دو روش کلی وجود دارد.همترازسازی مبتنی بر نقاط: در این روش از اطلاعات تمام پیکسل­ها (رنگ، تغییرات و…) در تصاویر برای یافتن پارامترهای همتراز سازی استفاده می­شود.همترازسازی مبتنی بر ویژگی: در این روش ابتدا ویژگی­های منحصر به فرد از تصاویر استخراج و سپس این ویژگی­ها در تصاویر تطبیق داده می­شوند و به این ترتیب ناحیه مشترک و پارامترهای همترازسازی از روی این نقاط بدست می­آید.در روش ارائه شده در این پایان­نامه  از ترکیب هردو روش برای انجام عمل همترازی استفاده شده است تا از مزایای هر دو روش برای همترازسازی استفاده نماییم.2- ترکیب: پس از مشخص شدن ناحیه همپوشانی و پارامترهای ماتریس انتقال باید تصمیم بگیریم که در ناحیه همپوشانی چه پیکسلی و از کدام تصویر انتخاب شود تا مشکلات ناشی از تغییرات روشنایی مشخص نباشد و وجود اشیاء متحرک به نحوی مدیریت شود تا تصویر ترکیب شده نهایی از کیفیت مناسبی برخوردار باشد.در این پایان­نامه برای حل مسئله روشنایی تصاویر با استفاده از ناحیه همپوشانی میزان اختلاف روشنایی تصاویر را تخمین زده و سطح روشنایی تصاویر را یکی می­کنیم. برای حل مسئله شئ متحرک نیز با تعریف تابع انرژی و استفاده از الگوریتم جستجو مناسب مرز مشترک بین تصاویر تخمین زده می­شود.

واژه­های کلیدی: تصاویر با زاویه دید وسیع، همترازسازی، ترکیب

فهرست مطالب

فصلاول.. 1

مقدمهوشرحمسئله. 1

1-1مقدمه. 3

1-1-1کاربردهایبیناییماشین.. 4

1-2تصاویربازاویهدیدوسیع.. 5

1-2-1کاربردهایتصاویربازاویهدیدوسیع.. 7

1-3چالش­هایموجوددرتولیدتصاویربازاویهدیدوسیع.. 10

1-4اهدافوفرضیات… 11

1-5ساختارپایاننامه. 12

فصلدوم. 13

تصاویربازاویهدیدوسیع.. 13

2-1پیشزمینه. 15

2-2مراتبتولیدتصاویربازاویهدیدوسیع.. 16

2-2-1تثبیتتصاویر(Image Registration) 16

2-2-2ترکیبتصاویر(Compositing) 18

2-3مدلحرکت(Motion Model) 19

2-3-1مدلحرکتدرفضایدوبعدی.. 20

2-3-2مدلحرکتدرفضای 3 بعدی.. 21

2-3-3مختصاتاستوانه­ایوکروی (Cylindrical and spherical) 22

2-4تثبیتتصاویر(ImageRegistration) 23

2-4-1روشهمترازسازیمبتنیبرنقاط (Direct (Pixel-Based) Alignment) 24

2-4-1-1معیارخطا (ErrorMetric) 24

2-4-1-2مدلحرکتبهروشسلسلهمراتبی (Hierarchical Motion Stimation) 26

2-4-1-3همترازسازیمبتنیبرسریفوریه (Fourier-Based Alignment) 27

2-4-1-4پالایشافزایشی (IncrementalRefinement) 28

2-4-1-5حرکتپارامتری (ParametricMotion) 29

2-4-2همترازسازیمبتنیبرویژگی (Feature-BasedAlignment) 30

2-4-2-1استخراجنقاطکلیدی(Keypoints Detectors) 30

2-4-2-2تطبیقویژگی­ها(Feature Matching) 31

2-4-3هندسههمترازسازی(Geometric Registration) 33

2-4-4روشهمترازسازیمبتنیبرپیکسلیامبتنیبرویژگی.. 35

2-5همترازسازیسراسری (Global Registration) 36

2-5-1تنظیمگروهی(BundleAdjustment) 36

2-5-2حذفتطبیق(Parallax Removal) 36

2-5-3تشخیصتصاویربازاویهدیدوسیع(RecognizingPanoramas) 37

2-6ترکیب (Compositing) 38

2-6-1انتخاببسترترکیبتصاویر(Choosing a compositing surface) 38

2-6-2وزندهیوانتخابپیکسل­ها (Pixel Selection and Weighting) 39

2-6-3ترکیب (Blending) 43

2-7کارهایمرتبط… 45

2-7-1روشهایبرمبنایهمترازسازیمبتنیبرنقاط.. 45

2-7-2روشهایبرمبنایهمترازسازیمبتنیبرویژگی­ها 48

فصلسوم. 52

تولیدتصاویربازاویهدیدوسیع.. 52

3-1 مقدمه. 54

3-2 همترازسازیتصاویر. 54

3-2-1SIFT]41[: 56

3-2-2RANSAC: 61

3-2-3بهبودپارامترهایهمترازی.. 62

3-3 ترکیبتصاویر. 66

3-3-1اصلاحروشنایی.. 66

3-3-2تخمینمرزمشترک… 71

3-3-3ترکیب… 78

فصلچهارم. 81

ارزیابینتایج.. 81

4-1 مقدمه. 83

4-2 همترازسازی.. 83

4-3 روشنایی.. 89

4-4 مرزمشترک… 95

4-5 خلاصه. 99

فصلپنچم.. 100

نتیجه­گیریوپیشنهادات… 100

5-1 نتیجه­گیری.. 102

5-2 پیشنهادات… 104

فهرست اشکال

شکل(1- 1): ترکیبدوتصویردریکتصویر]1[ 4

شکل(1- 2): (الف) تصاویرگرفتهشدهازیکمنظره، (ب) تصویرترکیبشدهازتصاویرالف.. 5

شکل(1- 3): پانوراماتولیدشدهدرحالتاستوانه­ای]3[ 6

شکل(1- 4): پانوراماتولیدشدهدرحالتکروی]3[ 6

شکل(1- 5): ترکیبتصاویرفرستادهشدهتوسطمریخپیمادریکتصویر 7

شکل(1- 6): (الف)تصاویرتهیهشدهاززاویههایمختلفگلدان، (ب) تصویریکپارچهتهیهشدهازتصاویر 8

شکل(1- 7): تصویرهواییتهیهشدهازتصاویرکوجکترتهیهشدهازیکمنطقه. 8

شکل(1- 8): تصویرتهیهشدهازکشتیغرقشدهدرکفاقیانوسبااستفادهازدوربینهایصوتی. 9

شکل(1- 9): (ج)تصویریکپارچهتهیهشدهازاثرانگشتالفوب. 9

شکل(1- 10): (الف) مشخصکردنترتیبودنبالهتصاویرکناریکدیگر (ب) تصویرنهاییساختهشده]3[ 10

شکل(2- 1): تصویرپانوراماتولیدشدهبهصورتدستیازنبردبرگیزل]20[ 15

شکل(2- 2): مراحلمختلفتولیدتصاویربازاویهدیدوسیع. 16

شکل(2- 3): انواعحالاتمختلفحرکتدرصفحه]3[ 17

شکل(2- 4): (الف) تصاویرتهیهشدهازیکمنظره (ب) تصاویرهمترازشدهروییکدیگر 20

شکل(2- 5):(الف) و نقاطشکلگرفتهدردوربین0و1، (ب) و نقاطشکلگرفتهدرصفحهدوربین0و1]3[ 22

شکل(2- 6): (الف) مختصاتنقطهpدرفضادرمحیطسیلندری، (ب) مختصاتنقطهpدرفضادرمحیطکروی]3[ 22

شکل(2- 7): هرمساختهشدهازتصویرL0 27

شکل(2- 8): تقریببسطتیلورازیکتابع،eiاختلافرنگپیکسلاوJ1(xi+u)گرادیاندرنقطه(xi+u) 29

شکل(2- 9): ویژگیهایمنحصربهفرداستخراجشدهداخلپنجرههابااندازهمتفاوت]38[ 30

شکل(2- 10): (الف) تصاویراصلی، (ب) ویژگیهایSIFTاستخراجشدهازتصاویر، (ج) ویژگیهایتطبیقیافته. 31

شکل(2- 11): تخمینپارامترهایمدلحرکتبااستفادهازرگرسیون. 33

شکل(2- 12): (الف) وجودفضایخالیدرناحیهاتصالدوتصویرانتهاییپانوراما 360 درجه (ب) حذففضایبوجودآمدهبااصلاحفاصلهکانونی]3[ 35

شکل(2- 13): (الف) مجموعهتصاویرنامرتب، (ب) یافتنتصاویرمرتبط، (ج) ترکیبتصاویر]3[ 37

شکل(2- 14): کشیدگیپیکسلهادرگوشهسمتراستتصویر 38

شکل(2- 15): ترکیبتصاویربااستفادهاز: (الف) میانگین، (ب) فیلترمیانه، (ج) میانگینوزندار، (د) تغییروزنمیانگینوزندار، (ه) دیاگرامورونی، (و) وزندهیبهناحیهاختلاف، (ی) برشگرافوترکیبپواسون، (ن) برشگرافوترکیبهرمی]3[ 41

شکل(2- 16): (الف) 3 تصویردارایناحیهمشترکوشئمتحرک، (ب) ناحیهمورداختلاف 3 تصویر، (ج) گرافساختهشدهازرویناحیهمورداختلاف]3[ 42

شکل(2- 17): (الف،ب،ج) تصاویرتهیهشدهباروشناییمتفاوت. ترکیبروشناییتصاویردریکتصویربااستفادهاز (د) ]3[ 44

شکل(2- 18): مراحلاجرایالگوریتمآقایSzeliskiوShum]62[ 45

شکل(2- 19): (الف) مشکلبوجودآمدهناشیازانباشتهشدهخطا (فضایهرز) (ب) برطرفکردنمشکلبااستفادهازروشBlock Adjustment]62[ 46

شکل(2- 25): (الف،ب) تصاویردارایناحیههمپوشانی، (ج) ضریبهمبستگیزاویه­ایاز 0 تا 360 درجهچرخش،میزانبیشینهدر 270 درجه، (د) میزانهمبستگیدوتصویرباجابجاییدرراستایxوy،بیشترینمقداردر (59 ،47) ]87[ 47

شکل(2- 26): تصویرترکیبشدهازتصاویرشکل2-25 الفوب]87[ 47

شکل(2- 20): ویژگیهایاستخراجشدهازتصاویرکهشاملخطوطونقاطاینخطوطاست]82[ 48

شکل(2- 21): تصویرپانوراماحاصلازتصاویرشکل2-20 ]82[ 48

شکل(2- 22): (الف،ب) تصاویردارایهمپوشانی، (ج،د) ویژگیهایاستخراجشدهوتطبیقیافتهبااستفادهازروشSIFT، (و،ه) نقاطمعتبرتشخیصدادهشدهتوسطRANSAC]83[ 49

شکل(2- 23): (الف) تصاویرهمترازشدهدرکناریکدیگر، (ب) انتخابمقدارپیکسلدرناحیهمشترکباروشGain Compensation)، (ج) ترکیبتصاویرپسازGain CompensationبهروشMulti-Band Blending]83[ 50

شکل(2- 24): (الف،ب) تصاویراولیه، (ج) اختلافتصاویردرناحیههمپوشانی، (د) اختلافگرادیانتصاویردرناحیههمپوشانی، (ه) تصاویرترکیبشده]85[ 51

شکل(3- 1): مراحلمختلفترکیبتصاویر 54

شکل(3- 2): لایههایتولیدشدهبامقیاسمتفاوتازتصویر،درهرلایهتصاویربایکفیلترگوسینسبتبهحالتقبلتارشدهاندوسپساختلافآنهاازیکدیگرمحاسبهشدهاست. ]41[ 57

شکل(3- 3): (الف) تصویراصلی، (ب) 832 ویژگیاستخراجشدهبههمراهجهتواندازهتخصیصدادهشده، (ج) کاهشویژگیهابه 729 پسازحذفنقاطباکنتراستپاییندرمقابلهمسایهها، (د) 536 ویژگینهاییپسازاعمالآستانهرویانحنایاصلی]41[ 58

شکل(3- 4): شکلسمتراستمحاسبهشدتوجهتگرادیاناطرافنقاطکلیدی،شکلسمتراستتقسیمناحیهبه 4 قسمتومحاسبهمجموعجهتهاواندازههادر 8 جهت]41[ 58

شکل(3- 5): (ب) نقاطکلیدیاستخراجشدهازتصویرالفبااستفادهازروشSIFT، (ج) نقاطکلیدیتطبیقیافته. 59

شکل(3- 6): نقاطمتناظردرتصاویربارنگزردمشخصشدهاند. 60

شکل(3- 7): شبهکداجرایالگوریتمRANSAC. 62

شکل(3- 8): انتقالتصویردومبهمختصاتتصویربااستفادهازماتریسپروجکشن. 62

شکل(3- 9): اثرمنفیاجرایالگوریتمECCرویناحیههمپوشانیتصاویرشکل3-8. 64

شکل(3- 10): الفوبتصاویردارایناحیههمپوشانی، (ج) ضریبهمبستگیمتقابل، (د) ضریبهمبستگیزاویه­ای]95[ 65

شکل(3- 11): (الف) همترازیتصاویرقبلازاعمالهمترازیبااستفادهازهمبستگیزاویه­ای، (ب) همترازیتصاویربعدازاعمالهمترازیبااستفادهازهمبستگیزاویه­ای. 65

شکل(3- 12): محاسبهاختلافتصاویرپسازبهبودروشناییبااستفادهاز، (ج) میانگینمعمولی، (د) میانگینوزندار 67

شکل(3- 13): تیرگیدرگوشههایتصویربهدلیلVignetting. 68

شکل(3- 14): دوتصویرهمترازشدهباناحیهمشترکهاشورخورد. فاصلهنقاطخطLازمراکزدوتصویربرابراست. 69

شکل(3- 15): تصاویرهمترازشده، (الف) قبلازاصلاحتغییراتروشنایی، (ب) بعدازاصلاحتغییراتروشنایی. 70

شکل(3- 16): دوتصویرقرارگرفتهدرکناریکدیگربااستفادهازمرزبینآنها(ب) 71

شکل(3- 17): نمایشمرزمشترکبینتصاویروپیکسلهایبینآنهاباشمارهگزاری]96[ 72

شکل(3- 18): حالاتمختلفبرش(cut) بیندوپیکسلمجاورpوq]99[ 73

شکل(3- 19): ناحیهمشترکدوتصویروانتخابخطLبهعنوانمرزتقریبیمشترک.. 74

شکل(3- 20): (الفوب) تصاویردارایناحیههمپوشانی، (جود) معکوساختلافدرناحیهمشترک، (ه) یافتنمرزمشترکبینتصاویربااستفادهازروشارائهشده، (و) تصاویرمتصلشدهبااستفادهازمرزمشخصشده 76

شکل(3- 21): (الف،ج) تصاویرتهیهشدهدرمقیاسمتفاوت، (ب،د) اختلافتصویریکلایهباتصویرتارشدهلایهقبل  78

شکل(3- 22): (الف) پوششتعریفبرایمشخصکردنمحلاتصالتصاویر، (ب) ترکیبلاپلاسینتصاویردرلایهها 79

شکل(3- 23): تصاویرترکیبشدهبااستفادهازروشترکیبهرمیلاپلاسین. 79

شکل(3- 24): (الف) تصاویردارایناحیههمپوشانیومرزمشخصشدهبینآنها، (ب) قرارگرفتنتصاویردرکناریکدیگرباوبدوناستفادهازترکیبهرمیلاپلاسین. 80

شکل(4- 1): معیارخطایSSDمحاسبهشدهبرایجفتتصاویر 84

شکل(4- 2): نمودارتعدادتصاویربامعیارخطایSSD(محورافقی) در 4 روشذکرشده 85

شکل(4- 3): نمودارتعدادتصاویربامعیارخطایNCC(محورافقی) در 4 روشذکرشده 86

شکل(4- 4): درصدتعدادتصاویریکهمعیارخطایSSDآنهادرروشهابهتربودهاست.. 87

شکل(4- 5): درصدتعدادتصاویریکهمعیارخطایNCCآنهادرروشهابهتربودهاست.. 87

شکل(4- 6): ویژگیهایاستخراجشدهازتصویرتوسطروشآقایBrownوهمکاران. 87

شکل(4- 7): تصاویرهمترازشده (الف) قبلو (ب) پسازاعمالتابعحذفVignetting. 89

شکل(4- 8): تصاویرترکیبشدهتوسطنرمافزارVisionResarch Lab. 90

شکل(4- 9): تصاویرترکیبشدهتوسطنرمافزارPTgui 91

شکل(4- 10): تصاویرترکیبشدهازتصاویرالفتوسط، (ب) روشLoweوBrown، (ج) روشارائهشده 92

شکل(4- 11): تصاویرترکیبشدهازتصاویرالفتوسط، (ب) روشLoweوBrown، (ج) روشارائهشده 92

شکل(4- 12): تصاویرترکیبشدهازتصاویرالف،توسطروش (ب،د) ICE، (ج،ه) روشپیشنهادی. 94

شکل(4- 13): (ب) مرزتعیینشدهتوسطروشارائهشدهبرایترکیبتصاویر، (ج) ترکیبتصاویربااستفادهازروشارائهشده، (د) ترکیبتصاویربااستفادهازنرمافزارICE. 96

شکل(4- 14): (ب) مرزتعیینشدهتوسطروشارائهشدهبرایترکیبتصاویر، (ج) ترکیبتصاویربااستفادهازروشارائهشده، (د) ترکیبتصاویربااستفادهازنرمافزارICE. 97

شکل(4- 15): (ب) مرزتعیینشدهتوسطروشارائهشدهبرایترکیبتصاویر، (ج) ترکیبتصاویربااستفادهازروشارائهشده، (د) ترکیبتصاویربااستفادهازنرمافزارICE. 98

شکل(5- 1): عدمهمترازیصحیحتصاویرتصاویردرقسمتمشخصشده 104

فهرست جداول

 

جدول(2- 1): انواعمدلهایحرکت،ویژگیودرجهآزادیآنها 21

جدول(4- 1): میانگینوانحرافمعیار،SSDوNCCتصاویرهمترازشدهبااستفادهازروشهایموردبررسی. 88

قبلا حساب کاربری ایجاد کرده اید؟
گذرواژه خود را فراموش کرده اید؟
Loading...
enemad-logo