دانلود پروژه: ارائه­ ی روشی برای ارزیابی سیستم خلاصه‏ سازی متون

کلید واژه‏ها: پردازش زبان طبیعی، زبان فارسی، ارزیابی خلاصه‏سازهای سیستمی، معیار ارزیابی.

چکیده:

امروزه ابزارهايي نظير خلاصه‏سازهاي خودکار و مترجم‌هاي سیستمی توجه زيادي را به خود جلب نموده‌اند و فعاليت‌هاي زيادي براي طراحي چنين ابزارهايي در سرتاسر جهان انجام شده است. با توجه به اهمیت بسیار زیاد خلاصه‏سازها، موضوع مهمی که در این زمینه، مطرح است آنست که پس از تولید خلاصه چطور کیفیت آن‌ها را ارزیابی کنیم. بنابراین در اين پایان­نامه، به ارائه­ی ابزاري به اسم TabEval برای ارزيابي خودکار خلاصه‏سازهاي سیستمی می­پردازیم که از آن در ديگر کاربردهاي پردازش زبان طبيعي و بازيابي اطلاعات از جمله بررسي ميزان تشابه دو متن هم مي‌توان استفاده نمود.

داده­ی استفاده شده در این ارزیاب، پیکره­ای شامل خبرهای روزنامه­های معروف می­باشد. هریک از خبرهای موجود در پیکره برای به حداقل رساندن سلیقه­های شخصی توسط چند فرد خبره بصورت دستی خلاصه‏سازی شده است (خلاصه‏ی انسانی).

در این پایان­نامه ابزار ارزیابی ارائه شده برای ارزیابی کیفیت خلاصه‏ی سیستمی به محاسبه­ی میزان تشابه بین خلاصه‏ی سیستمی و خلاصه­های انسانی می­پردازد و شامل معیارهایی است که این معیارها تعداد واحدهایی را که از نظر ظاهری و معنایی بین خلاصه­های سیستمی و خلاصه­های انسانی هم­پوشانی دارند محاسبه می­نمایند. بدیهی است برای انجام مقایسه­ی متون در سطح معنا بهره­گیری از شبکه‏ی واژگان، ضروری به نظر می­رسد.

روش کار به این ترتیب است که ابتدا برای اینکه مشخص شود در تولید خلاصه­های انسانی، افراد خبره بر کدام جمله­ها تاکید بیشتری داشته­اند خلاصه­های انسانی را به مجموعه­های N تایی ، N-1 تایی و … و 1 تایی تقسیم کردیم بطوریکه مجموعه­ی N تایی شامل جمله­هایی با N بار تکرار در خلاصه­های انسانی است. سپس خلاصه‏ی سیستمی به دو قسمت مشترک و غیر مشترک تقسیم می­شود بدین صورت که اگر جمله­ای از خلاصه‏ی سیستمی در مجموعه جملات خلاصه‏ی انسانی باشد، در قسمت مشترک و در غیر اینصورت در قسمت غیر مشترک قرار می­گیرد.

 در مرحله بعدی عملیات پیش­پردازش از جمله حذف کلمات توقف و جداکردن جملات و جدا کردن کلمات و ریشه‌یابی و برچسب زدن نحوی انجام می­گیرد و سپس به امتیازدهی قسمت‌های مشترک و غیر مشترک بر اساس معیارهایی پرداخته می­شود و در نهایت میانگین امتیازات جملات خلاصه‏ی سیستمی نشان­دهنده­ی امتیاز سیستم خلاصه‏ساز خواهد بود.

تاکنون برای ارزیابی سیستم‏های خلاصه‏ساز معیارهای دقت/فراخوانی را محاسبه می­کردند و بر اساس این معیارها کیفیت خلاصه‏ی سیستمی را ارزیابی می­کردند. برای ارزیابی ابزار ارائه شده (TabEval)، ابتدا خلاصه‏ی اسناد پیکره توسط سیستم‏های خلاصه‏ساز مورد ارزیابی تولید و ذخیره می­شوند. سپس برای کلیه­ی خلاصه­های سیستمی تولید شده ترکیبی از معیارهای دقت و فراخوانی (F-measure) را محاسبه می­کنیم. مقدار بدست آمده نشان‌دهنده‌ی عملکرد سیستم‏های خلاصه‏ساز است. سپس همان خلاصه­های سیستمی تولید شده را با ابزار ارائه شده (TabEval) ارزیابی می­کنیم. در نهایت مقایسه­ی نتایج بدست آمده از دو ارزیاب نشان داد که ابزار ارائه شده از لحاظ ظاهری و معنایی نتایج بهتر و قابل‌قبول‌تری ارائه می­دهد.