دانلود پروژه:بهبود عملکرد کاوشگر وب با استفاده از روش جدید وزن دهی ویژگیWTF-IDF

تعداد 84 صفحه در فایلword

چکیده

امروزه سیستم‌های جستجوی وب برای جمع‌آوری و تجزیه‌وتحلیل ساختار اطلاعات موجود در وب حیاتی هستند. یک کاوشگر وب یک جزء نرم‌افزار است که به‌صورت تکراری، اطلاعات را از وب جمع‌آوری می‌نماید، صفحات را دانلود و لینک‌های URL را دنبال می‌نماید. سندهای خروجی یک کاوشگر وب که از وب جمع‌آوری می‌گردند، می‌توانند به منظورهای گوناگون از قبیل جستجوی وب مورداستفاده قرار گیرند. از سوی دیگر، دانش در مورد ساختار وب، به ما در طراحی یک مکانیزم مؤثرتر برای کاوش و شاخص گذاری کمک می‌نماید. برای نمونه، رتبه‌بندی صفحات ممکن است برای یافتن و شاخص گذاری URL های باکیفیت بالا ، مفید باشد.

در این پایان نامه برای بهبود عمل کاوشگر وب و رتبه بندی صفحات وب راهکار وزن دهی Tf-idf (Term Frequency-Inverse Document Frequency) با بهره گیری از  مستندات نیمه ساخت‌یافته XML ارائه گردیده است که علاوه بر توجه به چگونگی توزیع ویژگی‌ها در مستندات مختلف و مستندات کل مجموعه به مشخصات ویژگی‌ها در قالب HTML صفحات وب نیز توجه شده است.

نتایج شبیه‌سازی نشان‌دهنده بهبود در دقت الگوریتم کاوشگر وب در مقایسه با روش‌های متداول وزن دهی ویژگی نظیر روش‌های مبتنی بر Tf، روش‌های IDF و روش‌های ترکیبی دیگر می‌باشد.

واژه‌های کلیدی: وب، اینترنت ،کاوشگر وب، وزن دهی ویژگی، موتور جستجو، بازیابی