تطوير نظام كشف سريع ودقيق وفعال للبيانات المكررة برسالة ماجستير في كلية العلوم
نوقشت في قسم علوم الحاسوب بكلية العلوم جامعة بغداد رسالة الماجستير الموسومة “ازالة التكرار في البيانات الكبيرة باستخدام المحتوى المستند على السمات المحلية للملفات” للطالبة دعاء شاكر ناجي واشراف واشراف الاستاذ المساعد الدكتور لؤي ادور جورج .
وهدف البحث الى إلى تطوير كشف سريع ودقيق وفعال لنظام البيانات المكررة الذي يعتمد على سمات للملفات المهيكلة بناءً على المحتوى ، عبر دراسة السمات القائمة على المحتوى للملفات المهيكلة، عدد الحقول، ونوع البيانات لكل حقل، وتأثير هذه الخصائص على عملية إلغاء الازدواج عبر عملية استخراج عناصر العمود مع الملفات باستخدام تعبير عادي وإنشاء قاموس لكل حقل. مرحلة الازدواجية باستخدام تصنيف السمات القائمة على المحتوى (نوع البيانات) واكتشافها .
واستنتجت الرسالة الى ان اعتماد نظام إزالة البيانات المكررة المقترح العديد من تقانات التشفير، التجزئة المتعددة ، وبناء قاموس، والفهرسة، والتشفير الثنائي؛ إذ الغيت نسخ جزء التكرار من ملف البيانات الضخمة المحلي للأرشفة، باستخدام بيئة غير متصلة بالإنترنت، وقد تمثلت مزايا نظام إزالة الازدواجية في تحقيق مكاسب عالية في إزالة البيانات المكررة مع أداء عالي السرعة دون الحاجة إلى متطلبات موارد عالية.، بعد تحفيز مجموعة من الاستنتاجات من نتائج الاختبارات التي اجريت .
