Frequency-Aware Deepfake Detection
دراسة متانة لكشف التزييف العميق بالاعتماد على الترددات
يدرس هذا المشروع البحثي تأثير ضغط H.264 الفاقد على كشف التزييف العميق. يقارن بين نموذج مرجعي مكاني بأسلوب XceptionNet ونموذج هجين يضيف إشارات ترددية عبر DCT وlearnable masking وcross-attention fusion.
PythonPyTorchXceptionNetDCTFaceForensics++Celeb-DF
التحدي
- قد تحقق نماذج كشف التزييف أداءً قويًا على بيانات معيارية نظيفة، لكنها تتراجع بعد إعادة الضغط في المنصات.
- الضغط قد يزيل أو يغير آثارًا دقيقة تعتمد عليها النماذج.
- التقييم القوي يحتاج إعدادات ضغط متطابقة واختبارًا خارجيًا عبر مجموعة بيانات مختلفة.
تصميم النظام
قصاصات الوجهاستخراج إطارات واكتشاف الوجه
فرع مكانينموذج مرجعي بأسلوب XceptionNet
فرع تردديDCT وlearnable masking
دمج وتقييمCross-attention وتجميع على مستوى الفيديو
البيانات والمدخلات
- FaceForensics++ c23 للتدريب والتقييم داخل التوزيع.
- إعداد FF++ c40 المتطابق لاختبار ضغط H.264 أعلى.
- Celeb-DF v2 كمجموعة خارجية لاختبار التعميم دون fine-tuning.
المنهجية التقنية
- نموذج مرجعي مكاني بأسلوب XceptionNet لتصنيف قصاصات الوجه RGB.
- فرع ترددي يعتمد على DCT لالتقاط آثار حساسة للضغط.
- Learnable frequency masking لتقليل الاعتماد الزائد على آثار طيفية ضيقة.
- Cross-attention fusion بين الرموز المكانية والترددية.
- تجميع النتائج على مستوى الفيديو عبر بذور عشوائية متعددة لعرض أكثر ثباتًا.
التقييم والنتائج
مؤشرات رئيسية
FF++ c40 accuracy: 71.82% للنموذج الهجين
مؤشرات رئيسية
Celeb-DF AUC: 86.67% للنموذج الهجين
مؤشرات رئيسية
تقييم عبر 5 بذور عشوائية
- بقي النموذج المكاني قويًا جدًا في FF++ c23.
- حسّن النموذج الهجين الواعي بالترددات دقة FF++ c40 وAUC على Celeb-DF.
- يفصل التقييم بين الأداء داخل التوزيع، متانة الضغط العالي، والتعميم الخارجي.
التنفيذ والكود
محور التنفيذ
يربط التنفيذ بين تجهيز البيانات، النمذجة، التقييم، وتفسير النتائج ضمن سير عمل منظم يوضح القرارات التقنية.
نطاق المشروع والاستخدام المسؤول
هذا مشروع نمذجة وتقييم مركز. أي استخدام أوسع يحتاج تحققًا على بيانات إضافية، اختبارات متانة، مراقبة، وتقييمًا خاصًا بالسياق المقصود.
التطوير القادم
- إضافة calibration curves وتحليل thresholds لقرارات التشغيل.
- اختبار codecs ودقات وسلاسل معالجة أقرب للمنصات.
- إضافة تصورات ترددية توضح ما يتعلمه الفرع الهجين.
القيمة التقنية
يجمع المشروع بين تقييم بحثي للذكاء الاصطناعي، مقارنة النماذج المرجعية، تصميم نموذج هجين، اختبار المتانة، التعميم الخارجي، وعرض النتائج عبر بذور عشوائية متعددة.