SMS Spam Transformer Classification
مقارنة استراتيجيات transformer لتصنيف النصوص
يقارن هذا المشروع عدة استراتيجيات transformer لكشف رسائل SMS غير المرغوبة: zero-shot classification، fine-tuned BERT، few-shot BERT، وتصنيف Flan-T5 المعتمد على prompting.
PythonTransformersBERTFlan-T5Zero-shotFew-shot
التحدي
- أداء تصنيف النصوص يتأثر بطريقة صياغة المهمة والتسميات.
- سلوك zero-shot قد يفشل عندما تحمل التسمية معنى خاصًا بالمجال.
- المقارنة العادلة تحتاج تقسيمات ثابتة وتفسيرًا على مستوى الطريقة.
تصميم النظام
بيانات SMSHam وSpam
صياغة المهمةzero-shot / few-shot
نماذج TransformerBERT وFlan-T5
مقارنةدقة ومصفوفات التباس
البيانات والمدخلات
- مجموعة SMS Spam Collection تحتوي على 5,572 رسالة.
- تسميتان ثنائيتان: ham وspam.
- 3,900 رسالة تدريب و836 تحقق و836 اختبار.
المنهجية التقنية
- مقارنة zero-shot NLI، fine-tuning مراقب، few-shot fine-tuning، وgenerative prompting.
- تقييم الدقة ومصفوفات الالتباس لكل طريقة.
- تفسير الإخفاقات الناتجة عن غموض التسميات وصعوبة parsing.
التقييم والنتائج
مؤشرات رئيسية
5,572 رسالة SMS
مؤشرات رئيسية
دقة BERT المضبوط 0.9952
مؤشرات رئيسية
دقة Few-shot BERT 0.9294
- حقق fine-tuned BERT دقة 0.9952 وأقوى نتائج على مستوى الفئات.
- حقق few-shot BERT دقة 0.9294 باستخدام 20 مثال تدريب فقط.
- أظهرت طرق zero-shot وprompting حساسية واضحة لصياغة التسميات ومعالجة المخرجات.
التنفيذ والكود
محور التنفيذ
يربط التنفيذ بين تجهيز البيانات، النمذجة، التقييم، وتفسير النتائج ضمن سير عمل منظم يوضح القرارات التقنية.
نطاق المشروع والاستخدام المسؤول
يركز المشروع على نمذجة اللغة وتقييمها. أي استخدام أوسع يتطلب تحققًا خاصًا بالمجال، تقييمًا للحالات الطرفية، مراقبة، واختبارًا على بيانات حديثة.
التطوير القادم
- إضافة calibration وتقييم حساس للتكلفة في تصفية الرسائل.
- اختبار صيغ تسميات وقوالب prompting إضافية.
- مقارنة نماذج أخف ملائمة للزمن الحقيقي.
القيمة التقنية
يوضح المشروع أن نماذج اللغة الحديثة تحتاج صياغة مهمة دقيقة وتقييمًا ومقارنة منهجية بدل افتراض نجاح استراتيجية واحدة دائمًا.