تدريب النماذج اللغوية العربية: من جمع البيانات إلى (PT + SFT + DPO)

تهدف هذه الورشة إلى تقديم فهم متكامل لمراحل بناء وتطوير النماذج اللغوية كبيرة الحجم (LLMs)، مرورًا بمرحلة ما قبل التدريب ووصولًا إلى تحسين النموذج وفق التفضيلات البشرية. يتعرّف المشاركون على دورة التطوير الكاملة، بدءًا من Pretraining (PT) لبناء المعرفة الأساسية للنموذج باستخدام بيانات واسعة، ثم الانتقال إلى Supervised Fine-Tuning (SFT) لتخصيص سلوك النموذج عبر بيانات تعليمية منظّمة، وانتهاءً بمرحلة Direct Preference Optimization (DPO) التي تُحسّن جودة الاستجابات اعتمادًا على تفضيلات البشر والمفاضلة بين الإجابات