سترشدك قائمة الخطوات هذه إلى العمل المنظم خلال مشاريع تعلم الآلة التي تعمل عليها. وهنا الخطوات الثمانية الرئيسية، التي يمكنك اعادة ضبطها وتعديلها لتتناسب واحتياجاتك واحتياجات مشروعك:
- ضع إطاراً عاماً للمشكلة، ثم إنظر إلى الصورة الكبيرة
- احصل على البيانات
- استكشف هذه البيانات واستخلص الرؤى
- حضر هذه البيانات لعرض أنماطها الأساسية بشكل أفضل لخوارزميات تعلم الآلة
- جرب عدة نماذج وخوارزميات وأعد قائمة مختصرة للنماذج الأفضل
- اضبط متغيرات النموذج ثم ادمجه في النظام الكامل
- اعرض النموذج والنظام
- أطلق، وراقب النموذج ثم اعمل على صيانته باستمرار
حاول أن تسأل الأسئلة التشخيصية لفريق العمل، ثم اجمع الأجوبة وقم بالتحقق منها فذلك ما يجعل منك عالم بيانات متميز
- تحديد الهدف من النموذج بمصطلحات العمل
- كيف سيتم استخدام هذا النموذج؟
- ماهي الحلول الحالية؟ أو الحلول الملتوية المستخدمة حالياً؟
- كيف يمكن تأطير هذه المشكلة؟ (تعليم بمعلم/تعليم بدون معلم، ...)
- كيف سيتم قياس أداء النموذج؟
- هي يتماشى مقياس الأداء مع أهداف العمل؟
- ماهو الحد الأدنى للدقة المطلوبة اللازمة للوصول إلى أهداف العمل؟
- ماهي المشاكل المماثلة؟ هي يمكنك إعادة استخدام الخبرات أو الأدوات السابقة؟
- هل هناك خبير في هذا المجال؟
- كيف كانت هذه المشكلة تحل يدوياً سابقاً؟
- ضغ قائمة بكافة الفرضيات او الأجابات التي قمت بها إنت أو فريقك للإجابة على هذه الأسئلة وغيرها
- حاول التحقق من هذه الفرضيات أو الإجابات إن أمكن
حاول أتمتة خطواتك بأكبر قدر ممكن حتى تتمكن من الحصول على بيانات جديدة بسهولة
- ضع قائمة بالبيانات التي تحتاجها والمقدار الذي تحتاجه.
- أبحث ووثق من أين يمكنك الحصول على هذه البيانات
- تحقق من توفر المساحة الكافية لاستيعاب هذه البيانات
- تحقق من القيود القانونية للوصول إلى هذه البيانات، ثم تأكد من حصولك على إذن الوصول إذا لزم الأمر
- تأكد من حصولك على إذن وصول للبيانات لمدة المشروع
- قم بإنشاء مساحة عمل جديدة مع مساحة تخزين كافية
- احصل على البيانات
- حول البيانات إلى صيغة يمكنك معالجتها بسهولة (دون تغيير البيانات نفسها)
- تأكد من حذف المعلومات الحساسة أو حمايتها (كأخفاء الهوية مثلاً)
- تحقق من حجم ونوع البيانات (سلاسل زمنية، عينات، مواقع جغرافية, إلخ)
- قم بإقتطاع مجموعة الأختبار، وضعها جانباً ولا تنظر إليها أبداً (لا تتطفل عليها)
حاول أن تحصل على أراء الخبراء في مجال العمل، ستلعب الدور الأهم في نجاح المشروع
- أنشئ نسخة من البيانات لأغراض التجربة والاستكشاف (يمكن أن تكون عينة من البيانات إذا كانت ذات حجم كبير، بحيث يمكن التحكم بها بسهولة)
- أنشئ دفتر ملاحظات Jupyter للاحتفاظ بسجل استكشاف البيانات
- ادرس الميزات أو الأعمدة وخصائصها
- الأسم
- النوع (أصناف أو فئات، رقمي أو عائم، محدد أو غير محدد، نصي، مهيكل أو غير مهيكل، إلخ)
- نسبة القيم المفقودة في كل ميزة أو عمود
- الضوضاء وأنواعها (عشوائية، قيم متطرفة، اخطاء تقريب، إلخ)
- حدد أهمية الميزات أو الأعمدة للمهمة المطلوبة
- حدد نوع التوزيع الاحتمالي لكل عمود أو ميزة (طبيعي، موحد، لوغارتمي، إلخ)
- إذا كانت المهمة من نوع التعلم بمعلم فقم بتحديد عمود الهدف أو العنوان
- اعرض البيانات بشكل مرئي
- ادرس الترابط بيع اعمدة البيانات الموجودة لديك
- ادرس كيف يمكن حل هذه المشكلة يدوياً
- حدد التحويلات التي يمكن تطبيقها على الأعمدة لتساهم في أداء أفضل للمهمة.
- حدد البيانات الاضافية التي يمكن أن تساهم في أداء أفضل للمهمة
- وثق كل ما تعلمته
- اعمل على نسخة جانبية من البيانات، وحافظ على النسخة الأصلية سليمة
- اكتب اجراء منفصل لكل تحويل من تحويلات البيانات التي تقوم بتطبيقها على الأعمدة، وذلك للأسباب التالية
- حتى تتمكن من تحضير البيانات بسهولة في المرة التالية التي تحصل فيها على نسخة جديدة من البيانات
- يمكنك تطبيق هذه التحويلات في المشاريع المستقبلية
- لتحضير مجموعة بيانات الاختبار وتنظيفيها
- لتحضير وتنظيف البيانات الجديدة عندما ترفع المشروع على البيئة الحية
- لتسهيل التعامل مع خيارات تحضير البيانات التي قمت بإنشائها على أنها جزء من معاملات خوارزمية التعلم hypyerparameters
- تنظيف البيانات
- قم بإصلاح أو إزالة القيم المتطرفة (اختياري)
- املئ القيمة المفقودة (بصفر، أو المتوسط، أو الوسيط...) أو احذف السطور أو الأعمدة الخاصة بها
- اختر الميزات أو الأعمدة (اختياري):
- احذف الميزات التي لا توفر معلومات مهمة للمهمة التي تعمل عليها
- قم بهندسة الميزات إذا اقتضت الحاجة
- قطع القيمة المستمرة إلى فئات
- فكك الميزات أو الأعمدة إلى مركبات ابسط (فئات أو أصناف، التاريخ والوقت، إلخ)
- اضف بعض التحويلات الواعدة كميزات جديدة (log(x)، sqrt(x)، x^2)
- جمع بعض الميزات بميزة واعدة جديدة
- تحجيم الميزات: مثل التوحيد normalization أو تطبيعها standarization
- قد يكون مفيداً أن تأخذ عينة من مجموعة بيانات التدريب حتى تتمكن من تدريب عدة نماذج مختلفة في وقت معقول هذا إذا كانت البيانات ضخمة (لكن إنتبه أن هذا قد يقلل من دقة النماذج الكبيرة مثل الشبكات العصبية والغابات العشوائية)
- حاول أتمتة هذه الخطوات بأكبر قدر ممكن
- درّب العديد من النماذج السريعة والصغيرة من فئات مختلفة من الخوارزميات (خطية، Naive Bayes، SVM، غابة عشوائية، شبكة عصبية، إلخ) باستخدام القيمة الافتراضية لبرمترات خوارزميات التعلم hypyerparameters
- قم بقياس ومقارنة أداء كل نموذج مع الآخر
- استخدم التحقق المتقاطع Cross-Validation لحساب متوسط الخطأ والإنحراف المعياري على n مرة من عمليات التحقق
- حلل أهم المتغيرات لكل خوارزمية
- حلل أنواع الأخطاء التي تحدثها كل خوارزمية على حدى
- حدد البيانات التي يستعملها الخبير البشري لتجنب مثل هذه الأخطاء
- قم بجولة سريعة على هندسة وتحديد الميزات المستخدمة
- كرر الخطوات السابقة من 1 حتى 5 مرة أو مرتين
- ضع قائمة بأفضل 3 إلى 5 نماذج واعدة، مفضلاً النماذج التي ترتكب أنواعاً مختلفة من الأخطاء
- سترغب باستخدام كافة بيانات التدريب في هذه الخطوة، خاصة عندما تتقدم نحو الضبط الدقيق النهائي للنموذج
- حاول أتمتة أكبر قدر ممكن كما هو الحال دائماً
- اضبط برامترات الخوارزمية Hyperparameters باستخدام التحقق المتقاطع Cross-Validation
- تعامل مع خيارات تحويل البيانات التي قمت بكتابتها في اجرائات منفصلة كأنها برامترات خوارزمية التعلم Hayperparameters، خاصة عندما لا تكون متأكد منها (على سبيل المثال هي يجب استبدال القيم المفقودة بصفر؟ أم بالمتوسط؟ أو أن تقوم بحذف سطورها بشكل كامل؟)
- أبدء بالبحث العشوائي عن قيم برامترات خوارزمية التعلم Hyperparameter إذا كان عددهم قليل، لكن ذلك لن يفيد إذا كان عدد هذه البرامترات كبير
- جرب أساليب المجموعات فغالباً مايؤدي الجمع بين أفضل النماذج لديك أداء أفضل من تشغيلها بشكل فردي
- قم بقياس خطأ التعميم Generalization Error لأداء النموذج على مجموعة الاختبار فقط عندما تكون واثقاً من نموذجك النهائي.
- لا تقم بتعديل نموذجك بعد قياس خطأ التعميم، لأن ذلك سيفرط بتخصيص Overfitting نموذجك على مجموعة الاختبار.
- وثق كافة الخطوات التي قمت بها
- أنشاء عرض تقديمي جميل
- تأكد من عرض الصورة الكبيرة أولاً
- اشرح كيف يحقق حلك أهداف العمل
- لا تنسى تقديم النقاط التي أثارت اهتمامك برحلة عملك على المشروع
- تأكد من عرض النتائج الرئيسية التي توصلت لها من خلال رسومات جميلة وعبارت رنانة يسهل تذكرها
- جهز الحل الخاص بك للبيئة الحية (وصل المدخلات من البيئة الحية، وقم بكتابة وحدات الاختبار، إلخ)
- اكتب كود لمراقبة أداء النموذج بشكل مستمر ويرسل تنبيه عند هبوط الأداء تحت حد معين
- احذر من تدهور الأداء البطيء، لأن النماذج تميل إلى الهرم والقدم من تطور البيانات
- راقب جودة المدخلات على النموذج، لأنه جهاز استشعار معطل قد يرسل قيماً عشوائية، وفريق آخر تعتمد على خرجه كمدخلات قد يبدأ بإعطاء بيانات قديمة لسببٍ ما
- أعد تدريب النموذج بشكل منتظم كلما تراكمت لديك بيانات جديدة (أتمت قدر الإمكان)