الاختبار التاريخي للنماذج: المنهجية الإحصائية ومصادر التحيّز

الاختبار التاريخي هو الأداة الوحيدة المتاحة للمتداول لتقدير جدوى نموذجه قبل المخاطرة برأس مال حقيقي، وهو في الوقت نفسه أكثر الأدوات عرضة للخداع الذاتي. هذه الوثيقة تعرض المصادر المنهجية للتحيّز في الاختبار التاريخي كما وثّقها الأدب القياسي، وتقدّم بروتوكولًا يقلل أثرها.

أولًا: المشكلة المركزية — التنقيب في البيانات

إذا اختبرت مئة قاعدة تداول على البيانات نفسها، فإن بعضها سيبدو مربحًا بمستوى دلالة إحصائية مقنع حتى لو كانت جميعها عديمة القيمة. هذه ليست مبالغة بل نتيجة رياضية مباشرة لتعدد الاختبارات.

عالج وايت هذه المشكلة بمنهج اختبار الواقع (White, 2000, "A Reality Check for Data Snooping", Econometrica)، الذي يوفّر توزيعًا مرجعيًا يأخذ في الحسبان العدد الكامل للنماذج المفحوصة، لا النموذج الفائز وحده. وطبّق سولليفان وتيمرمان ووايت هذا المنهج على قواعد التداول الفنية (Sullivan, Timmermann & White, 1999, The Journal of Finance) فوجدوا أن كثيرًا من الأفضليات المعلنة تختفي بعد التصحيح.

ثانيًا: أزمة التكرار في تمويل الأصول

قدّم هارفي وليو وزو مراجعة واسعة للعوامل المنشورة في الأدب المالي (Harvey, Liu & Zhu, 2016, "...and the Cross-Section of Expected Returns", The Review of Financial Studies)، وخلصوا إلى أن العتبة التقليدية للدلالة الإحصائية غير كافية إطلاقًا في مجال جرى فيه فحص مئات العوامل. توصيتهم: رفع عتبة الدلالة بشكل جوهري لأي عامل جديد.

الإسقاط المباشر على المتداول الفرد: إذا جربت عشرات الإعدادات ثم اخترت الأفضل، فإن نتيجتك المعلنة مبالغ فيها بشكل منهجي، ومستوى الثقة الظاهري لا يعني شيئًا.

ثالثًا: التوقف المفرط عن الملاءمة والتصحيح المطلوب

قدّم بيلي ولوبيز دي برادو مفهوم نسبة شارب المنكمشة (Bailey & López de Prado, 2014, "The Deflated Sharpe Ratio", The Journal of Portfolio Management)، وهو تصحيح يأخذ في الحسبان:

1. عدد التجارب التي أُجريت للوصول إلى النتيجة.
2. طول العينة الزمنية.
3. الالتواء والتفرطح في توزيع العوائد.

كما بيّن الباحثان أن هناك حدًا أدنى لطول العينة يمكن دونه اعتبار أي نسبة شارب عالية نتيجة صدفة (Bailey & López de Prado, 2012, "The Sharpe Ratio Efficient Frontier", Journal of Risk). النتيجة: عدد الصفقات في الاختبار متغير حاسم، وليس تفصيلًا ثانويًا.

رابعًا: تصنيف مصادر التحيّز

خامسًا: البروتوكول المقترح

1. اكتب فرضية النموذج ومعايير النجاح قبل رؤية أي نتيجة.
2. قسّم البيانات إلى ثلاث شرائح: تطوير، تحقق، واختبار نهائي لا يُلمس إلا مرة واحدة.
3. حدد عدد التجارب المسموح بها مسبقًا وسجّل كل تجربة أجريتها، بما فيها الفاشلة.
4. أدخل تكاليف تنفيذ أعلى من المتوسط الملاحظ لبناء هامش أمان.
5. قيّم الأداء عبر أنظمة تذبذب مختلفة لا على المجموع الكلي فقط.
6. اختبر حساسية النتيجة لتغير المعاملات: النموذج السليم لا ينهار مع تغيير طفيف.
7. طبّق تصحيحًا لتعدد الاختبارات قبل إعلان أي نتيجة لنفسك.
8. شغّل النموذج على بيانات حية دون رأس مال لفترة كافية قبل التطبيق.

الخطوة السابعة هي الأكثر إهمالًا والأكثر أهمية.

سادسًا: ما لا يستطيع الاختبار التاريخي إثباته

الاختبار التاريخي يقيس أداء قاعدة على معطيات سابقة تحت افتراض أن بنية السوق ستبقى مشابهة. هذا الافتراض غير مضمون: تنص فرضية الأسواق التكيّفية (Lo, 2004) على أن الأفضليات تتآكل مع انتشارها وتغير تركيبة المشاركين. وقد أظهرت مراجعة بارك وإيروين (Park & Irwin, 2007, Journal of Economic Surveys) أن ربحية القواعد الفنية تراجعت عبر العقود في أسواق كثيرة.

لذلك فإن أفضل ما يقدمه الاختبار هو استبعاد النماذج الرديئة، لا إثبات النماذج الجيدة. هذا تمييز جوهري في فلسفة العلم يعود إلى منطق التكذيب عند بوبر (Popper, 1959).

الاختبار التاريخي لا يخبرك أن النموذج سيربح، بل يخبرك في أفضل الأحوال أنه لم يفشل بعد على البيانات المتاحة، وهذا سقف معرفي لا يمكن تجاوزه.

المراجع

1. White, H. (2000). A Reality Check for Data Snooping. Econometrica, 68(5), 1097–1126.
2. Sullivan, R., Timmermann, A., & White, H. (1999). Data-Snooping, Technical Trading Rule Performance, and the Bootstrap. The Journal of Finance, 54(5), 1647–1691.
3. Harvey, C. R., Liu, Y., & Zhu, H. (2016). ...and the Cross-Section of Expected Returns. The Review of Financial Studies, 29(1), 5–68.
4. Bailey, D. H., & López de Prado, M. (2014). The Deflated Sharpe Ratio. The Journal of Portfolio Management, 40(5), 94–107.
5. Bailey, D. H., & López de Prado, M. (2012). The Sharpe Ratio Efficient Frontier. Journal of Risk, 15(2), 3–44.
6. Park, C.-H., & Irwin, S. H. (2007). What Do We Know About the Profitability of Technical Analysis? Journal of Economic Surveys, 21(4), 786–826.
7. Lo, A. W. (2004). The Adaptive Markets Hypothesis. The Journal of Portfolio Management, 30(5), 15–29.
8. Popper, K. (1959). The Logic of Scientific Discovery. Hutchinson.