主要内容

比较模型歧视和模型校准和验证的违约概率

打开生活的脚本

这个例子显示了一些差异歧视和校准验证指标的违约概率(PD)模型。

一生PD模型在风险管理工具箱™fitLifetimePDModel)支万博1manbetx持接受者操作特征曲线下的面积(AUROC)作为歧视(排序性能指标和均方误差(RMSE)作为校准(预测能力)指标。AUROC度量指标排名,而RMSE预测值的精度的措施。这个例子表明可能有:

  • 同样的歧视,不同的校准

  • 同样的校准,不同的歧视

因此,重要的是要看歧视和校准的模型验证框架。

有几个不同的指标对PD模型歧视和模型校准。有关更多信息,请参见引用。不同的指标有不同的特点,这个例子中演示的行为并不一定推广到其他歧视和校准标准。这个例子的目的是强调使用歧视和校准的重要性指标评估模型的预测。

负载和合适的数据

信贷数据加载和适合物流一生PD模型使用fitLifetimePDModel。

负载RetailCreditPanelData.matdata =加入(数据、dataMacro);pdModel = fitLifetimePDModel(数据,“物流”,…“AgeVar”,“小无赖”,…“IDVar”,“ID”,…“LoanVars”,“ScoreGroup”,…“MacroVars”,{“国内生产总值”,“市场”},…“ResponseVar”,“默认”);disp (pdModel)
物流与属性:ModelID:“物流”描述:“UnderlyingModel: [1 x1 classreg.regr。CompactGeneralizedLinearModel] IDVar:“ID”AgeVar:“小无赖”LoanVars:“ScoreGroup”MacroVars: [“GDP”“市场”]ResponseVar:“默认”
disp (pdModel.UnderlyingModel)
紧凑的广义线性回归模型:分对数(默认)~ 1 + GDP ScoreGroup +小无赖+ +市场=二项分布估计系数:估计SE tStat pValue __________ ___________和___________(拦截)-2.6799 0.078374 -34.193 3.0262 e - 256 ScoreGroup_Medium风险-0.69409 0.028701 -24.184 3.2931 e - 129 ScoreGroup_Low风险-1.2979 0.035548 -36.511 7.4134 e - 292小无赖GDP e - 197 4.5479 -0.31534 0.010529 -29.949 -0.128 - 0.03068 -4.1723 - 3.0157 -0.0073407 0.0021916 -3.3496 0.00080942 646724年e-05市场观察,646718错误自由度色散:1 x ^ 2-statistic与常数模型:3.2 e + 03,假定值= 0

同样的歧视,不同的校准

歧视措施只有排名的客户,也就是说,PDs高风险客户可以指定是否高于低风险客户。因此,如果规模概率或应用的另一个单调变换结果有效的概率,AUROC措施不会改变。

例如,预测PDs乘以2的一个因素,它保留了排名(客户有更高的PDs)更糟糕。比较的结果,通过修改PDs PDs作为参考。

PD0 =预测(pdModel、数据);PD1 = 2 * PD0;disp ([PD0 (1:10) PD1 (1:10)))
0.0090 0.0181 0.0052 0.0104 0.0044 0.0088 0.0038 0.0076 0.0035 0.0071 0.0036 0.0072 0.0019 0.0037 0.0011 0.0022 0.0164 0.0328 0.0094 0.0189

验证歧视措施是不影响使用modelDiscriminationPlot。

modelDiscriminationPlot (pdModel、数据“DataID”,“分类”,“ReferencePD”PD1,“ReferenceID”,“缩放”)

图包含一个坐标轴对象。坐标轴对象与样本标题中华民国的物流,AUROC = 0.69643比例,AUROC = 0.69643,包含一部分Non-Defaulters,违约者ylabel一部分包含2线类型的对象。这些对象代表物流,按比例缩小的。

使用modelCalibrationPlot可视化观察到的违约率相比,预测违约概率(PD)。然而,校准是严重影响的变化。修改后的PDs远离观察到的违约率和RMSE修改PDs的数量级高于原文的RMSE PDs。

modelCalibrationPlot (pdModel、数据“年”,“DataID”,“分类”,“ReferencePD”PD1,“ReferenceID”,“缩放”)

图包含一个坐标轴对象。坐标轴对象与标题按年分类分组分散物流,RMSE = 0.00028571比例,RMSE = 0.010892,包含一年,ylabel PD包含3线类型的对象。一个或多个行显示的值只使用这些对象标记代表观察到,物流,缩放。

同样的校准,不同的歧视

另一方面,你也可以修改预测PDs保持校准标准不变,恶化指标的歧视。

要做到这一点的方法之一是交换中的PDs组。通过这样做,在每组影响排名,但平均PD组是不变。

rng (“默认”);%的再现性PD1 = PD0;为年= 1997:2004印第安纳= data.Year = =一年;PDYear = PD0(印第安纳州);PD1(印第安纳州)= PDYear (randperm(长度(PDYear)));结束

确认修改PDs的歧视措施是更糟modelDiscriminationPlot。

modelDiscriminationPlot (pdModel、数据“DataID”,“分类”,“ReferencePD”PD1,“ReferenceID”,“排列”)

图包含一个坐标轴对象。坐标轴对象与样本标题中华民国的物流,AUROC = 0.69643排列,AUROC = 0.5678,包含一部分Non-Defaulters,违约者ylabel一部分包含2线类型的对象。这些对象代表物流,排列。

的modelCalibrationPlot函数度量模型校准PDs的分组数据。只要的平均PD组不变,校准报告使用相同的分组变量不会改变。

modelCalibrationPlot (pdModel、数据“年”,“DataID”,“分类”,“ReferencePD”PD1,“ReferenceID”,“排列”)

图包含一个坐标轴对象。坐标轴对象与标题按年分类分组分散物流,RMSE = 0.00028571排列,RMSE = 0.00028571,包含一年,ylabel PD包含3线类型的对象。一个或多个行显示的值只使用这些对象标记代表观察到,物流,排列。

这个例子表明,歧视和校准标准不一定齐头并进。不同的预测可能有类似的RMSE但AUROC大不相同,或类似的RMSE AUROC但不同。因此,重要的是要看歧视和校准的模型验证框架。

引用

[1]Baesens,巴特,丹尼尔•罗斯切和Harald Scheule。信贷风险分析:测量技术、应用程序和SAS的例子。威利,2016年。

[2]巴塞尔银行监管委员会,“内部评级系统的研究验证”,14号工作报告,2005年。

另请参阅

|||||||||

相关的例子

更多关于