杨海平 陈明
高质量的投产前验证是商业银行内部评级模型及体系合规达标的重要保证，也是防范模型风险、确保模型作用的重要环节。投产前验证是全行上下深入了解模型的过程，也是进一步优化模型的过程。当前，商业银行公司类客户内部评级模型投产前验证的主要依据是《商业银行资本管理办法》附件5--《信用风险内部评级体系监管要求》以及附件16--《资本计量高级方法验证要求》。在实际验证过程中，可以使用的方法主要有两类：一类是技术的手段和检测，就是根据验证的内容采用监管部门认可的专业的统计检验、抽样检验以及其他测试手段。另一类是非技术性的检查，即针对验证内容的特点，将监管要求以及同业的领先实践分解为颗粒度较细的验证要点，然后对照本行情况，建立验证工作底稿，搜集并审查相关佐证材料，逐项查看、评估每一个验证要点的完成情况以及完成质量。最后结合两类方法的验证结果由验证团队中具有丰富经验的专家出具验证的结论与报告。商业银行投产前全面验证报告应作为内部评级体系投入使用的审批依据，有关验证结果应作为模型持续优化以及定期持续监测指标阈值的确定依据。
一、对内部评级模型建设的政策与治理结构的验证
根据监管部门的要求，商业银行开发和运用内部评级模型的环境是建立内部评级体系，主要监管规定是《商业银行资本管理办法》附件５。商业银行应该针对该附件进行分解，并对内部评级体系的建设情况进行对标验证。因为内部评级体系的验证问题与本文内容有关，但属于相对独立的问题，本文不再进行赘述。
商业银行内部评级模型的开发要有相应的治理结构。要明确董事会、高管层、监事会的职责。从经营层看，要明确开发团队、验证团队、审计团队的职责，明确各团队的报告内容与路径。
对于模型开发的治理结构，按照同业的经验，可分解为以下要点进行点对点对标验证：是否有公开的文件规定董事会、经营层在内评体系建设过程中的职责；是否能够从公开的文件中证明董事会知悉内部评级模型开发工作和主要思路方法；董事会层面是否有专门的机构负责内部评级模型的审批和分歧解决；是否有证据表明董事会切实的参与了模型开发重大事项的决策等。
在经营层的范围内，有的商业银行确定由授信评审部作为内部评级模型的开发单位，风险管理部担任开发的后续维护、验证工作，内部审计部门负责全程审计。有的商业银行在风险管理部下面设置两个团队，即模型开发团队和模型验证团队，内部审计部门负责全程审计。在模型上线前，验证团队要通过调阅相关资料证实开发团队的履职情况，证实验证团队的独立性，验证内部审计部门确实提供了全程的审计。
根据领先银行的达标实践，商业银行内部审计部门对于模型建设、验证等出具的意见为重要参考依据。对于内部审计环节的验证可分解为下列要点并进行对标验证：是否有公开的文件规定审计部门的职责；内部审计部门是否对模型开发验证的治理结构进行审计；内部审计部门是否有合格的过程审计；内部审计部门是否有合格的结果审计；内部审计人员是否具备相应的专业知识，熟悉本银行验证工作政策、流程和方法；内部审计部门应及时向高级管理层反馈审计中发现的问题，定期向董事会或其授权委员会报告审计结果。
内部评级模型开发、验证的制度与政策方面，验证团队需要对下列要点进行对标验证：是否有提前设定的以正式发文形式体现的关于模型开发、验证、审计、应用等的流程和制度；是否有以正式文件体现的关于模型开发方法论和技术路线的讨论与审批；是否有模型开发过程中重大问题的决策与审批机制；商业银行的验证政策是否对内部评级结果、风险参数估计值与实际结果之间的差别设定容忍度，并规定差别超出容忍度情况下应采取的补救措施和处理流程等。
二、对数据治理与选用的验证
样本的数量、质量、数据的合规性决定着模型开发方法的选用，也直接关系到模型的质量和应用效果。因而在实践中，各家商业银行均十分重视数据治理与选用的验证。一是要验证数据标准建设情况。主要是查看数据标准的立项文件，数据标准建设过程中的文档以及最终的数据标准陈述文件，查证各业务部门的参与情况，查证数据标准是否嵌入各生产系统与数据平台，并通过穿行测试的方法查看生产系统、数据平台的输入与输出数据是否遵守了数据标准。二是验证数据平台的质量。可以通过查看数据平台的立项文件、开发文件，查看数据标准的讨论过程，并通过穿行测试查看数据平台能否支持数据采集、数据清洗、存储、备份、业务数据的定期加载、数据取样和数据分析等功能。三是查看数据内容是否完整与合规。查看数据违约样本是否充足，样本量是否充足，因为模型开发所采用的违约样本不足会导致建立的模型有偏，也会造成主标尺的开发不满足监管要求。查看建模数据是否包含了与客户内部评级相关的宏观信息，主要包括国家风险、行业风险、区域风险和交叉风险等方面宏观风险数据；抽样验证数据观测期是否符合监管部门的规定；抽样验证应审核模型自动输入数据和人工补录数据的采集范围是否适当，采集标准是否一致。四是验证数据清理过程是否恰当和完善。重点查看数据中的缺失值、异常值和极端值及其处理方法，查看是否具有处理过程和理由的详尽记录，查看理由是否恰当。五是数据样本的质量问题。通过质量抽查检验、0CR技术或用外购的流程系统对数据的基本逻辑进行校验(勾稽检查、横向比较和趋势分析等方法)等手段验证建模数据的质量。
三、对内部评级模型开发过程及模型本身的验证
首先，建模方法验证。一般认为，有三类建立评级模型方法，第一类是统计模型，即应用数量工具或违约模型对定量因素（如财务比率）和可以标准化的定性因素（如还款记录）加以分析。目前应用的相关统计技术包括传统的判别分析、logistic回归，以及更为复杂的神经网络、结构化模型，决策树等。第二类是专家判断模型，即依赖信用专家所定义的评级依据来进行信用评级，而没有统一模板或工具的辅助。在信用评级过程中专家主要依靠经验确定风险因素，并且专家可以凭经验确定各因素在评级中所占的比重。第三类是标杆法模型，即在缺少违约数据的情况下，运用外部评级数据结合统计模型和专家调整的方法进行风险分析。商业银行验证团队要查看开发团队使用选用哪类模型，查看其选用的原因，查看其讨论记录及建模方案的审批记录，并由验证团队专家判断该建模方法选用的合理性和可行性。在模型开发实践中，有些建模方法因为脱离了脱离业务逻辑，实用性较差。目前各家使用最普遍的是用logistic回归建立统计模型，因而本部分技术方面验证的举例均以该方法为准。
其次，关键定义验证。在上线前验证阶段，验证团队要对评级模型关键定义的合规性和持续有效性进行核查，主要包括违约定义、损失定义、主标尺定义、长期中心违约趋势及经济衰退期定义。商业银行模型验证团队应按照《商业银行资本管理办法》附件16的要求对各类关键定义的验证点进行分解，然后进行对标验证，重点是通过抽查判断定义的遵守情况。
第三，建模核心技术以及过程的验证。每一种方式建立都有公认的建模过程以及相应的核心技术，比如，用logistic回归建立统计模型的过程一般分为以下几个步骤：第一步，模型小组与专业人员讨论确定可以获得且具有经济含义的预选指标（100-150个）。第二步，运用关键指标提取技术（主成分分析法、层次分析法、回归分析法和条件回归法等）将预选指标压减至10-20个。将指标提取技术与专家意见结合，对预选指标精心筛选。第三步，对关键指标进行任意组合形成一定数量的备选模型，运用样本数据对备选模型进行统计分析并得到组合估计参数或权重系数。然后进行组外观察,以测试数据对模型进行样本观测（重点查看ROC、AR、K-S指标值）。第四步,确定最优模型方案，综合考察备选模型的系数及输出结果的稳定性和正确性，通过一个目标规划算法确定若干进入最优秀等级的模型方案。这里的验证要点在于：第一，验证系统性因素是否进入模型以及进入模型的方法。根据银监会的监管要求，评级模型的开发过程中需要考虑经济周期的因素、行业因素、地区因素，而且这些因素进入模型也需要采用统计方法。第二，验证模型开发的过程。通过查看其技术文档，判断其其技术路线选用是否正确，而对于核心技术的采用则需要验证团队采用穿行测试的方法进行验证，基本上就是验证团队独立地、完整地再现建模的主要过程，并与开发团队的建模过程进行对比。
第四，对主标尺的开发与模型校准的验证。模型的校准过程就是将最终得分和违约概率（一年期违约概率）进行映射的过程。模型校准的实质就是实现多目标优化：PD平均值=长期平均违约概率；风险等级分布符合业务需要和风险管理需求；主标尺各个等级通过实际违约概率的检验。模型校准的过程主要是：用聚类分析法确定主标尺等级个数；结合聚类分析情况、长期违约经验，运用评级分布法确定主标尺各等级PD中值；用对数等距离法和违约距离法确定主标尺各等级PD区间，根据外部评级主标尺、各等级倍数、相关专家经验，根据监管机构的要求结合银行资产组合的特征确定最终的主标尺。验证团队应通过实际测算以及对相应的优化问题进行求解，确认主标尺开发是否符合规定。
第五，对模型及相应参数的验证。针对区分能力，验证团队可通过测算CAP曲线与AR值、ROC曲线及AUC系数、条件信息熵、Somers’D、K－S检验结果等进行验证，模型区分能力应采用不少于两种方法进行检验。对于区分能力的验证，验证团队还可以组织本行信贷专家对特定客户进行排序，将排序结果与打分、评级结果进行对照，查看模型的区分能力。对于模型准确性的验证主要指模型对于风险参数的估计是否准确（关于模型参数的验证，《商业银行资本管理办法》附件16中有专门的规定），主要的方法是返回检验和基准检验。返回检验即比较参数(PD、LGD、EAD、M)的实际值和预测值；基准即比较预测值和相关外部参数。验证主体应采用不少于两种方法分析实际违约频率与违约概率估值的吻合程度，包括二项检验、卡方检验、红绿灯方法、赫芬达尔指数等方法。对于风险参数的验证，《商业银行资本管理办法》还有一些细化的规定，比如，违约损失率参数还有特殊的验证要求。验证主体应验证违约损失率估值考虑经济衰退的方法和程度等等，针对该类细化要求，验证团队仍需要进行点对点对标。对于模型稳定性的验证，即检验违约概率估值在时间和客户群变动情景下是否具有稳定性，主要使用的方法是转移矩阵、正态检验。验证团队可以使用样本外检验、域外检验和时段外检验的方式，对比不同样本数据的测试结果，对模型的稳定性做出判断。
需要说明的是，检验的指标值需根据实际情况作出判断，不能完全照搬理论。比如，查看模型AR值的时候，注意并非AR值越高越好。借鉴银行同业的实践经验，风险区分能力良好的评级模型其区分能力指标AR值应介于0.4至0.6之间。如果过高，可能存在过度拟合问题。考虑到模型过度拟合问题是银监会在第一批申请合规银行的评估工作中提出的重点关注问题之一，需要引起足够的重视。再比如，使用转移矩阵方法验证模型的稳定性，理论上 MobilityMetric值越小，代表评级变动的幅度越小，评级越稳定。对于MobilityMetric值来说，并没有统计方法来计算取值标准，最好的方法是根据实践经验由专家设定取值的标准，通常，行业普遍接受的MobilityMetric值是0.6(但是考虑到模型敞口不同，该标准也会适当的调整)。
第六，模型开发软件的选择。根据银监会的监管要求，评级模型的开发过程应当具有良好的可复制性，每个建模步骤需要详实的程序代码记录，确保建模过程能够被第三方（如模型验证者、模型审计者等）有效复制。借鉴国内银行同业的评级模型开发实践经验，大中型银行通常选择SAS、Matlab等统计软件作为评级模型开发的主要工具，数据的存储与关联主要通过Oracle、DB2、SQL_Server等数据库实现。验证团队可对照此标准查看建模软件的选用是否符合标准。
四、对内部评级应用及IT系统的验证
依据监管指引，商业银行应确保内部评级和风险参数量化的结果应用于信用风险管理实践。内部评级模型的实际应用情况是商业银行内部评级初级法和高级法合规达标的重要参考依据。具体而言，商业银行若要申请内评初级法合规就要实现内部评级模型的核心应用，且在高级应用方面有所涉及；商业银行若要申请高级法达标，则需要实现内部评级模型的全部核心应用和高级应用。投产前验证阶段，验证团队要查看本行是否就内部评级模型的应用做出规定，是否已经嵌入到相关的制度和流程之中，是否对于应用的细节包括推翻等做出规定，商业银行的应用部门是否充分了解不同模型方法的局限性，并针对性地采取了措施。查看本行是否有持续验证与优化的安排，查看商业银行是否确有足够数量的验证人员。
对于内部评级IT系统验证的技术手段就是穿行测试，就是由验证团队编写测试用例，在IT系统上进行实际操作。主要测试点在于：系统是否内部嵌入了正确的模型以及正确的流程，查看参数表是否可调整，系统是否支持推翻等功能，推翻等功能设计与制度规定是否相符，系统是否支持持续验证，是否将持续验证的程序和方法嵌入系统，是否支持内部评级模型的应用，是否具有良好的接口管理功能；是否能够与RWA引擎、限额管理系统、基于RAROC的绩效管理等系统相连接；是否支持统计报表和报告的功能。验证团队还应审核内部评级的程序编码是否经过生产测试，能否给出准确的评级结果。
五、对内部评级模型开发相关文档的验证
合规文档是银监会合规检查的重要方面和主要手段，因此合规文档的全面性是整个合规申请的重点。根据监管要求和商业银行达标实践，商业银行内部评级模型建立及验证过程的文档应满足的条件是，不借助其他信息，单纯依靠文档就可以再现建模过程、验证过程。验证的方法主要是点对点对标验证，验证团队可按照下列四类文档进行验证点的细分：一是治理类合规文档，包括规定董事会及模型开发与验证团队的职责分工等。二是政策流程类合规文档。包括公开的正式文件对内部评级开发的方法、流程、政策、应用等进行规范；三是过程文档。包括评级目标、资产组合分类、各类风险暴露评级体系的适用性和依据；内部评级模型开发方法论的和技术路线的选择与讨论；数据清洗过程、指标筛选过程、最终模型参数、各阶段验证工作的分析文件和报告；政策和流程的形成依据；向董事会或高级管理层的汇报材料；内部审计报告；其他有助于第三方了解验证合规性的文档。四是全面验证文档。验证主体应对验证过程进行全面记录，形成文档。文档应至少包括验证步骤、结果、报告、已识别的缺陷以及整改措施、改进情况评估等。
【参考文献】
1.梁世栋，商业银行风险计量理论与实务【M】，中国金融出版社，2011.9
2.曹劲，非零售类风险暴露信用风险模型的校准和主标尺开发【J】，国际金融研究，2011.6
3.中国银行业协会，解读商业银行资本管理办法【M】，中国金融出版社，2012.9
4.程功、任宇航，银行内部评级体系模型验证研究【J】，北京理工大学学报（社会科学版），2006.2
5.石智勇、李灏，建立和完善商业银行内部评级验证体系【J】，中国金融，2010.7
（本文发表在北方金融2014年第11期，衷心感谢编者的修改！）