内部评级模型验证与优化范文

《金融理论与实践杂志》2015年第八期

2014年4月，银监会正式核准六家大型商业银行的资本计量高级方法实施[1]申请，标志着我国新资本协议实施进入了新的阶段。大多数股份制银行已初步构建了内部评级体系，并将初级法合规达标提上了议事日程。实施新资本协议，提高风险衡量的准确性和可靠性是银行风险管理发展的必然趋势（刘吕科，2012）[2]。在新资本协议实施的推动下，国内绝大多数大型商业银行建立了以内部评级模型为基础的风险计量体系[3]。随着模型结果应用的不断深入，模型风险①越来越受到重视，模型的准确性、稳定性和审慎性不仅只是监管关注重点，也成为各业务领域，包括资负、评审、资产监控等广泛关注的课题[4]。首先，采用内评法的银行，资本要求的变化和评级模型结果紧密相连，模型准确性与可靠性直接影响到资本管理的效果；其次，评审人员从业务直觉和经验的角度会对客户风险状况做出一定的判断，如果模型结果与评审人员直接判断偏差过大，会导致评审人员难以在信贷准入标准、利率及期限核定等方面对客户做出一致性判断；再次，模型不准确，也会在一定程度上导致银行授信政策偏离政策设定的初衷，导致银行风险偏好与实际风险承担偏离；最后，模型结果不准确直接导致风险调整收益指标不准确，在此情景下难以对被考核者做出公正的评价。总之，评级应用越深入，越广泛，模型结果可能带来的争论、质疑、困惑、挑战就越多。很多情况下，业务部门倾向于以主观经验质疑模型统计，以特殊个案挑战综合性评价，造成模型开发主体或者过于迁就业务部门，导致评级成为“花瓶”，或者罔顾业务部门的争议，在模型开发或优化时都以绝对的统计规律为准，造成模型结果在业务部门引起反弹，模型很难得到深入和广泛的应用。在此情形下，模型验证是支撑模型优化，确保模型准确性与可靠性的有力工具。验证结果也有利于平复模型相关方，包括模型开发、授信评审、资本管理、绩效考核和内部审计等的争议，相关方以模型验证结果为依据更易于在模型开发、管理与应用方面达成共识，有利于评级模型的深入应用。因此，建立一个完善的验证管理体系，定期持续对模型表现进行监控，并针对验证结论对模型进行优化是模型深入应用的有力保障。本文结合行业实践，分析了评级模型表现衰减的潜在原因，结合原因给出了验证方案，并依据验证结论分析了模型优化的主要方法与路径。

一、模型表现衰减的原因

从业界实践看，评级模型在上线之初，都具有较好的准确性、稳定性与审慎性。但绝大多数评级模型在上线运行一段时期后，模型的准确性和可靠性都会出现一定程度的衰减，各类指标如AR值和KS值都有所下降。除了指标值的表现之外，还有一些出现违约的客户，在违约之前评级级别很高，出现所谓的“评级悬崖”，从侧面反映了模型较差的表现。还有一些重新优化后的模型，由于结果变化较大，造成评级分布的较大迁徙，导致监管资本计算与配置、绩效考核等都出现较大波动，引起业务部门的较大反弹。模型衰减的背后原因很多，如宏观经济形势变化、产业结构变化、应用等等。综合起来原因可分为以下几类。一是宏观经济环境已明显改变。大型商业银行普遍在2012年之前完成了内部评级模型的开发，但与模型开发时的经济环境相比，当前宏观经济环境已发生了较大变化，某些资产组合的整体信用状况及风险特征已发生了较大改变。二是数据输入质量有待提高。一方面中小企业财务报表的真实性较差，另一方面还存在一些客户经理处于某种考虑故意调高甚至更改客户的部分数据，尤其是在定性指标方面，一些银行的定性评分成为客户经理操纵评级结果的工具。模型构建建立在数据真实的基础之上，虚假数据混淆了模型表现，降低了模型预测效果。三是评级管理不规范。一方面一些银行评级流程设计不科学，导致大量的“业务驱动型评级”现象，大量的级别集中在准入级或其他与信贷政策挂钩的级别，完全没有反映客户的真实风险状况；另一方面一些银行评级工作较为随意，不评级或不及时评级的现象较为突出。通常情况下，当客户信用质量发生恶化时，客户经理倾向于把问题掩盖到最后，不会及时更新评级，使得评级具有较大的滞后性，难以反映客户风险状况的变化。

二、模型验证思路

在一定程度上，模型验证不应被仅仅视为是为了新资本协议达标。与模型开发一样，模型验证既是科学也是艺术。模型准确性出现各种问题，背后的原因不一定是模型自身的问题，可能是由于多种原因造成的。因此验证应结合模型表现，找到模型衰减的背后原因，并进行有针对性的优化。模型验证思路对找出模型衰减的原因以及后期的模型优化至关重要。验证应有合适的比较基准，从国内银行实践看比较基准一般参照巴塞尔内部评级法，但巴塞尔协议的要求仅仅是满足了合规要求，并不一定满足内部管理需要或最佳实践要求，因此银行在验证工作中还应结合自身业务情况对标业界最佳标准。从验证内容上看，首先应考察模型文档维护情况，包括开发及应用文档的完备性，开发文档的可追溯性等；其次要评估模型开发流程，包括开发流程的规范性，关键定义的合理性等等；同时，还要考察开发样本的适用性，包括其风险预测能力、资产组合分布和周期敏感性等内容；此外，还应分析模型校准情况，包括主标尺、违约中心趋势、得分与等级映射关系等内容；最后，应重点评估评级流程与后督机制，如治理架构、评级流程完整性、评级应用、内控和审计、验证、差距弥补机制等。在每一个子模块都对标监管要求或业界最佳标准，得到验证结论。验证结论有两种，一种是定性的评价，如文档不完备或开发过程不合规等；另一种是通过各类指标定量表现的验证结论。对于定量评价结论，总体上看，主要有以下几类：一是具有较好表现的模型。模型的AR值较高（AR值达到50%以上），审慎性及稳定性都通过了给定置信水平下的检验，实际违约率也呈指数上升趋势。二是整体偏移的模型。虽然模型的区分能力较好，如AR值均较高（AR值达到40%以上），但难以通过二项检验及卡方检验，模型的准确性和审慎性较差，但实际违约率仍呈指数上升趋势，说明模型出现了整体性偏移，或对应的资产组合出现了整体性的信用状况恶化。三是部分级别准确性较差。模型总体AR值达到一个较好水平，如30%，但个别等级没有通过二项检验，这些级别的准确性较低。背后的原因可能是业务驱动评级导致的评级过度集中。四是完全无效的模型。此种情况下，模型总体的AR值较低，很多级别也难以通过二项式检验，总的稳定性也较差。

三、模型优化思路

验证结论较差并不一定意味着必须进行模型优化。因为无论验证方法多么先进，很多情况下验证结果是非结论性的。一是在大部分情况下，违约案例有限造成方差过大而无法得到有意义的结论。二是正如前文所述，模型结果准确性和模型应用紧密相连，很多时候是因为模型推翻率过高或推翻幅度过大造成了评级结果与实际情况的较大偏差。另外，外部环境的变化也影响到模型应用，进而影响到模型准确性与稳定性，如银行的目标客户群变化、授信标准变化、某些地区或行业的系统性违约，这些是任何模型都无法预测的。深入地分析模型准确性背后的原因是至关重要的。如，是不是因为经济周期上行阶段，违约数量积累较少，授信政策或银行的业务发展战略是否发生了较大变化，数据录入是否过于随意，要综合考虑究竟是模型设计存在问题还是模型使用不当造成了模型的准确性降低。对于定性评价结论，如数据代表性不足或建模过程不合规等，应及时进行补充完善；对于整体偏移的模型，模型自身的指标体系及权重不需优化，只需进行校准调整，修正模型结果单方向偏离的状况；对于整体表现较好，部分级别准确性较低的模型，也无须进行重新建模，要深入分析背后原因。背后原因可能是评级级别切分不当，也可能是业务驱动评级导致“评级悬崖”造成准入级别准确性较差，如果是后一种原因，则应加强和规范评级管理；对于基本失效的模型，需要进一步分析是否需要重构模型或是仅需调整个别指标和权重，很多情况下，这类模型都需要重新开发，全面优化。图2模型优化思路资料来源：作者整理。

总之，对于不同的问题，采用针对性的优化策略。第一种优化策略是强化评级管理，此种策略针对业务驱动导致的评级不合理集中。可以在评级流程中增加刚性控制手段或安排更多的培训，或从数据输入端提高数据输入质量，或提高定性指标的客观程度等等；第二种优化策略是微调模型，如针对区分能力较好，准确性和审慎性快速衰减的模型，进行校准调整，在兼顾计量结果和业务实际的前提下把握模型准确性和业务应用的平衡，或针对某类模型，在不改变模型结构和主要模型指标的情形下，更新指标权重；第三种优化策略是显著调整模型，如重新划分模型敞口，或重新设定指标标准值等；第四种优化策略是进行模型重建，即舍弃现有模型，利用新的样本，重新开发模型。从业界实践看，通常情况下银行大部分采用第一种至第三种策略优化模型，第四种策略仅针对那些严重衰减的模型，并且采用第四种策略应注意新的模型和原有模型结果差异较大对信贷授信准入、定价、资本管理等方面造成的冲击与波动。

四、总结

模型开发、验证与优化是一个相互衔接的完整流程，必须纳入完善的模型管理体系，除了模型开发、验证、优化，完善的模型管理体系还包括审计、参数管理和模型审批机制。在模型开发、验证、优化和应用的整个流程中，审计应核查流程的合规性，并评估重要参数和模型表现；同时，银行应建立完善的参数管理体系，规范参数归属、重要性分级、维护和更新流程等；此外，还应有完善的模型审批机制，确保重要模型上线或参数更改有各层级不同类型人员参与审查。这些辅助措施为模型验证与模型优化提供了有力支持，和验证与优化一起成为模型管理的“组合拳”。虽然模型验证和模型优化在一定程度上确保了模型的准确性、稳定性和审慎性，但很难保证模型预测的前瞻性。因此，应加大数据整合，提高数据更新频率，将潜在风险的可能迹象及时反映在评级更新中，提高预警能力。同时，有条件的银行应积极开发宏观预警模型，将宏观经济、行业、地区层面信用风险状况的变化及时引入到评级模型中，提高模型预测的前瞻性。

总之，模型验证与优化是一个有机结合的整体，是模型管理体系的重要组成部分。模型验证是模型优化的基础和依据，验证工作应覆盖全面，应针对不同的验证结论，深入分析模型准确性背后的原因，结合不同的原因制定相对应的优化措施，真正做到模型管理有的放矢，确保模型在正确的轨道上运行。

作者：刘吕科 郭代 单位：重庆旅游职业学院