一、內部評級監測體系的設計目標

商業銀行建設內部評級監測體系的目標是，實現自動、及時、全面、自診斷地監測內部評級體系運行情況，包括監測內部評級體系中模型、模型支持體系運行情況，及時發現并診斷內部評級體系運行中存在的問題，為后續實施改進措施如深入驗證、模型優化、應用流程修正等提供依據和支持。監測體系應當實現監測活動的自動化。內部評級模型監測體系要以IT系統和數據集市為核心載體，以人工監測和判斷為輔助手段，大幅度減少監測過程中的大量的人工投入和重復性工作，實現內部評級體系的批量化、自動化監測，同時實現監測的及時性。內部評級監測體系應當是一個覆蓋多維度、全流程、分段負責的完整體系。該體系不僅要監測模型本身的表現，還要監測影響到內部評級模型運行的多種因素，如前端基礎源數據的質量、模型變量波動情況、變量，后端模型支持體系中的模型使用情況等，使監控體系能準確發現、定位模型運行過程中存在的問題環節，并采取相應的管理行動。此外，一個設計良好的內部評級監測體系，還應具有自動化實現和替代大部分投產后定量化驗證功能及問題初步自診斷功能。具體來說，內部評級模型監測體系不僅要能實現各類指標的自動化監測，還要能按照一系列內置的專家規則，最大限度判斷模型存在問題以及可能的原因，為全面、深入驗證和診斷問題提供支持。

二、監測體系的運行職責

內部評級模型生產、投產前驗證、應用、投產后驗證的完整生命周期涉及的幾類最基本的角色包括：模型設計主體、驗證主體、內部評級流程與政策制定主體、模型應用主體。內部評級體系已經深入應用到銀行業務流程中，涉及信貸業務多個環節，因此，內部評級體系的監測職能也須由多個部門/機構組成、分段承擔不同的監測職能。具體來說，模型設計主體、模型應用主體、應用政策制定部門以及具體使用內部評級模型的銀行分支機構，分別承擔各自環節的監控。首先，作為內部評級模型設計主體（一般是商業銀行的風險管理部門），要承擔內部評級體系監測的牽頭責任和部分具體責任。牽頭責任體現在該部門要設計好全行內部評級體系監測的框架，讓內評體系各主體明確各自角色、各司其職，保障內部評級體系的順暢運作，組織每個部門對各自負責流程環節運行情況開展監控。部分具體責任指模型設計主體要具體負責內部評級模型的部分監測工作。內部評級模型設計主體是內部評級監測體系的核心組成部分之一。其次，模型應用政策制定部門、模型應用部門和銀行分支機構也要承擔各自業務組合、各自流程環節的內部評級體系使用情況的監測責任。銀行內部評級應用的實踐顯示，模型的表現不僅與模型設計是否合理有關，很大程度上更取決于模型應用政策設計是否合理，模型應用是否恰當等因素，因此，各流程負責主體理當承擔起該環節監測的責任。如評級推翻管理部門要負責評級推翻情況的監測，一旦出現評級推翻率大幅上升，必須通知模型監測和驗證團隊、模型開發團隊以及模型應用部門。IT部門要牽頭監控IT系統的穩定性、安全性，并確保數據傳輸的質量；零售業務條線要對零售申請評分卡的自動通過率進行監測。銀行分支機構的對應條線，要對該分支機構的資產組合內部評級體系運行情況進行監測，并對業務數據真實性、完整性負責。再次，在模型開發團隊和模型驗證團隊中，開發團隊應承擔內部評級模型的主要責任，驗證團隊擁有獨立的監測和驗證職能，以確保驗證的獨立性，并及時根據監測情況，決定是否開展投產后驗證。兩個團隊的基礎設施如風險數據集市、驗證算法等可以在經過獨立審核后共享。最后，銀行應當明確監測信息的匯總和報告職責。在模型新上線或調整、優化時，開發團隊需要將模型信息反饋到模型驗證主體，并將部分數據更新到數據集市。模型投入到使用后，各監測主體要把日常監測結果反饋給模型監控牽頭部門（包括模型設計主體、驗證團隊）。模型使用部門要把模型使用情況定期發送給模型開發團隊、模型驗證團隊，以開展匯總分析。

三、內部評級監測體系的內容框架

監測體系主要監測內部評級模型以及內部評級模型支持體系的運行情況。模型部分主要監測模型和風險參數情況；模型支持體系部分主要監測保障模型的各類支持條件運作情況，如模型輸入的數據質量、模型輸出的結果、模型應用的情況等。需要注意的是，很多在模型監測環節發現的問題，實際上根源在模型應用、管理中。因此，內部評級監測體系必須要以模型監測結果為出發點，以內部評級支持體系監測為輔助，建立逐層剝筍式的監測結果診斷、分析模式，才能找到內部評級體系存在的問題根源。具體來說，監測體系應包括如下內容。1.要設計好反映內部評級體系整體運行情況的儀表盤監測體系需要設計內部評級體系整體分布的概覽展示功能，給出具體模型的模型風險等級狀態，供管理人員對各模型運行狀態進行整體把握和判斷。監測維度包括內部評級模型應用敞口的類別、模型類別、模型名稱、模型統一編號、模型適用領域，模型風險等級等信息（紅黃綠燈），并對模型的總數、問題模型數量進行統計。2.要把內部評級模型的監測作為核心內部評級模型監測的核心是監控模型的區分能力、準確性（審慎性）和穩定性。其主要目的是通過定量的手段，及時發現模型運行狀態，并對所估計的風險參數是否符合監管和內部要求進行監控。模型區分能力是信用風險評級模型最重要的能力之一，也是模型應用部門和分支機構最關注的內容。通俗講，內部評級體系的區分能力指的是能有效區分客戶/債項的風險的能力。良好的區分能力，意味著內部評級結果為高評分、高評級的客戶對應的是低風險的客戶。在統計上，一般采用KS值、AR值、AUC系數、ROC曲線等統計指標來衡量模型的區分能力。一般來說，這兩個指標越高，模型區分能力越好。模型的準確性有多種理解。一般來說，模型準確性主要包括模型輸出的風險參數量化準確性、模型本身的準確性。對實施內部評級初級法的銀行，主要監測風險參數違約概率PD的準確性，比較每個等級下內評法估計的PD與實際違約率PD之間差異程度。在零售內部評級中，要同時監測債項PD/LGD/EAD和實際結果的差異。由于監管機構更關注風險參數估計的審慎性，還需要單獨對審慎性開展監測。從統計結果上看，一般采用二項檢驗、正態檢驗等方法進行準確性（審慎性）的定量監測。另外，內部評級模型本身的準確性，一般納入到區分能力部分進行監測。穩定性指的是，當內部評級模型的客戶群發生漂移時，內部評級模型區分能力和風險參數值保持相對穩定。區分能力的穩定性要通過監測連續幾個時間點的區分能力指標來評估。風險參數的穩定性要在客戶群沒有發生劇烈變化時保持相對穩定。除了監測模型本身能力和風險參數穩定性外，還需要綜合考察內評應用客戶群體的穩定性，才能更具前瞻性地預測可能的沖擊對模型穩定性造成的影響。從定量監測技術上看，模型本身能力的穩定性和風險參數的穩定性可以通過考察時間軸上的區分能力指標、風險參數指標的波動程度來實現，而客戶群體的穩定性監測可以通過評級遷徙、群體穩定性指數PSI等指標來實現。除了在上述三大主要維度對模型開展監測以外，針對某些內部評級模型，還有一些專項監測需求。如在建模時形成的零售分池結構，隨著客戶群的變化，原來分池結構下的客戶群體可能發生了較大變化，因此要對零售分池是否仍然滿足池內同質性和池間異質性開展監測；將具有特定的監管要求的資本計量風險參數納入到監測范疇；零售風險領域需要對是否存在成熟性效應、成熟性效應調節因子進行監測。在零售評分卡與分池、非零售評級等領域對模型輸出的結果如集中度等進行監測等。3.要建立內部評級支持體系監測這部分內容是銀行內部體系監測中相對薄弱的環節。內部評級支持體系包括內部評級體系的治理架構、模型的使用政策和流程、數據、IT系統、模型應用、模型開發和應用文檔等。其中，模型的使用政策和流程、數據、模型應用情況均可納入內部評級監測體系中，而這些監測內容中，最主要的是模型應用情況。通過對應用情況的監控，可以評估應用政策和流程設計的合理性、政策和流程執行的有效性，以便有針對性地對評級政策和流程進行及時重檢。具體來說，模型應用情況包括分支機構/客戶經理對模型輸入信息的錄入、發起評級評分、調整、推翻、認定等環節。以非零售評級應用為例，在評級之前的信息錄入環節，需要監控錄入信息的準確性。如可以對客戶評級信息的定性指標分布進行監測，通過分布合理性判斷客戶經理提供的信息是否正確。否則，一旦錄入錯誤信息，將導致輸出錯誤的模型結果，給客戶真實風險判斷、授信審批決策帶來極大的風險。在后端評級中，要對評級發起、評級調整、評級推翻、評級審定環節進行監測，以實現對區域、分行、模型、各流程不同環節控制的有效性以及評級流程設計的合理性。在評級發起環節，需要監測評級覆蓋率，以統計因沒有及時發起評級而導致客戶評級出現真空期的情況，或者因客戶評級發起及時性不足導致客戶評級結果和客戶真實情況發生偏離的情況。通過定量信息監控模型可以監控使用人員是否使用錯誤的模型發起評級，導致對客戶風險判斷失誤，以及模型使用人員是否為了規避信貸政策準入要求，采用錯誤的行業、模型發起評級；在評級調整環節，需要監控特例調整政策的使用頻率分布、是否執行評級調整、評級調整有效性等要素，以診斷特例調整政策的使用頻度、特例調整政策的有效性等；在評級推翻環節，需要監控評級推翻率總體水平、不同區域/分行模型的評級推翻率、向上推翻比率、向下推翻比率等要素；在評級審定環節，需要監控評級審定和系統評級、調整后評級的偏離情況。零售內評體系主要監測評分卡的自動審批通過率、人工挑選政策有效性、人工審批政策效果等，以實現對評分流程設計合理性和執行有效性的監督。模型支持體系主要監控關鍵定義（如違約定義、違約損失定義）的應用情況，監控是否存在應當判定為違約的客戶，沒有及時判定為違約；不應該判定為違約的客戶，被誤判為違約的情況。

四、內部評級監測體系的IT系統和數據體系

內部評級監測需要依賴一系列的工具和基礎設施，其中最主要的基礎設施是監控IT系統和數據集市。沒有IT系統和數據集市的支持，監控體系的主要功能將無法實現。1.監測體系依賴于完備、高質量的數據體系要基于全行數據倉庫和數據集市，建立完整的內部評級監測和驗證數據集市，并依托該集市建立監測IT系統，開展自動化的模型驗證與監測。該集市至少要包括模型輸出結果（如評級/評分結果）、客戶表現情況（如是否違約、評級中間變量、評級原始信息、人工調整情況等）完整維度的信息。在此基礎上，要形成模型關鍵信息登記表，對內部評級模型的關鍵變量、變量從前臺業務流程系統到后臺風險數據集市流轉進行全面的記錄，以確保監控體系中的信息與業務流程中的數據信息一致。2.內部評級監控IT體系內部評級監控IT體系主要由三部分構成：一是依托監測和驗證數據集市，建立自動監測模塊，實現整個內部評級體系的形象化展示和靈活報表查詢功能，實現監控功能的集中化、自動化、批量化；二是基于風險數據集市的模型開發和數據挖掘平臺（如模型實驗室）實現手動監控功能，可以隨時根據管理需要動態開展信息挖掘、監測分析，滿足監控的特色、應急功能需求；三是設立內嵌在評級評分業務流程系統中的內部評級監測模塊，為業務條線、分支機構提供查看實時監測分析結果的渠道。上述IT系統可滿足前中后臺、不同時效要求的監控功能，形成完備的內部評級監控IT體系。其中，基于內部評級體系的監測IT系統是整個監控體系的核心。3.在監控體系中建立監控信息匯總和反饋機制針對一些分支機構在應用模型過程中反饋的非結構化數據（如評級推翻管理部門的評級推翻具體案例信息、模型應用部分的分支機構人工反饋信息等），要在IT系統中提供反饋、匯總和信息保存的環境。4.設定模型風險判定規則，并預留專家調整入口基于上述數據和信息，在內部評級監控系統中設定模型風險判定規則，并預留專家調整入口，實現模型風險等級判定以信息系統中的判定規則為主、輔助人工判斷的模式。

五、內部評級監測體系的應用模式

內部評級監測是內部評級模型生命周期管理活動的一個環節。根據模型監控結果，可以開展模型問題診斷、提出后續管理行動等，設計良好的監測體系，可實現模型投產后的部分驗證功能，大幅減輕驗證的人工投入。監控結果應用主要包括以下內容。一是，根據監控結果形成初步診斷結論。首先根據模型監測結果開展模型風險等級分類，根據模型監測結果、模型應用情況監測結果等支持體系信息，以及其他定量分析和定性判斷信息，將內部評級模型按照模型風險高低分為紅、黃、綠燈三類。紅燈類代表模型在運行過程中出現了重大缺陷，已經無法正常發揮功能，如模型區分能力連續一段時間低于底線，所估計的風險參數和實際情況出現嚴重偏離等；黃燈類代表模型基本功能滿足要求，但是存在一些瑕疵。如客戶群體穩定性偶爾出現一些波動，但基本不影響模型區分能力等；綠燈類表示模型運行狀態良好，無明顯的瑕疵。二是，對模型監控結果進行抽絲剝繭式的診斷分析，找到模型表現不好的真正原因。銀行在內部評級監控中發現的問題，往往背后有一系列錯綜復雜的原因，大體可分為兩類：一類是模型設計問題，如建模方法不合適，當采用絕對值作為變量進行建模，在經濟環境變化幅度較大情況下，可能導致模型應用后客戶群漂移以及模型區分能力迅速下降的情況；或建模方法基本合理，但部分指標設計不佳，難以互相印證、核實，帶來客戶經理誤用、亂用模型的安全隱患。另一類是模型應用問題，此類問題在模型應用的各環節都有可能存在，如前文提到的信息錄入環節的虛假財務報表，虛高定性指標打分等；評級發起環節的未及時發起評級，采用錯誤的行業、模型發起評級，規避對客戶的信貸政策準入要求；評級調整環節的未嚴格按照特例調整要求進行調整；評級推翻環節的評級推翻率過高等。上述情況都可能對客戶真實風險判斷產生誤導。三是，根據監控和診斷結果，采取有針對性的管理行動。模型風險監控結果為紅燈的，要根據診斷的原因，明確內評體系各負責主體部門的責任，并交由各主體立即采取整改措施。對于模型本身的問題，應盡快優化模型，在開發時預留了備份模型的，盡快研究備份模型切換；對于風險參數估計不審慎問題，要定期根據監管要求進行調整；對于評級管理和評級流程環節的問題，要采取有針對性的管理措施，通過軟約束（以文件形式制定規范）和硬約束（通過IT系統實現硬控制）等方式，調整管理流程；對于由于信貸政策和評級結果掛鉤嚴格等原因導致的問題，要由有關部門共同討論模型應用政策是否需要修訂。模型風險監控結果為黃燈的，模型開發和監測團隊要加強監控，關注產生波動的某些變量和整體客戶群體的漂移，提前對模型可能發生的變化開展預警。一個設計良好的內部評級監控體系，應當能監控模型運行各環節中發生的大部分問題。對于諸如內部評級系統的穩定性評估、內部信息源系統數據質量評估等難以用監控體系量化分析的模塊，以及一些無法用監控體系應對的突發狀況等，可采取投產后驗證，對模型運行情況進行專題驗證和診斷分析。

六、有關建議

一是盡快建立和完善模型監控IT系統模塊、監測和驗證數據集市，徹底改變之前內部評級監控體系半手工半自動、不同模型分散化監控的模式，建立集中化、自動化的監控IT系統，提供形象、直觀的內部評級體系儀表盤指示臺。不斷完善模型監測自診斷判斷規則，并將其內置于監控系統中，實現判定規則為主、人工判斷為輔的模型風險等級判定過程。二是重點完善模型支持體系監測。模型支持體系是當前銀行內部監測體系中相對薄弱的環節，也是目前模型風險的主要來源和監管機構檢查關注的重點。具體來說，應針對模型的使用政策、流程、數據、模型應用情況等，按照職責分工開展監測，并將監測結果納入到整體內部評級監測體系中來。三是建立模型使用信息反饋機制，建立信息通暢的模型監控匯總和反饋渠道。評級推翻管理部門的評級推翻具體案例信息、分支機構的模型使用情況等信息要及時通達到業務主管部門、模型開發團隊和模型驗證團隊，形成對監控信息的及時有效補充。四是建立模型應急管理機制。在未來的模型開發過程中，應當盡量形成上線模型和預留備份模型。在模型監測過程中，一旦發現模型狀態較長一段時間停留在紅燈狀態，經審核確認后，應當及時切換到預留備份模型，以減少對各項業務的沖擊。同時，在新一代內部評級計量引擎中，應當預留好模型版本切換接口，以支持模型迅速切換。

作者：朱良平 單位：中國建設銀行股份有限公司風險管理部