- Brasil
-
Global Sites
Revista Tecnologia de Crédito
Geração de Intervalos de Confiança para Relatórios de Monitoramento de ScoringEdição 36
Introdução Relatórios de performance e estabilidade populacional são ferramentas tradicionais de acompanhamento de modelos de credit scoring e behaviour scoring. Se o relatório de performance procura avaliar o quanto os resultados de inadimplência obtidos na carteira diferem do esperado pelo desenvolvimento do modelo de scoring, relatórios de estabilidade populacional procuram avaliar o quanto a população atual de solicitantes de crédito difere da população utilizada originalmente para desenvolver o scoring. Em ambos os casos a amostra de desenvolvimento do modelo de scoring é adotada como um padrão absoluto. Por exemplo, se um consumidor com score entre 300 e 400 tivesse uma inadimplência de 30% no desenvolvimento do modelo, consideraríamos que o score está funcionando conforme o previsto se esse valor se replicasse às safras de clientes seguintes. Entretanto, o valor de 30% utilizado nesse exemplo expressa uma média, um valor esperado. Na realidade, a inadimplência em clientes nessa faixa de score pode assumir uma série de valores que seguem uma distribuição estatística cuja média é igual a 30%. Essa distribuição contém uma informação muito útil no momento de avaliar se o modelo está fornecendo os resultados esperados. Tradicionalmente são utilizadas medidas que comparam distribuições para avaliar tanto a performance do modelo quanto a estabilidade populacional. Assim, utilizamos a medida de Kolgomorov-Smirnov de duas amostras para avaliar a performance de predição do modelo. Para avaliar a estabilidade populacional em relação à distribuição da população pelas classes de risco e pelas categorias das variáveis preditivas, utiliza-se a medida de Kolgomorov-Smirnov de uma amostra e a medida chi-quadrado, respectivamente. Essas medidas atendem à necessidade de avaliação do modelo e da população como um todo, mas não permitem gerar conclusões sobre zonas específicas de score ou de uma categoria específica de uma variável preditiva. Este artigo visa a apresentar métodos para gerar intervalos de confiança para inadimplência em cada classe de risco do modelo e para proporções em tabelas de distribuição de variáveis preditivas, complementando a análise realizada pelas medidas estatísticas tradicionais. Intervalos de Inadimplência Gerados por Simulação de Monte Carlo Um modelo de scoring desenvolvido por regressão logística é expresso na forma de probabilidade de inadimplência(1) e apresenta a seguinte formulação:
na qual f é o logit e é definido por:
Sendo que Xi são as variáveis preditivas (características do consumidor), Bi são seus respectivos pesos, n é o número de variáveis, A é o intercepto e P é a probabilidade de inadimplência. Segundo HOSMER e LEMESHOW (2000) o intervalo de confiança para a probabilidade estimada de uma observação(2) em específico é:
no qual SE[f(x)] é o erro-padrão do logit, a é o nível de significância desejado e z1-a/2 é o percentil 1-a/2 da distribuição normal padrão. Podemos dizer que a probabilidade real de inadimplência de uma observação está dentro dos limites acima, com nível de confiança igual a 1-a. O intervalo de confiança para uma observação em específico é função do vetor de variáveis preditivas x, o que significa que cada observação apresentará um intervalo diferente. Entretanto, nosso objetivo não é analisar observações isoladas, mas sim gerar um intervalo de confiança para a expectativa de inadimplência em uma classe de risco, definida por uma faixa de valores de score. Esse objetivo pode ser atingido por um processo de simulação de Monte Carlo. A simulação de Monte Carlo gera um número muito grande de valores de uma variável segundo uma determinada distribuição estatística. No nosso caso, sabemos que o logit de uma observação apresenta uma distribuição normal com média f(x) e desvio-padrão SE[f(x)]. Assim, gerando valores para o logit, segundo essa distribuição, e aplicando a fórmula logística, conseguimos simular um valor da probabilidade de uma observação. Para gerar a distribuição da taxa de inadimplência em cada classe de risco, o seguinte processo deve ser realizado: 1. Simular valores de probabilidade de inadimplência para cada observação da amostra de dados. 2. Simular a performance de crédito de cada observação (inadimplente/não inadimplente) de acordo com a probabilidade obtida acima. 3. Calcular a probabilidade de inadimplência de cada classe de risco utilizando a performance simulada de cada observação (probabilidade = inadimplentes/total). 4. Repetir os passos anteriores milhares de vezes. Ao repetir o processo milhares de vezes, obtemos milhares de valores de taxa de inadimplência para cada classe de risco, gerando uma distribuição estatística para cada classe de risco. A partir dos percentis dessas distribuições pode-se obter os intervalos de confiança desejados. Figura 1 A Figura 1 apresenta os resultados obtidos por intermédio de 10 mil simulações para um modelo de credit scoring. Para cada classe de risco são apresentadas a inadimplência média, os percentis 5% e 95% e a distribuição da taxa de inadimplência. Os valores do logit e de seu erro — padrão necessários para os cálculos são fornecidos como output nos softwares de desenvolvimento estatístico. As simuções foram realizadas utilizando o software SAS. Intervalos de Proporção Gerados por Bootstrap Relatórios de estabilidade populacional analisam diferenças entre as distribuições de variáveis preditivas na amostra de desenvolvimento e nas safras subseqüentes de proponentes. Analisamos, por exemplo, se a proporção de proponentes com estado civil casado em uma safra atual difere ou não da proporção obtida no desenvolvimento. Para obter intervalos de confiança para esse tipo de proporção pode ser utilizada uma técnica de reamostragem chamada Bootstrap. O processo consiste em gerar novas amostras aleatórias a partir de uma amostra original. Para tal é realizado um processo de amostragem com reposição a partir da amostra de dados original. Pode-se utilizar o método de Bootstrap para extrair um número muito grande de amostras a partir da amostra original de desenvolvimento(3). Cada uma dessas amostras apresentará uma distribuição para cada variável preditiva. Tomando como exemplo o caso de estado civil casado, cada uma das amostras de Bootstrap apresentará uma determinada proporção de casados, que juntas representam uma distribuição estatística. O intervalo de confiança da proporção de casados pode ser obtido diretamente dos percentis dessa distribuição. Figura 2 A Figura 2 apresenta um exemplo da aplicação da técnica em que foram extraídas 10 mil amostras de 3 mil observações cada para gerar distribuições das proporções das diversas categorias da variável preditiva idade. Foi utilizada uma amostra original de 20.000 observações. O processo também foi realizado em SAS. Conclusões Os métodos apresentados são um instrumento eficaz para aperfeiçoar a avaliação de performance e de estabilidade populacional em modelos de scoring. Apesar dos métodos serem intensivos em recursos computacionais, eles podem ser implementados em softwares já largamente utilizados para desenvolver modelos de scoring e só precisam ser realizados uma única vez para definir intervalos de confiança que podem ser utilizados na avaliação de diversas safras de proponentes de crédito. Notas 1 Um modelo muitas vezes utiliza como score a probabilidade de inadimplência dada a probabilidade a priori de 50% de inadimplentes na população. Para obter a probabilidade de inadimplência ajustada às probabilidades a priori reais da população de solicitantes de crédito é necessário um ajuste no intercepto do modelo. Para que o score fique em uma escala de 0 a 100 ou de 0 a 1.000, normalmente o valor da probabilidade é multiplicado por 100 ou 1.000. 2 Uma observação é um elemento da população que pode ser um solicitante de crédito ou uma operação de crédito. 3 Deve-se atentar para que a amostra de Bootstrap tenha um número de observações igual ao número de proponentes médio de uma safra. Se a amostra de desenvolvimento for estratificada entre bons e maus clientes, deve ser feita uma extração em separado de bons e maus clientes para obter-se, em média, o número de bons e maus clientes de uma safra. Bibliografia HOSNER, D. W. e LEMESSHOW, S. Applied Logistic Regression. Second Edition. John Wiley & Sons, 2000.
Fabio Wendling Muniz de Andrade é engenheiro pela URFJ, mestre em Administração de Empresas pela COPPEAD/UFRJ, doutorando em Administração de Empresas pela FGV e ocupa a posição de Gerente de Modelagem Matemática da Serasa.
