Metodologia



1.  O IGM 2.0

A revisão da metodologia do IGM envolveu 3 etapas apresentadas na figura abaixo. Na primeira foi realizada uma revisão dos indicadores, na segunda a revisão do modelo de cálculo e na terceira realizada a apuração do desempenho seguindo essa nova metodologia.

3 etapas


Acesse a metodologia do Índice Firjan de Gestão Fiscal


Dentro desse processo de revisão do IGM foram estabelecidos dois princípios norteadores. No primeiro, a cobertura de municípios do IGM com nota deveria ser mantida ou ampliada e, na segunda, a periodicidade de atualização dos indicadores deve ser o mais frequente possível de forma que a informação mais antiga tenha até 4 anos.

Dessa forma, o IGM 2.0 deverá ser mais abrangente e dinâmico permitindo uma melhor mensuração do desempenho dos municípios brasileiros.


2.  Revisão dos indicadores

A revisão dos indicadores analisou o banco de dados do IGM que contava com 475 variáveis disponíveis totalizando, para os 5.570 municípios, cerca de 2 milhões e 400 mil dados, e que teve a incorporação de mais de 200 novas variáveis. Dessa forma, com esse banco de dados completo começou o processo de filtro para seleção das variáveis.

A primeira parte do filtro envolveu uma análise qualitativa das variáveis que avaliou algumas características como a periodicidade de apuração, a abrangência da cobertura e a qualidade dos dados. Já a segunda parte, quantitativa, envolveu uma análise de correlação com os demais indicadores do IGM com objetivo de evitar sobreposição e redundância das informações.

Após a pré-seleção das variáveis foi realizado um trabalho de Data Quality com objetivo de tratar a base de dados de eventuais problemas como erros de preenchimento, formato do dado, entre outros. Como resultado desse trabalho de seleção as novas variáveis que compõe o IGM são:

Financas

Desempenho

Gestao

Modelo de cálculo

Com objetivo de melhorar o processo de apuração dos resultados foi construída uma nova metodologia que envolveu 3 etapas. A primeira foi o agrupamento dos municípios com perfil similar, a segunda definir as metas para cada grupo e a terceira uma nova forma de cálculo da nota dos municípios.

  • Agrupamentos dos municípios

A primeira inovação do IGM 2.0 foi utilizar o conceito de cluster para medir e comparar o desempenho de municípios. Ao identificar grupos de municípios com mesmo perfil a comparação fica mais adequada uma vez que os municípios estão submetidos restrições similares.

Assim, a primeira etapa envolveu agrupar os municípios que tenham perfis similares por meio de clusters. Para a criação dos clusters foi utilizado um algoritmo de inteligência artificial para identificar qual variável melhor explicava a variação de desempenho dos municípios e como resultado foram identificadas as variáveis porte[1] e pib per capita.

Assim, um cluster é um subgrupo de municípios que apresenta um porte e um pib per capita similar e, dessa forma, podem ser comparados de forma mais adequada. Como resultado foram definidos 8 clusters apresentados abaixo:

Grupo

Porte

Pib per capita

1

Pequeno porte 1 com até 20.000 habitantes

Abaixo de R$ 15.028

2

Pequeno porte 1 com até 20.000 habitantes

Acima de R$15.028

3

Pequeno porte 2 com 20.001 até 50.000 habitantes

Abaixo de R$14.460

4

Pequeno porte 2 com 20.001 até 50.000 habitantes

Acima de R$14.460

5

Médio porte com 50.001 até 100.000 habitantes

Abaixo de R$20.400

6

Médio porte com 50.001 até 100.000 habitantes

Acima de R$20.400

7

Grande porte com acima de 100.000 habitantes

Abaixo de R$28.900

8

Grande porte com acima de 100.000 habitantes

Acima de R$28.900

Todas as análises, comparações e notas do IGM passam a utilizar esses clusters como referência.

  • Definição das metas

O IGM 2.0 inovou também ao utilizar um sistema de metas para os municípios. Por meio dele será possível definir qual o desempenho esperado para cada variável no município considerando suas condições e potencialidades.

Uma boa meta precisa ser desafiadora, com objetivo de estimular a melhoria, e ao mesmo tempo alcançável. Após realizar o agrupamento foram definidas as metas para cada cluster utilizando como referência o decil dos municípios com melhor desempenho em cada variável. A figura abaixo ilustra uma distribuição de dados e estão destacados o 1º e o 9º decil.

distribuição de dados

As variáveis podem ainda ter dois tipos de polaridade que influenciam na escolha de qual decil será utilizado como referência para a meta. O quadro abaixo apresenta essa diferença:

Polaridade

Decil

Maior-melhor

9º decil

Menor-melhor

1º decil

Ao utilizar como referência para definir a meta o decil dos municípios com melhor desempenho na variável de cada cluster indicamos que ela é desafiadora e alcançável pois 10% de municípios com perfil similar conseguem superar esse resultado.

Essa nova metodologia de metas por cluster reduz o problema de municípios que sejam outliers, e por isso, poderiam distorcer a referência e desempenho de todos os demais municípios. Outro benefício é a sua utilização para identificar e compartilhar boas práticas para os demais municípios com mesmo perfil.


4.  Apuração dos resultados

Com a definição das metas a última etapa é a apuração do resultado de cada município. Para essa etapa foi utilizada como fórmula a diferença entre o resultado atual do município e a sua meta.

Dessa forma, quanto maior a distância do desempenho atual o município para sua meta pior será o seu desempenho. Quanto menor for essa distância maior será a sua nota. Após o cálculo dessa diferença o resultado é convertido em uma nota que varia de 0 à 10. Caso o município supere a meta ele terá nota máxima 10 com objetivo de evitar distorções de uma variável em outras no cálculo final do desempenho. A figura abaixo ilustra a aplicação dessa metodologia de apuração dos resultados:

aplicação da metodologia

Estudo de caso de nota para a variável Acesso à água

Mesmo Mulungu do Morro da Bahia tendo uma cobertura populacional com acesso à água menor do que Cabo Frio no Rio de Janeiro, o município teve uma nota melhor pois seu Cluster tem uma meta menor. Enquanto a meta de Cabo Frio é 100% da população atendida, a meta de Mulungu do Morro é de 91%.

Para determinar a nota dos municípios foi utilizada a fórmula:

formula

Onde:

·         A distância da meta é o resultado de Meta - o resultado atual do município

·         A amplitude da série é o resultado de a Meta - o menor valor encontrado na distribuição de resultados dos municípios. 

Assim, o desempenho relativo de Mulungu do Morro com municípios de mesmo perfil, submetido a condições e restrições similares, é melhor do que Cabro Frio.

desempenho relativo

Assim, após o cálculo da nota do município em todas as variáveis é feita uma média por dimensão e depois do IGM. Com esse resultado os municípios podem ser ranqueados por cluster demonstrando o quanto o seu desempenho, em média, está distante da meta.

  • Notas metodológicas

O Governo federal está constantemente atualizando suas bases de dados a partir das informações enviadas pelos municípios em função de problemas como erros de preenchimento ou reprocessamento. Dessa forma, é possível existir diferença de informações dependendo do dia da extração da informação.

Existem diferentes sistemas que apuram a mesma variável dentro do Governo federal, utilizando diferentes metodologias, e isso pode gerar distorções nos dados. Por isso, é importante sempre relacionar o dado com a sua fonte e a data de extração.

Na variável de Regularidade com o CAUC foi estabelecida como meta a ausência de qualquer pendência para todos os clusters. Esse critério deve-se em função da importância para o município da manutenção da sua regularidade de prestação de contas com o Governo Federal. Apenas para esse caso não foi considerado o decil.

Nas situações onde o município não tenha informação será atribuída a nota 0 e calculada a nota com as demais informações disponíveis. Dessa forma, mesmo que o município não tenha alguma variável, será possível apurar sua nota geral do IGM.


5.  Considerações finais

O novo IGM 2.0 tem algumas inovações importantes como a maior frequência de atualização de suas variáveis, a incorporação de novas variáveis e uma nova metodologia de apuração dos resultados.

Algumas das novas variáveis incorporadas no novo IGM na dimensão fiscal envolveram o gasto per capita do legislativo e o indicador da situação previdenciária municipal. Já na dimensão gestão foram incluídas a adequação do planejamento das despesas, a capacidade de captar recursos, a implementação da lei geral das MPEs, a regularidade com o CAUC, a qualidade das informações enviadas para as bases do Governo Federal e a análise de custo x benefício dos gastos em educação e saúde. E na dimensão desempenho foram adicionadas a cobertura da saúde da família, a cobertura vacinal, o IDEB, a taxa de distorção idade-série, o acesso a água e esgoto, e a vulnerabilidade social em condições de pobreza e extrema pobreza.

A nova metodologia de cálculo com clusters e metas permitirá uma forma mais justa de comparação dos municípios para apuração de seus resultados. Será possível também acompanhar a evolução do desempenho do município frente a meta estabelecida como forma de avaliar a adequação das estratégias adotadas.

Esses resultados do IGM poderão ainda ser utilizados pelas prefeituras em seus processos de elaboração de planejamento estratégico, plano plurianual e de formulação de políticas públicas.

 

 

[1] Foi utilizada como referência a classificação de porte do IBGE

 

 

Conheça a nova metodologia do IGM-CFA Conheça a nova metodologia do IGM-CFA