Metodologia



1.  O IGM 2.0

A revisão da metodologia do IGM envolveu 3 etapas apresentadas na figura abaixo. Na primeira foi realizada uma revisão dos indicadores, na segunda a revisão do modelo de cálculo e na terceira realizada a apuração do desempenho seguindo essa nova metodologia.

3 etapas

Dentro desse processo de revisão do IGM foram estabelecidos dois princípios norteadores. No primeiro, a cobertura de municípios do IGM com nota deveria ser mantida ou ampliada e, na segunda, a periodicidade de atualização dos indicadores deve ser o mais frequente possível de forma que a informação mais antiga tenha até 4 anos.

Dessa forma, o IGM 2.0 deverá ser mais abrangente e dinâmico permitindo uma melhor mensuração do desempenho dos municípios brasileiros.


2.  Revisão dos indicadores

A revisão dos indicadores analisou o banco de dados do IGM que contava com 475 variáveis disponíveis totalizando, para os 5.570 municípios, cerca de 2 milhões e 400 mil dados, e que teve a incorporação de mais de 200 novas variáveis. Dessa forma, com esse banco de dados completo começou o processo de filtro para seleção das variáveis.

A primeira parte do filtro envolveu uma análise qualitativa das variáveis que avaliou algumas características como a periodicidade de apuração, a abrangência da cobertura e a qualidade dos dados. Já a segunda parte, quantitativa, envolveu uma análise de correlação com os demais indicadores do IGM com objetivo de evitar sobreposição e redundância das informações.

Após a pré-seleção das variáveis foi realizado um trabalho de Data Quality com objetivo de tratar a base de dados de eventuais problemas como erros de preenchimento, formato do dado, entre outros. Como resultado desse trabalho de seleção as novas variáveis que compõe o IGM são:

Dimensão

Variável

Objetivo da mensuração da variável

Forma de cálculo

Fonte

Ano

Periodicidade

Polaridade

Fiscal

Receita própria

Mensura a capacidade de geração de receita própria do município

Valor de receita própria dividido pela receita total do município

Sistema FIRJAN

2016

Anual

Maior-melhor

Investimentos

Mede a capacidade de investir do município

Valor de investimentos dividido pela receita total do município

Sistema FIRJAN

2016

Anual

Maior-melhor

Liquidez

Mede a capacidade de pagamento das obrigações do município

Valor de caixa menos restos a pagar dividido pela receita total do município

Sistema FIRJAN

2016

Anual

Maior-melhor

Gasto com pessoal

Mensura o nível de gastos com pessoal do município

Valor de gastos com pessoal dividido pela receita total do município

Sistema FIRJAN

2016

Anual

Maior-melhor

Custo da dívida

Mensura o comprometimento do orçamento com custos de dívida

Valor de juros e amortizações dividido pela receita total do município

Sistema FIRJAN

2016

Anual

Maior-melhor

Gastos per capita em saúde

Medir o grau de investimento do governo na saúde pública.

O valor de despesas com saúde divido pela população.

Secretaria do Tesouro Nacional

2016

Anual

Maior-melhor

Gastos per capita em educação

Medir o grau de investimento do governo na educação.

O valor de despesas com educação divido pela população.

Secretaria do Tesouro Nacional

2016

Anual

Maior-melhor

Gasto per capita do legislativo

Mede o gasto do município com o legislativo

Despesas empenhadas na conta do Legislativo divididas pela população

Secretaria do Tesouro Nacional

2017

Anual

Menor-melhor

Indicador da Situação Previdênciária

Mede a adequação e sustentabilidade financeira do Sistema de previdência municipal

Nota obtida pelo ISP conforme os critérios da metodologia

Secretaria de Previdência do Ministério da Economia

2017

Anual

Maior-melhor


Dimensão

Variável

Objetivo da mensuração da variável

Forma de cálculo

Fonte

Ano

Periodicidade

Polaridade

Gestão

Planejamento da despesa

Mensura a adequação do planejamento de despesas do município

Valor de restos a pagar não processados dividido pela despesa total do município

Secretaria do Tesouro Nacional

2017

Anual

Menor-melhor

Captação de recursos

Avalia a capacidade de captação de recursos do município

Valor de recursos captados em convênio dividido pela receita corrente total do município

Secretaria do Tesouro Nacional

2017

Anual

Maior-melhor

Servidores per capita

Verificar a proporção de servidores da administração pública direta e indireta na população do município.

Total de colaboradores na administração direta e indireta, divido pela população.

MUNIC-IBGE

2017

Bianual

Menor-melhor

Comissionados per capita

Verificar a proporção de comissionados no total de servidores (administração direta e indireta)

Total de comissionados sem vínculo na administração direta e indireta, divido pelo total de colaboradores

MUNIC-IBGE

2017

Bianual

Menor-melhor

Lei geral MPE

Mede a implementação da Lei geral de incentivo a MPEs nos municípios

Número de itens da lei implementados dividido pelo total de itens

Sebrae

2018

Anual

Maior-melhor

Custo x benefício em educação

Avalia os gastos e os resultados gerados em educação

Custo benefício dos gastos per capita em educação em relação aos resultados em educação mensurados pelo IGM

IGM

2018

Anual

Maior-melhor

Custos x benefício em saúde

Avalia os gastos e os resultados gerados em saúde

Custo benefício dos gastos per capita em saúde em relação aos resultados em saúde mensurados pelo IGM

IGM

2018

Anual

Maior-melhor

Qualidade das informações

Verifica o nível de informações prestadas nas bases de dados federais

Número de informações disponíveis dividido pelo total de bases de dados

IGM

2018

Anual

Maior-melhor

CAUC

Analisa a regularidade do município com o CAUC

Número de pendências do CAUC em relação ao total de itens

Secretaria do Tesouro Nacional

2018

Anual

Menor-melhor

Transparência

Mede o nível de cumprimento dos municípios com relação às leis referentes à transparência no Brasil.

Checklist realizado pelo MPF com os municípios

Ministério Público Federal

2016

Bianual

Maior-melhor


Dimensão

Variável

Objetivo da mensuração da variável

Forma de cálculo

Fonte

Ano

Periodicidade

Polaridade

Desempenho

Mortalidade infantil

Número de crianças que sobreviveram ao primeiro ano de vida

Número de óbitos de crianças com menos de um ano dividido pelo total de nascidos vivos multiplicado por mil

Datasus

2016

Anual

Menor-melhor

Cobertura de Atenção Básica

Mede a cobertura da população atendida pela Atenção Básica

População coberta pelas equipes da Saúde da Família e Atenção Básica dividido pela população total

Datasus

2018

Anual

Maior-melhor

Cobertura vacinal

Avalia a capacidade de realizar campanhas de vacinação pelo município

Razão entre a quantidade de abandono e o total das matrículas efetuadas no ano nos anos iniciais, multiplicada por 100.

Datasus

2017

Anual

Maior-melhor

Abandono escolar

Indica o % de alunos que deixam de frequentar a escola nos anos iniciais

Razão entre a quantidade de abandono e o total das matrículas efetuadas no ano nos anos iniciais, multiplicada por 100.

INEP

2017

Bianual

Menor-melhor

IDEB 5o ano

Mede a qualidade e aprendizado da rede de ensino municipal

Resultado do município no IDEB

INEP

2017

Bianual

Maior-melhor

Taxa de distorção idade-série

Mede o aprendizado dos alunos da rede municipal nos anos iniciais

Proporção de alunos nos anos iniciais do ensino fundamental com mais de 2 anos de atraso em escolas públicas municipais rurais e urbanas.

INEP

2017

Bianual

Menor-melhor

Crimes violentos

Mensura o número de crimes violentos no município

Utiliza a metodologia do Mapa da Violência para crimes violentos envolvendo armas de fogo utilizando CID 10

Mapa da violência

2016

Bianual

Menor-melhor

Acesso a água

Avalia a população com acesso à água

População com serviço de água dividido pela população total (IN055)

SNIS

2017

Anual

Maior-melhor

Acesso à esgoto

Avalia a população com acesso à esgoto

População com serviço de esgoto dividido pela população total (IN056)

SNIS

2017

Anual

Maior-melhor

Vulnerabilidade social

Avalia o % da população em situação de vulnerabilidade econômica considerando pobreza e extrema pobreza

Número de pessoas cadastradas no CadÚnico dividido pela população do município

Ministério da Cidadania

2018

Anual

Menor-melhor



3.  Modelo de cálculo

Com objetivo de melhorar o processo de apuração dos resultados foi construída uma nova metodologia que envolveu 3 etapas. A primeira foi o agrupamento dos municípios com perfil similar, a segunda definir as metas para cada grupo e a terceira uma nova forma de cálculo da nota dos municípios.

  • Agrupamentos dos municípios

A primeira inovação do IGM 2.0 foi utilizar o conceito de cluster para medir e comparar o desempenho de municípios. Ao identificar grupos de municípios com mesmo perfil a comparação fica mais adequada uma vez que os municípios estão submetidos restrições similares.

Assim, a primeira etapa envolveu agrupar os municípios que tenham perfis similares por meio de clusters. Para a criação dos clusters foi utilizado um algoritmo de inteligência artificial para identificar qual variável melhor explicava a variação de desempenho dos municípios e como resultado foram identificadas as variáveis porte[1] e pib per capita.

Assim, um cluster é um subgrupo de municípios que apresenta um porte e um pib per capita similar e, dessa forma, podem ser comparados de forma mais adequada. Como resultado foram definidos 8 clusters apresentados abaixo:

Grupo

Porte

Pib per capita

1

Pequeno porte 1 com até 20.000 habitantes

Abaixo de R$ 15.028

2

Pequeno porte 1 com até 20.000 habitantes

Acima de R$15.028

3

Pequeno porte 2 com 20.001 até 50.000 habitantes

Abaixo de R$14.460

4

Pequeno porte 2 com 20.001 até 50.000 habitantes

Acima de R$14.460

5

Médio porte com 50.001 até 100.000 habitantes

Abaixo de R$20.400

6

Médio porte com 50.001 até 100.000 habitantes

Acima de R$20.400

7

Grande porte com acima de 100.000 habitantes

Abaixo de R$28.900

8

Grande porte com acima de 100.000 habitantes

Acima de R$28.900

Todas as análises, comparações e notas do IGM passam a utilizar esses clusters como referência.

  • Definição das metas

O IGM 2.0 inovou também ao utilizar um sistema de metas para os municípios. Por meio dele será possível definir qual o desempenho esperado para cada variável no município considerando suas condições e potencialidades.

Uma boa meta precisa ser desafiadora, com objetivo de estimular a melhoria, e ao mesmo tempo alcançável. Após realizar o agrupamento foram definidas as metas para cada cluster utilizando como referência o decil dos municípios com melhor desempenho em cada variável. A figura abaixo ilustra uma distribuição de dados e estão destacados o 1º e o 9º decil.

distribuição de dados

As variáveis podem ainda ter dois tipos de polaridade que influenciam na escolha de qual decil será utilizado como referência para a meta. O quadro abaixo apresenta essa diferença:

Polaridade

Decil

Maior-melhor

9º decil

Menor-melhor

1º decil

Ao utilizar como referência para definir a meta o decil dos municípios com melhor desempenho na variável de cada cluster indicamos que ela é desafiadora e alcançável pois 10% de municípios com perfil similar conseguem superar esse resultado.

Essa nova metodologia de metas por cluster reduz o problema de municípios que sejam outliers, e por isso, poderiam distorcer a referência e desempenho de todos os demais municípios. Outro benefício é a sua utilização para identificar e compartilhar boas práticas para os demais municípios com mesmo perfil.


4.  Apuração dos resultados

Com a definição das metas a última etapa é a apuração do resultado de cada município. Para essa etapa foi utilizada como fórmula a diferença entre o resultado atual do município e a sua meta.

Dessa forma, quanto maior a distância do desempenho atual o município para sua meta pior será o seu desempenho. Quanto menor for essa distância maior será a sua nota. Após o cálculo dessa diferença o resultado é convertido em uma nota que varia de 0 à 10. Caso o município supere a meta ele terá nota máxima 10 com objetivo de evitar distorções de uma variável em outras no cálculo final do desempenho. A figura abaixo ilustra a aplicação dessa metodologia de apuração dos resultados:

aplicação da metodologia

Estudo de caso de nota para a variável Acesso à água

Mesmo Mulungu do Morro da Bahia tendo uma cobertura populacional com acesso à água menor do que Cabo Frio no Rio de Janeiro, o município teve uma nota melhor pois seu Cluster tem uma meta menor. Enquanto a meta de Cabo Frio é 100% da população atendida, a meta de Mulungu do Morro é de 91%.

Para determinar a nota dos municípios foi utilizada a fórmula:

formula

Onde:

·         A distância da meta é o resultado de Meta - o resultado atual do município

·         A amplitude da série é o resultado de a Meta - o menor valor encontrado na distribuição de resultados dos municípios. 

Assim, o desempenho relativo de Mulungu do Morro com municípios de mesmo perfil, submetido a condições e restrições similares, é melhor do que Cabro Frio.

desempenho relativo

Assim, após o cálculo da nota do município em todas as variáveis é feita uma média por dimensão e depois do IGM. Com esse resultado os municípios podem ser ranqueados por cluster demonstrando o quanto o seu desempenho, em média, está distante da meta.

  • Notas metodológicas

O Governo federal está constantemente atualizando suas bases de dados a partir das informações enviadas pelos municípios em função de problemas como erros de preenchimento ou reprocessamento. Dessa forma, é possível existir diferença de informações dependendo do dia da extração da informação.

Existem diferentes sistemas que apuram a mesma variável dentro do Governo federal, utilizando diferentes metodologias, e isso pode gerar distorções nos dados. Por isso, é importante sempre relacionar o dado com a sua fonte e a data de extração.

Na variável de Regularidade com o CAUC foi estabelecida como meta a ausência de qualquer pendência para todos os clusters. Esse critério deve-se em função da importância para o município da manutenção da sua regularidade de prestação de contas com o Governo Federal. Apenas para esse caso não foi considerado o decil.

Nas situações onde o município não tenha informação será atribuída a nota 0 e calculada a nota com as demais informações disponíveis. Dessa forma, mesmo que o município não tenha alguma variável, será possível apurar sua nota geral do IGM.


5.  Considerações finais

O novo IGM 2.0 tem algumas inovações importantes como a maior frequência de atualização de suas variáveis, a incorporação de novas variáveis e uma nova metodologia de apuração dos resultados.

Algumas das novas variáveis incorporadas no novo IGM na dimensão fiscal envolveram o gasto per capita do legislativo e o indicador da situação previdenciária municipal. Já na dimensão gestão foram incluídas a adequação do planejamento das despesas, a capacidade de captar recursos, a implementação da lei geral das MPEs, a regularidade com o CAUC, a qualidade das informações enviadas para as bases do Governo Federal e a análise de custo x benefício dos gastos em educação e saúde. E na dimensão desempenho foram adicionadas a cobertura da saúde da família, a cobertura vacinal, o IDEB, a taxa de distorção idade-série, o acesso a água e esgoto, e a vulnerabilidade social em condições de pobreza e extrema pobreza.

A nova metodologia de cálculo com clusters e metas permitirá uma forma mais justa de comparação dos municípios para apuração de seus resultados. Será possível também acompanhar a evolução do desempenho do município frente a meta estabelecida como forma de avaliar a adequação das estratégias adotadas.

Esses resultados do IGM poderão ainda ser utilizados pelas prefeituras em seus processos de elaboração de planejamento estratégico, plano plurianual e de formulação de políticas públicas.

 

 

[1] Foi utilizada como referência a classificação de porte do IBGE

 

 

Conheça a nova metodologia do IGM-CFA Conheça a nova metodologia do IGM-CFA