Model of performance indicators for the evaluation of state public health expenditures in Brazil

Authors

DOI:

https://doi.org/10.21680/2176-9036.2024v16n2ID32973

Keywords:

Indicators. Performance evaluation. Effectiveness of public spending. Public sector.

Abstract

Objective: To present a proposal for a set of performance indicators that can be used in audits by state courts of audit to assess the effectiveness of budget spending on public health.

Methodology: This is a quantitative study, using statistical techniques related to two-stage Data Envelopment Analysis (DEA) and estimation of longitudinal linear regression models for short, strongly balanced panel data, on budget spending on public health by the states and the Federal District between 2015 and 2019.

Results: It was found that there is no use of performance indicators in the preparation and execution of PPAs by governments, to assess the effectiveness of spending on public actions; that the mention of "performance indicators" refers exclusively to percentages to compare what was achieved in relation to what was planned; that duplicate records of public actions were found in the PPAs by some entities, and that overestimation was identified in the records of planned resources in most PPAs. The degree of statistical explanation of the proposed set of indicators reached an average of 87% statistical confidence. No public entity showed 100% effectiveness in spending. 69% of auditors legitimized the set of indicators proposed to evaluate the effectiveness of state public health spending. Finally, it can be concluded that the proposed performance evaluation indicators can be used to verify the effectiveness of state public health spending.

Study Contributions: It presents performance indicators, created using a statistical method, to assess the effectiveness of state public health spending, since the specialized literature indicates little or no discussion on the subject. It indicates that the actions included in the PPAs are not audited by the courts of auditors and that the legislative power is omitted in monitoring what is planned and what is carried out, considering that there are repeated and overestimated actions.

Downloads

Download data is not yet available.

Author Biographies

Gilberto Crispim da Silva, Universidade Federal de Goiás (UFG)

Doutorado em Contabilidade - Universidade Federal de Goiás (UFG), UAECSA.

Luiz Alberton, Universidade Federal de Santa Catarina

Professor Titular da Universidade Federal de Santa Catarina; Subcoordenador do Programa de Pós-Graduação Profissional em Planejamento e Controle de Gestão - Mestrado Profissional; Líder (1) do Grupo de Pesquisa em Auditoria; Subcoordenador da Câmara de Administração e Finanças do CRCSC; Presidente do Conselho Fiscal da Associação Fundo Patrimonial Catarina; Coordenador da Comissão de Monitoramento e Avaliação do Projeto Educação Continuada - PEC do CRCSC. Possui graduação em Ciências Contábeis pela Universidade Federal do Paraná (1994), graduação em Licenciatura Plena Para Professores de Formação Especial para Cursos de Ensino de 2º. Grau pela Universidade Tecnológica Federal do Paraná (1994), mestrado em Engenharia de Produção pela Universidade Federal de Santa Catarina (1999) e doutorado em Engenharia de Produção pela Universidade Federal de Santa Catarina (2002). Formou-se Gerente e Auditor Externo da Qualidade pela DGQ da Alemanha e UTFPR (Curitiba, 1998) e Formação de Auditor Ambiental pelo Environmental Auditors Registration Association - EARA e UTFPR (1998). Tem experiência nas áreas de: Contabilidade; Gestão, Planejamento Estratégico, Auditorias, Sistemas de Controle Interno, Governança Pública, auditorias da Qualidade e Meio Ambiente, pericias contábeis e financeiras, análise das demonstrações contábeis e custos. Exerceu os seguintes cargos/funções: Chefe da Divisão de Contabilidade e Assistente do Coordenador de Orçamento, Finanças e RH (UTFPR); Coordenador do Curso de Ciências Contábeis; Chefe do Departamento de Ciências Contábeis; Secretário de Planejamento e Finanças; Pró-Reitor de Planejamento e Orçamento da UFSC; Coordenador Pró-Tempore do Programa de Pós-Graduação em Controle de Gestão; Coordenador do Programa de Pós-Graduação em Controle de Gestão, Conselheiro do Conselho Universitário; Conselheiro do Conselho de Curadores da UFSC; Conselheiro Suplente do Conselho Regional de Contabilidade de Santa Catarina e Editor Científico da Revista Catarinense da Ciência Contábil; Conselheiro do Conselho Fiscal da FEESC; Conselheiro do Conselho Fiscal da APUFSC; Presidente da Academia Catarinense das Ciências Contábeis; Coordenador do Comitê de Auditoria Estatutário da Celesc S.A. (2019 a 2020). Membro do Câmara de Pós-Graduação da UFSC (2020-2021). Coordenador do Comitê de Ética e membro do Comitê de Exigibilidade da Celesc S.A. (2021-2022). Conselheiro do Conselho de Administração da Celesc S.A. (2019 -2023).

Raimundo Nonato Rodrigues, Universidade Federal de Pernambuco

Pós-doutorado - Universidade Federal de Pernambuco (UFPE). Departamento de Ciências Contábeis.

References

Abreu, C. R., & Câmara, L. M. (2014). O orçamento público como instrumento de ação governamental: uma análise de suas redefinições no contexto da formulação de políticas públicas de infraestrutura. Rev. Adm. Publica. 49(1).

Afonso, A., Schuknecht, L., & Tanzi, V. (2003). Public Sector Efficiency: an International Comparison. Public Choice.

Allin, S., Grignon, M., & Wang, L. (2016). The determinants of efficiency in the Canadian health care system. Health Economics, Policy, and Law. 11(1): 39-65.

Araújo, C. A. S., Wanke, P., & Siqueira, M. M. (2018). A Performance Analysis of Brazilian Public Health: TOPSIS and Neural Networks application. International Journal of Productivity and Performance Management. Doi: https://doi.org/10.1108/IJPPM-11-2017-0319.

Azevedo, R. R. & Aquino, A. C. B. (2016). O planejamento em municípios de pequeno porte em São Paulo. Revista de Contabilidade e Organizações. 26: 63-76.

Barcelos, C. L. K., & Calmon, P. C. D. P. (2014). A reforma gerencial do orçamento brasileiro: em busca de múltiplos significados. Revista de Administração Pública. 48(1): 159-1981.

Berne, R., & Schramm, R. (1986). The financial analysis of governments. New Jersey: Prentice Hall.

Bonnefoy, J. C., & Arminjo, M. (2005). Indicadores de desempeño en el público. Instituto Latinoamericano y del Caribe de Planificación Económica y Social. ILPES.

Boyne, G. A., & Chen, A. A. (2007). Performance targets and public service improvement. Journal of Public Administration Research and Theory, 17(3): 455-477.

Brown, K. W. (1993). The 10-Point testo f financial condition: toward in easy-to-use assessment tool for smaller cities. Government Finance Review. 9(6).

Cameron, A. C., & Trivedi, P. K. (2009). Microeconometrics Using Stata. Revised edition. College Station: Stata Press.

Carvalho, J. R. M., Nóbrega, A. K. Q., Kronbauer, C. A. (2020). Avaliação do Desempenho da Gestão Pública Municipal. Revista Desenvolvimento em Questão. 18(53). DOI: https://doi.org/10.21527/2237-6453.2020.53.138-165.

Castro, A. C., & Galvão, A. K. A. (2019). Ensino, literatura e leitura na EJA: um diálogo entre o centro universitário e a educação básica para a formação de docentes no curso de pedagogia. Revista Projeção e Docência. 10(1): 33-40

Charney, B. A., Mead, D. M., & Schermann, K. R. (2002). The new governmental financial reporting model: what it means for analyzing. The journal of Governmental Financial Management. 5(1).

Cinaroglu, S., & Baser, O. (2016). Understanding the relationship between effectiveness and outcome indicators to improve quality in healthcare. Total Quality Management. Doi: http://dx.doi.org/10.1080/14783363.2016.1253467.

Cook, W. D., Tone, K., & Zhu, J. (2014). Data envelopment analysis: Prior to choosing a model. Omega. 44: 1-4.

Costa, F. L., & Castanhar, J. C. (2003). Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública. 37(5): 969-992.

Costa, P. S., & Silva, C. A. T. (2006). Testes empíricos sobre a validade dos indicadores oficiais de desempenho para avaliação de hospitais universitários brasileiros. Revista Universo Contábil. 2(3): 44-62. Disponível em: <https://proxy.furb.br/ojs/index.php/universocont abil/article/view/130>.

Crispim, G., Alberton, L., Flach, L., & Ferreira, C. D. (2021). Ciclo Orçamentário Político: uma análise nos municípios brasileiros. Advances in Scientific and Applied Accounting, 14(1), 106-123. Doi: http://dx.doi.org/10.14392/asaa.2021140104.

Faria, F. P., Januzzi, P. M., & Silva, S. J. (2008). Eficiência dos gastos municipais em saúde e educação: uma investigação através da análise envoltória no Estado do Rio de Janeiro. Revista de Administração Pública. 42(1).

Fávero, L. P., & Belfiore, P. (2017). Manual Análise de Dados: estatística e modelagem multivariada com Excel, Spss e Stata. 1 edição, Rio de Janeiro: Elsevier.

Groves, S., & Valente M. (2003). Evaluating financial condition: a handbook for local government. 4. Ed. Revised by Karl Nollenberger: Washington: The International City/Country Management Association - ICMA.

Hendrick, R. (2004). Assessing and measuring the fiscal health of local governments: focus on Chicago suburban municipalities. Urban Affairs Review. 40(1).

Hossain, S. (2010). From project audit to performance audit: evolution of performance auditing in Australia. The IUP Journal of Accounting Research and Audit Practices. 9(3): 20-46.

IBGE (2021). Instituto Brasileiro de Geografia e Estatística. População. Acesso disponível em: https://www.ibge.gov.br/estatisticas/sociais/populacao.html

Kavanagh, S. C. (2007). Financing the future: long-term financial planning for local government. Chicago: Government Finance Officers Association - GFOA.

Kleine, R., Philip, K., & Weissert, C. S. (2003). Monitoring local government fiscal healtj: Micjigan’s new 10-point scale of fiscal distress. Government Finance Review. 9(3).

Kloha, P., Weissert, C. S., & Kleine, R. (2005). Developing and Testing a Composite Model to Predict Local Fiscal Distress. Public Administration Review. 65(3).

Lino, A. F., & Aquino, A. C. B. (2017). The diversity of the Brazilian regional Audit Courts on government auditing. Rev. Cont. Fin. 29(76): 26-40. Doi:10.1590/1808-057x201803640.

Lopes, F. F., Júnior, A. E. X., Macêdo, A. F. P., Medeiros, K. N., Oliveira, F. P. S., & Macêdo, M. J. P. (2023). Eficiência na execução orçamentária e desempenho: um estado nas universidades federais brasileiras. Revista Gestão e Secretariado (GeSec), 14(2), 2382-2400.DOI: http://doi.org/10.7769/gesec.v14i2.1715.

Moraes, L. S., Lopes, L. F. D., Brusius, M. D., Roncato, F. S. (2020). Estudo sobre a eficiência dos estados brasileiros na aplicação de recursos públicos. Desafio Online 8(1) 27-47.

Nascimento, S., Bortoluzzi, S. C., Dutra, A., & Ensslin, S. R. (2011). Mapeamento dos indicadores de desempenho organizacional em pesquisas da área de Administração, Ciências Contábeis e Turismo no período de 2000 a 2008. Rev. Adm. 46(4): 373-391. Doi: 10.5700/rausp1018.

Oyadomari, J. C. T., Bido, D. S., Neto, O. R. M., Aguiar, A. B., & Lima, R. G. D. (2023). Relacionamento entre indicadores de desempenho, controle e desempenho estrategicamente alinhados. R. Cont. Fin. 34(91). Doi: https://doi.org/10.1590/1809-57x20221618.enRichartz,

Borgert, A, L., Cavichioli, D. (2023). Análise de possíveis determinantes de ustos em universidades públicas e privadas. Revista enfoque: Reflexão Contábil. 42(1), 33-52. Doi: 10.4025/enfoque.v42i1.57138

Rosa, C. P., Marote, R. P., & Prowle, M. J. (2014). Developing performance audit in Spanish local government: an empirical study of a way forward. Public Money & Management. Doi: http://dx.doi.org/10.1080/09540962.2014.908009.

Santos, G.K. & Raupp, F. M. (2015). Monitoramento e avaliação de resultados dos programas governamentais delineados no PPA. Revista Administração Pública. 49(6):1429-1451. Doi: http://dx.doi.org/10.1590/0034-7612140673.

Santos, S. R. T., & Alves, T. W. (2011). O impacto da Lei de Responsabilidade Fiscal no desempenho financeiro e na execução orçamentária dos municípios no Rio Grande do Sul de 1997 a 2004. Revista de Administração Pública. 45(1): 181-208.

Silva, C. G. (2021). Análise da eficácia na execução orçamentária pública por meio de indicadores de desempenho que podem ser utilizados pela auditoria. Tese de doutorado. PPGC/UFSC – CSE, Florianópolis, SC.

Silva, G. C., Alberton, L., & Ferreira, C. D (2018). Performance indicators in the Municipal Public Management: The reality in Audits applied by the Municipal and State Court of Accounts. American Accounting Association (AAA) Annual Meeting in Washington, DC.

Silva, J. F. B. A., Rebouças, S. M. D. P., Abreu, M. C. S., & Ribeiro, M. C. R. (2007). Construção de um índice de desenvolvimento sustentável e análise espacial das desigualdades nos municípios cearenses. Revista de Administração Pública. 52(1): 149-168. Doi: http://dx.doi.org/10.1590/0034-7612163114.

Simar, L., & Wilson, P. W. (1998). Sensitivity Analysis of Efficiency Scores: How to Bootsrap in Nonparametric Frontier Models. Management Science. 44(1): 49-61. Doi: http://dx.doi.org/10.1287/mnsc.44.1.49

Soares, J. R., Bordin, R., & Rosa, R. S. (2019). Indicadores De Gestão E De Qualidade Nas Instituições Federais de Ensino Superior Brasileiras - 2009/2016. Revista Eletrônica de Administração - READ. 25(2): 215-239.

Soares, M. M., García, E. M., Carbonell, J. R. (2023). Desigualdades territoriais no financiamento das políticas de educação e de saúde na Espanha e no Brasil. Revista de Administração Pública (RAP). 57(1): DOI: http://dx.doi.org/10.1590/0034-761220220168

Sohl, S., Peddle, M. T., Thurmaier, K., Wood, C. H., & Kuhn, G. (2009). Measuring the Financial Position of Municipalities: Numbers Do Not Speak for Speck, B. (2000). Inovação e rotina no Tribunal de Contas da União. Fundação Konrad Adenauer, São Paulo

STN, (2012). Secretaria do Tesouro Nacional. Modelo de capacidade de pagamento: instituído Portaria n. 306, de 10 de setembro. Access: http://www3.tesouro.gov.br/ legislacao/download/estado/Port_306_10set2012.pdf.

Teixeira, A. B., Mata, C., Pardal, P. N., & Teixeira, N. (2013). Avaliação e divulgação de indicadores de desempenho dos municípios portugueses: o caso do distrito de Setúbal. Revista Universo Contábil. 9(1): 147-168. Doi:10.4270/ruc.2013109.

Titu, M. A. & Bucur, A. (2015). Models for quality analysis of services in the local public Administration. Qual Quant Springer. Doi: 10.1007/s11135-015-0183-3.

Van Helden, J., Johnsen, A. & Vakkuri, J. (2008). Distinctive research patterns on public sector performance measurement of public administration and accounting disciplines. Public Management Review. 10(5): 641-651.

Wang, X., Dennis, L., & Tu Jeff, Y. S. (2007). Measuring the financial condition: a study of US States. Public Budgeting and Finance. 27(2): 1-21

Downloads

Published

01-07-2024

How to Cite

SILVA, G. C. da .; ALBERTON, L.; RODRIGUES, R. N. . Model of performance indicators for the evaluation of state public health expenditures in Brazil. REVISTA AMBIENTE CONTÁBIL - Universidade Federal do Rio Grande do Norte, [S. l.], v. 16, n. 2, p. 241–267, 2024. DOI: 10.21680/2176-9036.2024v16n2ID32973. Disponível em: https://periodicos.ufrn.br/ambiente/article/view/32973. Acesso em: 2 jul. 2024.

Issue

Vol. 16 No. 2 (2024): Jul./Dez.

Section

Section 2: Accounting Applied to the Public Sector and the Third Sector (S2)

License

Copyright (c) 2024 REVISTA AMBIENTE CONTÁBIL - Universidade Federal do Rio Grande do Norte

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.

Authors who publish in this magazine agree with the following terms: 

Authors keep the copyrights and concede the right of its first publication to the magazine. The work piece must be simultaneously licensed on the Creative Commons Attribution Licence which allows the paper sharing, and preserves both the author identity and the right of first publication to this magazine. 

Authors are authorized to assume additional contracts separately, to not-exclusively distribution of the paper version published in this magazine (e.g.: publish in institutional repository or as a book chapter), with the author identity recognition and its first publication in this magazine. 

Authors are permitted and stimulated to publish and distribute their papers online (e.g.: in institutional repository or on their personal webpage), considering it can generate productive alterations, as well as increase the impact and the quotations of the published paper.

Creative Commons - Atribuição-NãoComercial-SemDerivações 4.0 Internacional.