Examinando con datos las «banderas rojas» de compras en América Latina
Para cualquier persona interesada en explorar cómo los datos abiertos pueden ayudar a que la contratación pública sea más honesta y eficiente, América Latina es un excelente lugar para comenzar. La región acoge a casi la mitad de los publicadores de OCDS del mundo y algunos de los conjuntos de datos de contratación más grandes y completos. Y además, la calidad de los datos ahora es lo suficientemente alta en varias jurisdicciones como para ser utilizada con el fin de mejorar los resultados de la contratación pública.
Es imposible rastrear y monitorear manualmente cientos de miles de procesos de contratación. Los datos abiertos accesibles al público pueden hacer que la tarea sea manejable, más confiable y creíble, cuando se utilizan para desarrollar análisis automatizados para detectar procesos de contratación que requieren más investigación. A principios de junio, los profesionales de adquisiciones de toda la región se reunieron en Santiago en un taller sobre «banderas rojas», indicadores de riesgo que pueden ayudar a identificar posibles irregularidades o ineficiencias en los procesos de contratación, tales como:
- períodos cortos de licitación
- bajo número de oferentes
- bajo porcentaje de contratos adjudicados de manera competitiva
- porcentaje alto de contratos con enmiendas
- grandes diferencias entre el valor de la adjudicación y el monto final del contrato.
Los participantes, provenientes del gobierno, las autoridades de control, la sociedad civil y los medios de comunicación de siete países (Argentina, Colombia, Perú, Honduras, Chile, Paraguay y México), compartieron enfoques y herramientas para identificar riesgos en las contrataciones que afectan la integridad y eficiencia públicas, y exploraron cómo utilizar los datos en el formato del Estándar de Datos para las Contrataciones Abiertas (OCDS, por sus siglas en inglés) para crear modelos de banderas rojas confiables y de bajo costo, con ejemplos tangibles de varios países.
Ya en Chile en el evento de Banderas Rojas, @K_Wikrent nos da la introducción a @ocdata y cómo usarlos para el cálculo y detección de éstas banderas pic.twitter.com/80I2bS7T2n
— Yohanna Lisnichuk (@YohaLisnichuk) June 4, 2019
Construcción y pruebas de herramientas simples bandera roja
En una expedición de datos práctica adaptada de la metodología de la Escuela de Datos, cada grupo calculó señales de alerta mediante la exploración de los datos disponibles en formato OCDS de su propia jurisdicción. Eligieron qué bandera roja deseaban analizar y aplicaron su mini-modelo a una pequeña muestra de datos, que habíamos preparado para ellos de antemano. Estas son las banderas rojas que seleccionaron y qué tan lejos lograron llegar en medio día:
Buenos Aires, indicador: procesos competitivos
Base de datos original en OCDS
La representante del gobierno de la ciudad analizó el porcentaje de procesos adjudicados mediante procesos competitivos. De acuerdo con la legislación de contratación de la ciudad, los bienes y servicios deben adquirirse como regla general mediante licitaciones abiertas para promover la libre competencia y la transparencia. Este indicador ayuda a detectar procesos hechos a la medida de oferentes particulares o una planificación deficiente por parte de las diferentes unidades de compra del gobierno. La directora de compras de la ciudad, Marisa Tojo, quien analizó los datos, logró calcularlo en relación al número de procesos de compra. También analizó el valor de los contratos adjudicados de manera competitiva en comparación con el monto total contratado.
Chile, indicadores: los períodos de licitación, los oferentes por proceso de compra
Base de datos original en OCDS
El equipo chileno analizó varias banderas rojas a través de dos enfoques complementarios:el del Observatorio ChileCompra del gobierno y el modelo propuesto por la organización de la sociedad civil Observatorio del Gasto Fiscal. Las banderas rojas que proporcionaron información más interesante a todo el grupo fueron los períodos de licitación anormalmente cortos y el número promedio de proponentes por proceso de contratación. Los períodos de licitación llevaron a una buena discusión grupal sobre cómo las bases de datos internas se mapearon a OCDS. El número promedio de oferentes por proceso varió significativamente entre los métodos de contratación y los valores de licitación: a partir de la pequeña muestra, las licitaciones de obras públicas tuvieron cinco veces menos proponentes que otras licitaciones abiertas. Guillermo Burr de ChileCompra destacó cómo OCDS puede ayudar a establecer referencias y comparar datos entre países.
Colombia, indicadores: modificaciones y cambios en los valores de los contratos
Base de datos original en OCDS
Representantes de la Contraloría General de la República y del capítulo local de Transparencia Internacional trabajaron con un periodista peruano del Ojo Público para explorar lo que sucede con los contratos después de que son firmados. El grupo se concentró en analizar la proporción de contratos con modificaciones y la diferencia entre el valor adjudicado y el valor final del contrato. Sus cálculos parecían indicar que casi la mitad de los procesos tenían enmiendas, una fracción más alta de la esperada, lo que los llevó a cuestionar si eso reflejaba la realidad. Identificaron un problema: al parecer, cualquier documento publicado después de la firma del contrato, como los informes de supervisión, podría estar contabilizándose como una adenda. Hemos informado a la agencia de contratación Colombia Compra Eficiente para verificar eso. Cuando el equipo intentó calcular el segundo indicador, las discrepancias entre la adjudicación y los montos finales del contrato, encontraron que todos los procesos en la muestra parecían tener exactamente el mismo valor cuando se adjudicaron y cuando finalizaron. Como esto rara vez sería el caso, revisaron procesos específicos y encontraron que podría haber un problema con la forma en que los compradores informan el valor final del contrato y lo capturan en las plataformas de adquisiciones.
Honduras, indicador: períodos de licitación
Base de datos original en OCDS
David Luna, de la ONCAE (Oficina Normativa de Contrataciones y Adquisiciones del Estado) de Honduras, decidió evaluar si el plazo para aceptar ofertas para cualquier licitación era injustificadamente corto. Esto ayudaría a detectar los procesos que potencialmente se habían dirigido a proveedores específicos. Su argumento fue que la baja competencia podría permitir a los proveedores establecidos establecer un mercado oligopolístico en el que controlan la oferta y los precios. Alrededor del 80% de los datos de Honduras contenían información sobre el período de licitación. Pero solo el 8% incluyó el método de adquisición, que es importante para evaluar el comportamiento de las ofertas en licitaciones abiertas.
México, indicadores: períodos de licitación y valores
Base de datos original en OCDS
Dos grupos eligieron trabajar con los datos a nivel federal de México. El primer grupo miró el período de licitación. Por ley, las licitaciones abiertas nacionales deben tener un período de licitación de al menos 15 días, mientras que las internacionales deben estar abiertas durante al menos 20 días. Los datos de muestra no contenían ningún proceso que incumpliera esa regla. Pero los analistas destacaron que Compranet, la plataforma federal de compras de México, solo se utiliza en el 36% de los procesos competitivos.
El segundo grupo encontró que la mayoría de los valores de licitación en la muestra se registran como 0 y solo el 8% correspondió a procedimientos abiertos. ¡Algo para comprobar en el conjunto de datos completo!
Paraguay, indicador: valores a lo largo del ciclo de adquisiciones
Base de datos original en OCDS
El equipo paraguayo siguió el valor a través de las diferentes etapas del proceso de adquisición: desde la planificación del presupuesto, la licitación y la adjudicación, hasta el contrato. Esto es útil para ver si la planeación está funcionando correctamente y para identificar posibles errores. Tenían umbrales estrictos y verificaron los procesos que tenían alguna de las siguientes características: más del 5% de diferencia entre el valor adjudicado y el valor de la licitación; más del 10% de diferencia entre el valor de la licitación y el valor adjudicado; y cualquier diferencia, aunque fuera leve, entre el valor adjudicado y el valor del contrato. Detectaron así procesos de obras públicas municipales donde el valor adjudicado era diferente del valor del contrato.
Una nota rápida sobre nuestra metodología
El conjunto de datos de cada grupo consistió en una muestra de 500 procesos de adquisición (entregas o releases de OCDS) de 2018, que se seleccionaron a partir de los datos disponibles en cada jurisdicción, los cuales a menudo corresponden a cantidades enormes. Usamos la herramienta OCDS Flatten para convertir cada archivo JSON en dos archivos tabulares: uno con nombres de campo en español y el otro en inglés. También proporcionamos tablas de cobertura que informaban a los usuarios qué campos estaban presentes en cada conjunto de datos y la proporción de procesos de adquisición que incluían esa información.
Los equipos estaban formados por un experto en políticas, un “curador” de datos, un analista de datos y un narrador de datos, que aprovecharon sus habilidades para analizar, diseñar, desarrollar e implementar mini-modelos. Nuestros profesionales seleccionaron su herramienta de análisis preferida para calcular las banderas rojas, desde hojas de cálculo de Excel a scripts en el lenguaje de programación R o incluso a Open Refine. Fue interesante ver cómo se pueden calcular estas banderas en la práctica, independientemente del nivel técnico de la persona que realiza el análisis.
Las expediciones de datos se llevaron a cabo el segundo día del taller después de que presentamos a los participantes los modelos de banderas rojas utilizados en otros lugares (consulte el trabajo de OCP sobre banderas rojas). Anastasiya Kozlovtseva compartió el modelo de TI Ucrania, que analiza 40 indicadores de riesgo respaldados por el aprendizaje automático de la plataforma de informes ciudadanos Dozorro. A partir de junio, esta plataforma es utilizada por casi un millón de usuarios y ha identificado más de 200.000 violaciones a las reglas de contratación. Anastasiya también explicó su herramienta «Tinder for Tender», una aplicación inteligente del modelo, que fue utilizada internamente por expertos en compras para clasificar los procesos de contratación sospechosos.
Mostramos cómo cinco de las banderas rojas de uso más frecuente se pueden calcular, usando un Google collaboratory notebook y los datos de Colombia Compra Eficiente y ChileCompra, que reunimos con la herramienta OCDS Kingfisher. Una gran discusión comenzó a medida que avanzábamos en los resultados, contextualizamos los umbrales de los indicadores, e identificamos similitudes entre los países. Lo que podría ser una indicación de un proceso riesgoso en un país, podría ser normal en otra jurisdicción, mientras que podría estar completamente prohibido en otros lugares.
La idea de este taller surgió de nuestra colaboración con los socios de la sociedad civil chilena Observatorio del Gasto Fiscal y Chile Transparente, que han presionado desde dentro del Consejo de la Sociedad Civil (COSOC) de ChileCompra para el uso de datos abiertos para una mayor integridad. La agencia de contratación pública ChileCompra también ha apoyado la iniciativa, al ver el potencial de que la sociedad civil lidere el desarrollo de dicho modelo.
¿Qué sigue para las banderas rojas en América Latina?
Una de las principales conclusiones fue cómo los datos estandarizados pueden racionalizar los esfuerzos de diferentes lugares y compartir modelos y conocimientos de manera más efectiva en todos los países que desean monitorear los indicadores de adquisiciones e identificar las señales de alerta.
Revisar los datos también ayudó a identificar posibles problemas de mapeo y de calidad: al mirar los períodos de licitación, algunas agencias en Colombia aparentemente abren su licitación para recibir ofertas por menos de un día, lo que indica un problema probable con la forma en que se capturan los datos en el plataformas de contratación.
Algunos otros participantes se dieron cuenta de que los datos no estaban disponibles para calcular algunas de las banderas rojas que eran relevantes para ellos, especialmente las relacionadas con la etapa de implementación, que rara vez se publican. Todos estos aspectos ayudarán a informar las mejoras en la validación de datos que deberían conducir a datos de mejor calidad.
Con los impresionantes Andes nevados como vista, cerramos el taller con participantes que asumieron compromisos concretos para futuros desarrollos: Pablo Seitz, el director de la Dirección Nacional de Contrataciones Públicas del Paraguay (DNCP) acordó publicar al menos tres banderas rojas en su sitio web para vigilancia pública; los representantes mexicanos y chilenos se comprometieron a formar grupos de trabajo para promover este tema en sus países; y Colombia se comprometió a utilizar los datos de OCDS para fines de auditoría fiscal. Por su parte, Buenos Aires y Honduras prometieron aprovechar su reciente publicación de datos OCDS para comenzar a configurar herramientas como las que se discutieron.
Creemos que este podría ser el punto de partida para rastrear mejor lo que está sucediendo a través de modelos eficientes de banderas rojas en América Latina que pueden servir para transformar la contratación pública. ¡Nuestro helpdesk está listo para responder a todas sus preguntas, así que no sean tímidos y dígannos lo que piensan!
