Analyze and visualize open contracting data: 2 new manuals

Versión en español

Let’s be honest: Data, without being used, is useless. So, we care a lot about making sure that open contracting data can be used more easily, and that the data is published with purpose.

The Open Contracting Data Standard serves a simple purpose: guide governments on what information to publish throughout the procurement process, how, and when. That information will allow the opportunity to analyze the information for a wide range of users and a number of goals.

That’s why we are very happy to introduce two new user manuals, R for OCDS (en español) and Visualizing OCDS with Kibana (en español). The first one explains how to use the R programming language to analyze OCDS data, and the other is about using Kibana, the open source visualization tool with OCDS data.

The more tools that can consume data in the standard exist the better. We’ve been investing quite a bit of time and resources to ensure that there is an increase and greater variety of tools to allow users to analyze and visualize standardized data. The Open Contracting Data Standard is based on a JSON structure that might require more technical expertise. We’ve heard some feedback from our community that a friendlier approach to exploring the OCDS data would be useful.

Our new manuals have been developed with enough guidance to help all kinds of users by providing the basics for analyzing and visualizing open contracting data using both the R programming language and Kibana.

They take you through the steps to acquire, clean, analyze, and plot open contracting data using four countries as an example, Paraguay, México, Uruguay and Colombia for the R guide, and data from Mexico for the Kibana guide. One of the primary benefits of the Open Contracting Data Standard is that it standardizes the data of anyone who implements it. So the manuals will be useful to all members of our community, regardless of the country data they are working with.

There is also increasing interest in using R for data analysis. For example, R-Instat by the African Data Initiative is free, open-source statistical software that is easy to use and does not require statistical training or advanced computer skills. Its latest release includes a menu for analyzing procurement data using the red flag methodology developed by the Curbing Corruption in Procurement project.

We want to simplify the analysis and use of OCDS data, making it more accessible to researchers, people in academia, journalists, and engaged citizens. We hope researchers and universities will find these guides useful to develop exercises, challenges, or research projects that use OCDS data. Of course, our helpdesk is happy to provide support in the process. Just send us a message to data@open-contracting.org.

Credit where credit is due. This wouldn’t have been possible without the awesome developers of our manuals: Rodrigo Parra, who developed the R programming language guide; and PODER (in particular, Ricardo Vega, Martín Szyszlican y Eduard Martín-Borregón) who developed the Kibana guide. And of course, our partners at ILDA who checked and proofread.

But we won’t stop there. We’ve been working hard on a new tool for downloading, storing and preparing OCDS data for analysis that we named OCDS Kingfisher. Like the bird, the tool will elegantly fish for all of the contracting data worldwide. You can get a take a peek here, but it’s still very much in the lab. Let us know if you would love to test it!  

Finally, our tools directory highlights all of the tools developed by the community. We’re exploring another round of our OCP Bounty Program to continue supporting the development of new ones.

We hope you are as excited as we are sharing these manuals and tools at the International Open Data Conference!

Let us know if you have any feedback, questions or comments. What are we missing? We look forward to meeting many of you in Buenos Aires and working together to open up the contracting process – one data point at a time.

Analiza y Visualiza: 2 nuevos manuales para usar los datos de las contrataciones abiertas

Seamos sinceros: Si no se usan los datos, son inútiles. Es por esto que nos importa mucho asegurarnos que los datos de contrataciones abiertas se utilicen con más facilidad, para que así los datos que se publican tengan un propósito.

El Estándar de Datos para las Contrataciones Abiertas tiene un propósito muy simple: ser una guía para los gobiernos sobre cuándo, cómo y qué información deben publicar a través del proceso de compras públicas. Esa información le servirá a los usuarios para analizar la información para un rango más amplio de usuarios y metas.

Es por eso que no emociona compartir con ustedes nuestros dos nuevos manuales: R para OCDS y Visualización de datos OCDS con Kibana (en inglés). El primero explica como utilizar el lenguaje de programación R para analizar datos OCDS, y el otro es sobre usar datos OCDS en Kibana, la herramienta de código abierto para visualizaciones.

Mientras más herramientas consuman datos en el formato estándar, mejor. Es por eso que hemos invertido tiempo y recursos para asegurarnos que exista una mayor variedad de herramientas que permitan a los usuarios utilizar y visualizar datos estandarizados. El Estándar de Contrataciones Abiertas está basado en una estructura JSON que puede necesitar un poco más de conocimientos técnicos, y escuchamos de nuestra comunidad que un enfoque más amigable para explorar los datos OCDS podría ser útil.

Nuestros nuevos manuales se han desarrollado con la guía suficiente para que le sirvan a todo tipo de usuarios al dar las herramientas básicas para analizar y visualizar datos de contrataciones abiertas tanto en el lenguaje de programación R como en Kibana.

Las guías te llevan paso a paso en el camino para adquirir, limpiar, analizar y graficar datos de contrataciones abiertas utilizando cuatro países como ejemplo en la guía de R; Paraguay, México, Uruguay y Colombia, y utilizando datos de México en la guía de Kibana. Uno de los principales beneficios del Estándar de Contrataciones Abiertas es que estandariza los datos de cualquiera que lo implemente por lo cual los datos de estos países son útiles para todos los miembros de nuestra comunidad, sin importar el país con el que estén trabajando en este momento.

También hemos detectado un interés creciente en utilizar R para el análisis de datos. Por ejemplo, el software de estadística R-Instat de la African Data Initiative  es gratuito, de código abierto, y fácil de usar, por lo que no se requiere un entrenamiento estadístico o de computación avanzado. En la última versión, se incluye un menú para analizar datos de compras públicas utilizando la metodología de banderas rojas desarrollada por el programa Curbing Corruption in Procurement.

Queremos simplificar el análisis y el uso de los datos OCDS, haciéndolo más accesible para investigadores, personas en la academia, investigadores, y ciudadanos. Esperamos que los investigadores y las universidades encuentren útiles estas guías para desarrollar ejercicios, retos o proyectos de investigación utilizando datos OCDS. Nuestra mesa de ayuda técnica está siempre dispuesta a dar apoyo en el proceso de estos proyectos, sólo tienen que escribirnos a data@open-contracting.org.

No podemos terminar sin agradecer a los geniales desarrolladores de nuestros manuales: Rodrigo Parra, que desarrolló la guía en el lenguaje de programación R, y PODER (en particular: Ricardo Vega, Martín Szyszlican y Eduard Martín-Borregón, que desarrollaron la guía de kibana. También agradecemos a nuestros compañeros de ILDA que revisaron la guía

Pero esto no es lo único que tenemos por compartir. Hemos estado trabajando arduamente en una nueva herramienta para descargar, guardar y preparar datos OCDS para análisis, llamada OCDS Kingfisher. Como el pájaro por la cual lleva el nombre, la herramienta busca elegantemente todos OCDS en todos los datos de contrataciones del mundo. Pueden echar un vistazo aquí, aunque todavía se está desarrollando en el laboratorio. Ponte en contacto con nosotros si te gustaría probarla! 

Finalmente, nuestro directorio de herramientas señala todas las herramientas que han sido desarrolladas por la comunidad. Estamos explorando realizar otra versión de nuestro Programa de Cazarrecompensas OCP para seguir apoyando el desarrollo de nuevas herramientas.

Nos encantaría saber si tienen retroalimentación, preguntas o comentarios para nosotros. Estamos emocionados de estar colaborando con ustedes en Buenos Aires, y seguir trabajando por abrir los procesos de contrataciones- un dato a la vez.