PROYECTO DE BIG DATA EUSKADI BASADO EN CÓDIGO ABIERTO

El Gobierno Vasco confía su plataforma de almacenamiento distribuido en una solución basada en código abierto. El sistema gestiona la mayor parte de las necesidades de intercambios de ficheros del Gobierno Vasco y maneja más de un millón de solicitudes al día.

El sistema permite el intercambio seguro y gestionado de ficheros entre aplicaciones alojadas en la red corporativa del Gobierno Vasco y redes de otras organizaciones.

Esta aplicación de Big Data combina Apache HBase, una base de datos distribuida NoSQL, y la solución de almacenamiento distribuido Hadoop. La funcionalidad de búsqueda es implementada usando Elasticsearch.

"Hace unos años, el intercambio de ficheros de gran tamaño entre las administraciones públicas causaba grandes dolores de cabeza", indica Oscar Guadilla Jiménez, Ingeniero de software de EJIE (Eusko Jaurlaritzaren Informatika Elkartea / Sociedad Informática del Gobierno Vasco). "Los Administradores de IT decían que los sistemas o servidores no lo permitirían, o que tal intercambio era simplemente imposible. Así que construimos nuestra propia solución, en sólo seis meses y utilizando código abierto”.

"El sistema funciona actualmente sobre PLATEA (Plataforma Tecnológica de eAdministración del Gobierno Vasco). Varios de sus componentes se han publicado como software libre. Un ejemplo de ello es PLATEA Integración de Ficheros, disponible ya mediante licencia de código abierto de la Unión Europea, EUPL. Esta solución está disponible en la web OpenData Euskadi.

Fácil de usar

Los Desarrolladores de EJIE pusieron el énfasis en la facilidad de uso. "El intercambio funciona en todos los servidores y equipos de escritorio." La interfaz web de este sistema permite a los usuarios cargar ficheros y transferirlos a otros usuarios. Alternativamente, este servicio permite a los usuarios almacenar, sincronizar y compartir los ficheros que son demasiado grandes para ser enviados por correo electrónico, compartiéndolos con otras personas vía URLs. Una característica interesante a nivel de desarrollo de aplicaciones es el componente asíncrono de carga de ficheros, ya que "permite a los usuarios cargar ficheros mientras se rellenan los formularios requeridos", indica Oscar Guadilla.

Por otro lado, "nuestra plataforma permite gestionar más de un millón de solicitudes en la solución de servicios al día", señala Oscar. Las trazas se almacenan en Hbase, y son usables tanto por los Desarrolladores de EJIE como por el personal de Explotación, garantizando así el buen funcionamiento de los aplicativos.

Solución escalable y robusta

"Nuestro sistema demuestra que el código abierto es maduro para proyectos de Big Data", señala Oscar Guadilla. "La plataforma es escalable y robusta, y podemos gestionar todo lo que sucede con un archivo, con todo detalle, conforme a nuestras normas de privacidad", dice el Ingeniero Oscar Guadilla. El Desarrollador de software presentó el proyecto de Big Data en "LibreCon2014", una conferencia sobre Tecnologías Abiertas que tuvo lugar en Bilbao (Bizkaia, Euskadi) los días 11 y 12 de noviembre.

PUBLICADO POR: VENICE AQUINO MORALES