El día hoy desde las 9:45am (hora Guayaquil/Lima GMT-5) presentamos problemas en el acceso a todos los servicios de Dora y Practisis en todos los países. Se restablecieron los servicios desde las 10:03am, por lo que estuvimos aproximadamente 18 minutos sin sistema. Este restablecimiento del servicio fue con la infraestructura de respaldo de nuestro sistema, mientras trabajabamos en la infraestructura principal.

La infraestructura alterna de respaldo funcionó 100% hasta las 11:00am , momento en la cual empezamos a tener problemas de acceso por la cantidad de usuarios. El acceso a la infraestructura de respaldo fue intermitente durante los siguientes 15-20 minutos. Desde las 11:15am nuestra infraestructura principal ya estaba nuevamente en funcionamiento; sin embargo, los procesos de “propagación” de los nodos IPs a nivel global se demoran tipicamente entre 10-30 minutos en actualizarse por lo que algunos clientes experimentaron problemas de acceso al servicio hasta las 11:45am. A partir de esta hora toda nuestra infraestructura y servicios están 100% normalizados.

Lamentamos los problemas suscitados el día de hoy de todo corazón. Es nuestro compromiso mantener los sistemas en linea y mantenemos la promesa de nuestro servicio del 99% de uptime.

En ningún momento los datos de nuestros clientes, sistemas o código fuente de nuestros servicios estuvieron bajo ataque o en problemas. El origen del problema fue una mala actualización interna de un servidor que no tenia redundancia, lo que imposibilitaba que sus navegadores encuentren nuestro nodo principal. Esto fue reparado por nuestro equipo de ingeniería en pocos minutos una vez que identificamos el fallo.

Hemos tomado las debidas precauciones para que el sistema de respaldo sea más robusto y pueda operar bajo el nivel de solicitudes que manejamos. Adicionalmente hemos instaurado un proceso en el nodo del problema para que no sea un unico punto de falla.

Nuevamente lamentamos la interrupción, sabemos que muchos de ustedes dependen de la disponibilidad del servicio. Es nuestro compromiso seguir trabajando para que esto no vuelva a pasar en el futuro.