El día que se cayó el servidor (Segunda parte)

Uno de los días más negro de mi vida fue el día que decidí formatear el servidor de la empresa después de tener algunos fallos que no pude corregir rapidamente.

Como dije anteriormente, el segundo error que cometí fue el de decidir formatear el servidor, ya lo había hecho antes así que estaba confiado, solo tenía que instalar el SO y borrar la partición “/” ya que home estaba en otro lado y todos mis datos importantes estaban en esa partición. Tercer error…

Lo que recordé muy tarde es que el sistema interno así como la base de datos se encontraban alojados en el disco que decidí borrar, en principio me sentí pálido como sábana de hotel lujoso, pero luego recordé que era lunes y que los respaldos de la base y el sistema habían sido hechos el sábado… así que podría recuperarlos fácilmente. Cuarto error…

Una vez instalado el sistema lo primero que hice fue acceder a la carpeta de respaldos de la segunda partición y busqué el respaldo de la base de datos… imaginen mi horror al descubrir que el archivo estaba vacío, blanco, nada, cero, nulo… es decir… perdí la base de datos. La conmoción casi se apodera de mi pero entonces recordé: “tengo el disco del RAID que desconecté… todos los datos están allí… puedo conectarlo como disco externo y ahí están los datos que necesito”. Quinto error…

Mientras unos de mis ayudantes (de hecho mi jefe que venía de cuando en cuando a ver como me iba, esta ves ya sin la sonrisa sino más bien con preocupación) me ayudaba a poner el disco RAID en el case externo, yo configuraba el resto del servidor, esto es, servidor de archivos y servidor de internet. Para ese entonces eran ya las 11:00, una vez subidos estos dos servidores la empresa pudo trabajar con cierta normalidad, pero aún necesitaban el sistema interno.

Llegó el momento cumbre, recuperar la base de datos con información de un año de actividades, en la que toda la empresa había comenzado a poner confiadamente los datos de proyectos, ofertas, facturas, clientes y demás… está por demás decir que para este entonces mi stress era de proporciones míticas y ya nadie en la empresa sonreía, solamente pasaban de cuando en cuando por mi oficina diciendo: “Tranquilo Pablo, no te stresses, todo va a salir bien, tu puedes”. Pero que pasó? claaaro, el disco RAID en el case externo no se leyó ni en Linux ni en Windows, ambos SO decían: “Tu disco está sin formato, le formateo???”, eso que quiere decir??? Nunca se realizó el espejo del RAID????? Jamás se copió nada???? El disco está virgen????. No salieron lágrimas de mis ojos por un milagro… porque en verdad estaba a un tris del descalabro. La solución final… recuperar los datos borrados directamente del disco formateado. Bajé una utilidad gratuita hecha específicamente para linux que prometía recuperar los archivos accidentalmente borrados de las particiones y lo puse a correr, como la labor era larga decidí subir a comer(12:55).

Al regresar de mi almuerzo (13:15) revisé los resultados de la búsqueda (la partición borrada es apenas de 5GB) y no encontré nada que me agrade, así que decidí hacer una búsqueda más profunda. Sexto error… en ese momento el servidor decidió que era hora de ponerse en paro nuevamente y simplemente se reinició. Pálido nuevamente, me encomendé a mi Creador y prendí la máquina, no sin antes conectar el RAID que había sacado anteriormente y que aparentemente no servía. Séptimo error…

La máquina encendió aparentemente bien, pero al final dio un ligero error: “No es posible iniciar XWindow”, es decir, “No hay ventanitas bonitas, ni mouse, ni nada gráfico, te amuelas”. Pensé: “¿¿¿Ya que más me puede pasar????” y apagué la compu. Se me ocurrió en ese momento probar a arrancar el servidor con el otro disco, con el que había sacado en primer lugar, el supuestamente dañado, y ¿qué creen? pues arrancó!!!! al parecer las particiones eran visibles solamente para la tarjeta controladora del RAID (seguramente esto es obvio para muchos Ingeniros de TI, pero mi especialidad es programación, así que quedé pasmado). Mi alegría inicial debida al arranque del sistema desapareció rapidamente al ver que este disco daba el mismo problema de fallo en XWindow (yo la verdad esperaba el anterior “Pánico de Kernel”). Pensé que me habría equivocado de disco y lo cambié… Pero nuevamente el sistema arrancó y dio el mismo error de fallo de XWindow. Hice varias combinaciones de cambios pero el resultado siempre fue el mismo, finalmente me rendí y decidí buscar los archivos perdidos, no importaba si solo tenía consola, pero no, no habían los tales archivos. La controladora RAID actualizó el segundo disco con el contenido del primero tras solo 2 minutos de conexión, quien lo hubiera pensado. Eran como las 16:00 y ya el jefe me había dicho que no me preocupe, que los datos los voy a recuperar y que de ser necesario pagaremos a una empresa para que lo haga y todo eso.

Para todo eso, con tanto cambio de disco en el RAID, la controladora acabó por hacerce un lío y ahora ya no sabe que disco es el maestro y cual es el esclavo, así que me tocó desconectar uno de los discos y copiar por red la información valiosa mientras esperaba que todos los empleados se fueran y yo pudiera apagar el servidor, extraer uno de los discos y hacer una recuperación desesperada con varias herramientas que encontré en internet.

En estos momentos son las 18:20 y todavía no he podido apagar el servidor…

Mañana veremos que sucede…