Volver al Blog

El sensor miraba el lado vivo de un interruptor abierto

Motor de un grupo electrógeno de emergencia instalado en la sala de máquinas de un centro de datos

El 4 de noviembre se publicó el informe final de la caída que dejó a oscuras la zona europe-west2-b de Google Cloud en Londres. Dentro hay una frase que vale por una auditoría entera: «The PLC undervoltage sensing inputs were wired upstream (line side) of the isolated utility feed breakers». Es decir: los autómatas que deciden si arrancan los grupos electrógenos medían la tensión antes del interruptor de acometida, no después. Y el interruptor de la acometida B estaba abierto y consignado para reparar lo que había encontrado una prueba de carga seis días antes. Cuando cayó la acometida A, los autómatas miraron la B, vieron tensión perfecta en un camino que no podía entregar un amperio, y no dieron la orden de arranque. Los grupos estaban. El gasóleo estaba. La orden, no.

El 21 de octubre, en caliente, escribimos sobre esta misma caída cuando solo se sabía el qué: que una zona entera es un dominio de fallo físico y no una etiqueta en una consola. Aprovechamos para corregirnos: aquel día dijimos «casi ocho horas» y las 06:08 UTC, que era lo que había; el informe final deja la caída en 6 horas y 8 minutos y el corte a las 06:53 hora de Londres. Lo que no se sabía entonces era el por qué, y el porqué es bastante más incómodo que el qué, porque no habla de un cable roto —los cables se rompen— sino de una decisión de cableado de sensores tomada probablemente en la puesta en marcha, años antes, y de una ventana de mantenimiento que nadie contó como riesgo.

Lo que pasó, con las horas del propio informe

Todas las marcas de tiempo que siguen son las del informe, en hora de Londres. A las 06:53 del 20 de octubre falla la acometida principal A por una avería en un cable subterráneo de la red de la compañía eléctrica. A las 07:00 empieza el impacto: las baterías de los SAI se han agotado y las salas se quedan sin corriente, llevándose por delante servidores, almacenamiento local y la electrónica de red de la zona. A las 07:04 saltan las alertas. A las 07:09 arranca el desvío automático a zonas vecinas. A las 07:54 vuelve la corriente por la acometida de reserva. A las 08:20 las salas tienen tensión otra vez y los controladores de arranque automático se han reiniciado y probado. A las 12:11 los servicios vuelven a estar disponibles y a las 13:08 el informe marca «recuperación de la mayoría de la carga», con el 99,5 % de las máquinas virtuales operativas. La duración oficial del incidente, contada desde el inicio del impacto de las 07:00, es de 6 horas y 8 minutos.

Fíjate en el primer tramo: entre que se va la luz y se apagan las salas pasan siete minutos. El informe declara por su cuenta la autonomía de diseño —«Uninterruptible Power Supply (UPS) battery systems provide approximately five minutes of autonomous runtime»—, así que esos siete minutos son el agotamiento real de unas baterías dimensionadas para cinco. De ahí sale lo que nos parece la lección cara de todo esto: la autonomía del SAI no es un colchón, es el plazo máximo que tiene el arranque del grupo para ocurrir. Y no es una interpretación nuestra: entre las medidas correctoras, el propio Google se compromete a probar el arranque automático de los grupos «within the backup battery timer». Lo llama temporizador. Eso es exactamente lo que es.

Dónde estaba pinchado el sensor

La instalación es de manual. El 2N son los dos caminos completos de potencia desde compañía —las acometidas A y B—, con la definición que el propio informe escribe al lado: «the facility has complete duplicate power paths for every critical load». Aparte de eso hay grupos electrógenos y una acometida de reserva que, conviene retener este detalle, está «configured for manual campus-wide transfer»: se pasa a mano. El arranque automático de los grupos lo deciden unos autómatas programables que vigilan si baja la tensión, y el problema es dónde estaban pinchadas esas entradas de vigilancia: en el lado de línea, aguas arriba del interruptor de cada acometida. El informe lo remata: «Utility feed B remained energized upstream while its incomer feed was in open position». La acometida B seguía con tensión por arriba, con el interruptor abierto por abajo.

Traducido a una frase que cabe en una reunión: tensión presente no significa energía entregable. Un sensor pinchado antes de un interruptor abierto mide exactamente lo mismo que si todo fuera bien. La lógica del autómata no contemplaba el estado del interruptor, solo la tensión, así que su conclusión —«hay alimentación, no arranques»— era impecable a partir del dato que tenía. Y el dato era correcto. Lo que no era correcto era la pregunta.

El informe añade el detalle que convierte un error en un fallo de diseño, y lo dice él, no nosotros: «the active and standby master PLCs, which were running identical control logic, sensed live voltage from feed B through shared upstream sensors on the disconnected path». Había dos autómatas, uno activo y otro en reserva, con la misma lógica y mirando por los mismos sensores. Dos aparatos con el mismo error son una copia, no una redundancia. Esto no se arregla comprando un tercero. Y vale la pena traer aquí, como analogía y no como prueba —el estudio va de servicios de internet, no de plantas eléctricas—, el hallazgo clásico de Oppenheimer y sus colegas en 2003: en las caídas graves mandan la configuración y la operación, y el hardware explica una minoría. Aquí el hardware hizo lo que tenía que hacer: el cable se rompió —eso es un fallo, y los fallos son inevitables—, los grupos estaban en su sitio, los SAI aguantaron lo que les tocaba. Lo que convirtió el fallo en avería fue una decisión tomada en un plano, con un rotulador, mucho antes de que nadie encendiera un servidor.

La prueba trimestral hizo su trabajo. La ventana que abrió, no

Esta es la parte que más nos interesa de todo el informe. El 14 de octubre se hizo una prueba trimestral de carga de los grupos. La prueba encontró problemas. Para corregirlos hubo que abrir y bloquear el interruptor de la acometida B, y la sala pasó a lo que el informe llama «a temporary single-feed (1N) bridged maintenance posture»: una postura temporal de alimentación única. Seis días después, la acometida que quedaba se cayó.

Que no se lea como un argumento contra probar: es justo lo contrario. La prueba hizo exactamente aquello para lo que existe, que es encontrar un problema un miércoles por la mañana y no a las siete de la mañana del martes siguiente, con Lloyds, HSBC, Royal Mail y Revolut colgando de ello. Nosotros defendemos romper a propósito, en horario de oficina, por esta razón. Lo que el informe deja a la vista es otra cosa, más fina y casi nunca escrita en ningún contrato: la redundancia que compras no es un estado, es un porcentaje de tiempo. Una sala 2N que pasa, pongamos, cuatro semanas al año en mantenimiento es una sala 2N el 92 % del tiempo. El resto es 1N. Y el 1N no avisa.

De ahí sale la pregunta que de verdad cambia una decisión: ¿te avisan cuando la sala entra en postura degradada? Porque si tu proveedor abre un interruptor el martes y tú tienes una ventana de cambios el jueves para actualizar los hipervisores, esa información cambia tu jueves. Si no te llega, no lo cambias, y acabas haciendo tu mantenimiento encima del suyo sin saberlo.

Lo que pone el folleto y lo que hay que preguntar

Esta tabla es la que usamos cuando miramos una sala, sea para alojar hierro nuestro o para recomendársela a un cliente. Ninguna de las preguntas de la derecha es agresiva: una sala bien llevada las responde en diez minutos y con documentos. La reacción a la pregunta ya es, en sí misma, información.

Lo que pone el folleto Lo que hay que preguntar
«Alimentación 2N, dos acometidas independientes» ¿Cuántas horas al año estáis en 1N por mantenimiento, y me lo notificáis cuando ocurre?
«Grupos electrógenos con N horas de autonomía» ¿Qué decide que arranquen? ¿Dónde está el sensado y entra el estado de los interruptores en la lógica?
«SAI con X minutos de autonomía» Esos minutos son el plazo del arranque, no un colchón. ¿Cuánto tarda la transferencia medida en la última prueba?
«Pruebas de carga trimestrales» ¿La prueba transfiere carga real con corte de compañía? ¿Y en qué postura queda la sala mientras se repara lo que la prueba encuentre?
«Autómatas de control redundantes» ¿Corren la misma lógica? Dos cajas con el mismo error son una caja. ¿Quién revisa ese código y cada cuánto?

La última fila no es una ocurrencia nuestra: entre las medidas correctoras del informe está revisar el código de los autómatas junto con los equipos del proveedor de la instalación, «validate global PLC configurations at sites with similar topologies and PLC manufacturers», congelar los mantenimientos planificados en esas salas mientras tanto, y una revisión posterior en la que «a second Google team will then validate this within a quarter». Eso último es lo que más dice: si el operador que gestiona algunos de los centros de datos más grandes del planeta ha decidido que hace falta una segunda lectura del código que arranca los grupos, el problema no es de una sala con mala suerte. Es de una clase entera de instalaciones.

Seis horas se comen el año entero

La cuenta es la parte que un comité entiende sin discusión. Un 99,9 % de disponibilidad anual deja un presupuesto de 8 horas y 46 minutos de caída al año. Esta caída consumió 6 horas y 8 minutos: el 70 % del presupuesto anual en una sola mañana de martes, y todavía quedaban dos meses de año. Si lo que habías prometido era un 99,99 %, el presupuesto entero del año son 52 minutos, así que esta caída se lo ha comido siete veces. La aritmética es nuestra, pero los dos números de partida no tienen discusión: salen de multiplicar.

Y aquí está el punto que repetimos hasta cansar: el fallo es inevitable, la avería es una decisión de diseño. El cable subterráneo se iba a romper algún día, eso no lo decide nadie. Lo que sí se decide es si esa rotura apaga tu empresa. La diferencia entre las dos cosas no está en el folleto del proveedor: está en cuántos sitios tienes y en si alguna vez has probado a perder uno.

Cuándo NO hacen falta dos salas

No vamos a terminar diciendo que todo el mundo necesita duplicar la sala, porque no es verdad y porque quien lo dice está vendiendo. Si tu negocio aguanta media jornada parado una vez cada tres años sin perder clientes, sin incumplir un contrato y sin que nadie tenga que dar explicaciones a un cliente grande, pagar dos salas es sobreingeniería, y te lo diremos así. Hay empresas para las que la respuesta correcta es una sola sala buena, copias en otro sitio y un plan escrito de qué se hace mientras tanto.

Lo que no es opcional es haberlo decidido. La diferencia entre resiliencia y suerte es que una está escrita y la otra se descubre un martes a las siete. Y el matiz incómodo, que también va por nosotros: la segunda sala no te salva si las dos cuelgan del mismo proveedor de tránsito, si el DNS vive en un único sitio o si la copia que tienes en la otra punta no la has restaurado nunca de verdad. Ya contamos los números de lo que tarda una recuperación real frente a lo que prometía el papel, y la distancia entre ambas cosas no la cubre el contrato de colocation de nadie.

Dos frases del informe que nadie ha citado

La primera explica dónde se fue la hora. Entre el corte de las 06:53 y la vuelta de la corriente a las 07:54 pasan sesenta y un minutos, y es porque la acometida de reserva está «configured for manual campus-wide transfer»: alguien tiene que ir y pasarla. Es una decisión perfectamente razonable —una transferencia manual no se dispara sola por un transitorio— pero conviene saber que está ahí, porque cambia la respuesta a «¿cuánto tardáis en recuperar alimentación?» según quién esté en la sala y a qué hora sea.

La segunda es para quien crea que reparte la carga entre zonas y duerme tranquilo. El informe reconoce que «some customers running workloads in unimpacted zones (europe-west2-a and europe-west2-c)… also experienced unexpected impact». Las zonas que no se cayeron también dieron problemas, porque el desvío automático de la que sí se cayó les llegó encima. Repartir entre zonas sigue siendo lo correcto; lo que no es cierto es que salga gratis el día que una se va entera. Si tu plan de contingencia asume que la zona vecina absorbe todo tu tráfico sin despeinarse, ese plan no se ha probado con la zona vecina llena.

En everyWAN alojamos hierro propio en centro de datos y lo hacemos por las mismas razones por las que lo hace cualquiera: porque la sala la lleva gente que hace esto a jornada completa. Eso no nos quita el trabajo de preguntar, nos lo cambia de sitio. Si estás eligiendo dónde poner tus máquinas o revisando lo que ya tienes firmado, esa conversación es colocation bien entendido: no metros de rack y amperios, sino qué pasa el día que la sala se queda a una sola pata. Y lo que no puede quedarse dentro de esa sala —las copias, el plan, el ensayo— es disaster recovery, que es la parte que sigue siendo tuya por mucho contrato que firmes. De la otra presión que viene sobre estas salas, la de la factura eléctrica y la norma, ya hablamos al mirar el proyecto de real decreto de centros de datos.

Fuentes (verificadas): todo lo factual de este post sale de una sola fuente primaria — el informe de incidencia de Google Cloud, europe-west2, actualizado el 4 de noviembre de 2026: las marcas de tiempo, la duración de 6 h 08 min contada desde el inicio del impacto, la avería del cable subterráneo, la prueba trimestral de carga del 14 de octubre, la arquitectura 2N y la acometida de reserva de transferencia manual, los cinco minutos de autonomía de los SAI, las frases literales sobre el sensado y los dos autómatas, la postura temporal 1N, el impacto colateral en europe-west2-a y -c, y las medidas correctoras. Las horas del informe están en US/Pacific con su equivalencia en hora británica; aquí se usa siempre la de Londres. La única aportación de The Register (5 de noviembre de 2026) es la lista de organizaciones afectadas. Son aritmética nuestra sobre esas cifras: los siete minutos entre corte e impacto, los sesenta y un minutos hasta la acometida de reserva, el 70 % del presupuesto de un 99,9 % y las siete veces el de un 99,99 %. Que la configuración y la operación pesan más que el hardware en las caídas graves de servicios de internet — Oppenheimer, Ganapathi y Patterson, USENIX 2003, un estudio sobre servicios de internet, no sobre plantas eléctricas: lo traemos como analogía, no como prueba. Las preguntas de la tabla son nuestras, de leer contratos de sala.

¿Cuántas horas al año está tu sala a una sola pata?

Si no sabes la respuesta, tampoco sabes qué disponibilidad tienes de verdad. Revisamos contigo dónde está tu hierro, qué pasa el día que esa sala se queda a una acometida y qué parte del plan sigue siendo tuya.

Hablar con everyWAN

Etiquetas:

Compartir:

Suscríbete a nuestra newsletter

Para recibir historias del mundo IT, novedades de everyWAN y ofertas exclusivas para suscriptores, date de alta a nuestra lista de correo

everyWAN
everyWAN