El 4 de novembre es va publicar l'informe final de la caiguda que va deixar a les fosques la zona europe-west2-b de Google Cloud a Londres. A dins hi ha una frase que val per una auditoria sencera: «The PLC undervoltage sensing inputs were wired upstream (line side) of the isolated utility feed breakers». És a dir: els autòmats que decideixen si arrenquen els grups electrògens mesuraven la tensió abans de l'interruptor d'escomesa, no després. I l'interruptor de l'escomesa B era obert i consignat per reparar el que havia trobat una prova de càrrega sis dies abans. Quan va caure l'escomesa A, els autòmats van mirar la B, van veure tensió perfecta en un camí que no podia lliurar ni un amper, i no van donar l'ordre d'arrencada. Els grups hi eren. El gasoil hi era. L'ordre, no.
El 21 d'octubre, en calent, vam escriure sobre aquesta mateixa caiguda quan només se'n sabia el què: que una zona sencera és un domini de fallada físic i no una etiqueta en una consola. N'aprofitem per corregir-nos: aquell dia vam dir «gairebé vuit hores» i les 06:08 UTC, que era el que hi havia; l'informe final deixa la caiguda en 6 hores i 8 minuts i el tall a les 06:53 hora de Londres. El que no se sabia aleshores era el perquè, i el perquè és força més incòmode que el què, perquè no parla d'un cable trencat —els cables es trenquen— sinó d'una decisió de cablejat de sensors presa probablement a la posada en marxa, anys abans, i d'una finestra de manteniment que ningú no va comptar com a risc.
El que va passar, amb les hores del mateix informe
Totes les marques de temps que segueixen són les de l'informe, en hora de Londres. A les 06:53 del 20 d'octubre falla l'escomesa principal A per una avaria en un cable subterrani de la xarxa de la companyia elèctrica. A les 07:00 comença l'impacte: les bateries dels SAI s'han esgotat i les sales es queden sense corrent, enduent-se servidors, emmagatzematge local i l'electrònica de xarxa de la zona. A les 07:04 salten les alertes. A les 07:09 arrenca el desviament automàtic a zones veïnes. A les 07:54 torna el corrent per l'escomesa de reserva. A les 08:20 les sales tenen tensió una altra vegada i els controladors d'arrencada automàtica s'han reiniciat i provat. A les 12:11 els serveis tornen a estar disponibles i a les 13:08 l'informe marca «recuperació de la majoria de la càrrega», amb el 99,5 % de les màquines virtuals operatives. La durada oficial de l'incident, comptada des de l'inici de l'impacte de les 07:00, és de 6 hores i 8 minuts.
Fixa't en el primer tram: entre que marxa la llum i s'apaguen les sales passen set minuts. L'informe declara pel seu compte l'autonomia de disseny —«Uninterruptible Power Supply (UPS) battery systems provide approximately five minutes of autonomous runtime»—, de manera que aquells set minuts són l'esgotament real d'unes bateries dimensionades per a cinc. D'aquí en surt el que ens sembla la lliçó cara de tot plegat: l'autonomia del SAI no és un coixí, és el termini màxim que té l'arrencada del grup per passar. I no és una interpretació nostra: entre les mesures correctores, el mateix Google es compromet a provar l'arrencada automàtica dels grups «within the backup battery timer». En diu temporitzador. Això és exactament el que és.
On estava punxat el sensor
La instal·lació és de manual. El 2N són els dos camins complets de potència des de companyia —les escomeses A i B—, amb la definició que el mateix informe escriu al costat: «the facility has complete duplicate power paths for every critical load». A banda d'això hi ha grups electrògens i una escomesa de reserva que, convé retenir aquest detall, està «configured for manual campus-wide transfer»: es passa a mà. L'arrencada automàtica dels grups la decideixen uns autòmats programables que vigilen si baixa la tensió, i el problema és on estaven punxades aquelles entrades de vigilància: al costat de línia, aigües amunt de l'interruptor de cada escomesa. L'informe ho remata: «Utility feed B remained energized upstream while its incomer feed was in open position». L'escomesa B continuava amb tensió per dalt, amb l'interruptor obert per baix.
Traduït a una frase que cap en una reunió: tensió present no vol dir energia lliurable. Un sensor punxat abans d'un interruptor obert mesura exactament el mateix que si tot anés bé. La lògica de l'autòmat no contemplava l'estat de l'interruptor, només la tensió, de manera que la seva conclusió —«hi ha alimentació, no arrenquis»— era impecable a partir de la dada que tenia. I la dada era correcta. El que no era correcte era la pregunta.
L'informe hi afegeix el detall que converteix un error en una fallada de disseny, i ho diu ell, no nosaltres: «the active and standby master PLCs, which were running identical control logic, sensed live voltage from feed B through shared upstream sensors on the disconnected path». Hi havia dos autòmats, un d'actiu i un altre de reserva, amb la mateixa lògica i mirant pels mateixos sensors. Dos aparells amb el mateix error són una còpia, no una redundància. Això no s'arregla comprant-ne un tercer. I val la pena portar aquí, com a analogia i no com a prova —l'estudi va de serveis d'internet, no de plantes elèctriques—, la troballa clàssica d'Oppenheimer i els seus col·legues el 2003: a les caigudes greus manen la configuració i l'operació, i el maquinari n'explica una minoria. Aquí el maquinari va fer el que havia de fer: el cable es va trencar —això és una fallada, i les fallades són inevitables—, els grups eren al seu lloc, els SAI van aguantar el que els tocava. El que va convertir la fallada en avaria va ser una decisió presa en un plànol, amb un retolador, molt abans que ningú encengués un servidor.
La prova trimestral va fer la seva feina. La finestra que va obrir, no
Aquesta és la part que més ens interessa de tot l'informe. El 14 d'octubre es va fer una prova trimestral de càrrega dels grups. La prova va trobar problemes. Per corregir-los es va haver d'obrir i bloquejar l'interruptor de l'escomesa B, i la sala va passar al que l'informe anomena «a temporary single-feed (1N) bridged maintenance posture»: una postura temporal d'alimentació única. Sis dies després, l'escomesa que quedava va caure.
Que no es llegeixi com un argument contra provar: és just el contrari. La prova va fer exactament allò per què existeix, que és trobar un problema un dimecres al matí i no a les set del matí del dimarts següent, amb Lloyds, HSBC, Royal Mail i Revolut penjant-ne. Nosaltres defensem trencar a propòsit, en horari d'oficina, per aquesta raó. El que l'informe deixa a la vista és una altra cosa, més fina i gairebé mai escrita en cap contracte: la redundància que compres no és un estat, és un percentatge de temps. Una sala 2N que passa, posem, quatre setmanes l'any en manteniment és una sala 2N el 92 % del temps. La resta és 1N. I l'1N no avisa.
D'aquí en surt la pregunta que de debò canvia una decisió: t'avisen quan la sala entra en postura degradada? Perquè si el teu proveïdor obre un interruptor el dimarts i tu tens una finestra de canvis el dijous per actualitzar els hipervisors, aquella informació canvia el teu dijous. Si no t'arriba, no el canvies, i acabes fent el teu manteniment a sobre del seu sense saber-ho.
El que posa el fullet i el que cal preguntar
Aquesta taula és la que fem servir quan mirem una sala, sigui per allotjar maquinari nostre o per recomanar-la a un client. Cap de les preguntes de la dreta no és agressiva: una sala ben portada les respon en deu minuts i amb documents. La reacció a la pregunta ja és, en si mateixa, informació.
| El que posa el fullet | El que cal preguntar |
|---|---|
| «Alimentació 2N, dues escomeses independents» | Quantes hores l'any sou en 1N per manteniment, i m'ho notifiqueu quan passa? |
| «Grups electrògens amb N hores d'autonomia» | Què decideix que arrenquin? On és el sensat i entra l'estat dels interruptors en la lògica? |
| «SAI amb X minuts d'autonomia» | Aquells minuts són el termini de l'arrencada, no un coixí. Quant triga la transferència mesurada a l'última prova? |
| «Proves de càrrega trimestrals» | La prova transfereix càrrega real amb tall de companyia? I en quina postura queda la sala mentre es repara el que la prova trobi? |
| «Autòmats de control redundants» | Corren la mateixa lògica? Dues caixes amb el mateix error són una caixa. Qui revisa aquell codi i cada quant? |
L'última fila no és una ocurrència nostra: entre les mesures correctores de l'informe hi ha revisar el codi dels autòmats juntament amb els equips del proveïdor de la instal·lació, «validate global PLC configurations at sites with similar topologies and PLC manufacturers», congelar els manteniments planificats en aquelles sales mentrestant, i una revisió posterior en què «a second Google team will then validate this within a quarter». Això últim és el que més diu: si l'operador que gestiona alguns dels centres de dades més grans del planeta ha decidit que cal una segona lectura del codi que arrenca els grups, el problema no és d'una sala amb mala sort. És de tota una classe d'instal·lacions.
Sis hores es mengen l'any sencer
El compte és la part que un comitè entén sense discussió. Un 99,9 % de disponibilitat anual deixa un pressupost de 8 hores i 46 minuts de caiguda a l'any. Aquesta caiguda va consumir 6 hores i 8 minuts: el 70 % del pressupost anual en un sol matí de dimarts, i encara quedaven dos mesos d'any. Si el que havies promès era un 99,99 %, el pressupost sencer de l'any són 52 minuts, de manera que aquesta caiguda se'l va menjar set vegades. L'aritmètica és nostra, però els dos números de partida no tenen discussió: surten de multiplicar.
I aquí hi ha el punt que repetim fins a cansar: la fallada és inevitable, l'avaria és una decisió de disseny. El cable subterrani s'havia de trencar algun dia, això no ho decideix ningú. El que sí que es decideix és si aquella ruptura apaga la teva empresa. La diferència entre les dues coses no és al fullet del proveïdor: és en quants llocs tens i en si alguna vegada has provat de perdre'n un.
Quan NO calen dues sales
No acabarem dient que tothom necessita duplicar la sala, perquè no és veritat i perquè qui ho diu està venent. Si el teu negoci aguanta mitja jornada aturat una vegada cada tres anys sense perdre clients, sense incomplir un contracte i sense que ningú hagi de donar explicacions a un client gran, pagar dues sales és sobreenginyeria, i t'ho direm així. Hi ha empreses per a les quals la resposta correcta és una sola sala bona, còpies en un altre lloc i un pla escrit de què es fa mentrestant.
El que no és opcional és haver-ho decidit. La diferència entre resiliència i sort és que una està escrita i l'altra es descobreix un dimarts a les set. I el matís incòmode, que també va per nosaltres: la segona sala no et salva si totes dues pengen del mateix proveïdor de trànsit, si el DNS viu en un únic lloc o si la còpia que tens a l'altra punta no l'has restaurada mai de debò. Ja vam explicar els números del que triga una recuperació real davant del que prometia el paper, i la distància entre totes dues coses no la cobreix el contracte de colocation de ningú.
Dues frases de l'informe que ningú no ha citat
La primera explica on se'n va anar l'hora. Entre el tall de les 06:53 i la tornada del corrent a les 07:54 passen seixanta-un minuts, i és perquè l'escomesa de reserva està «configured for manual campus-wide transfer»: algú hi ha d'anar i passar-la. És una decisió perfectament raonable —una transferència manual no es dispara sola per un transitori— però convé saber que hi és, perquè canvia la resposta a «quant trigueu a recuperar alimentació?» segons qui hi hagi a la sala i a quina hora sigui.
La segona és per a qui es pensi que reparteix la càrrega entre zones i dorm tranquil. L'informe reconeix que «some customers running workloads in unimpacted zones (europe-west2-a and europe-west2-c)… also experienced unexpected impact». Les zones que no van caure també van donar problemes, perquè el desviament automàtic de la que sí que va caure els va arribar a sobre. Repartir entre zones continua sent el correcte; el que no és cert és que surti de franc el dia que una se'n va sencera. Si el teu pla de contingència assumeix que la zona veïna absorbeix tot el teu trànsit sense despentinar-se, aquell pla no s'ha provat amb la zona veïna plena.
A everyWAN allotgem maquinari propi en centre de dades i ho fem per les mateixes raons per què ho fa qualsevol: perquè la sala la porta gent que fa això a jornada completa. Això no ens treu la feina de preguntar, ens la canvia de lloc. Si estàs triant on posar les teves màquines o revisant el que ja tens signat, aquella conversa és colocation ben entès: no metres de rack i ampers, sinó què passa el dia que la sala es queda a una sola pota. I el que no pot quedar-se dins d'aquella sala —les còpies, el pla, l'assaig— és disaster recovery, que és la part que continua sent teva per molt contracte que signis. De l'altra pressió que ve sobre aquestes sales, la de la factura elèctrica i la norma, ja en vam parlar mirant el projecte de reial decret de centres de dades.
Fonts (verificades): tot el que és factual en aquest post surt d'una sola font primària — l'informe d'incidència de Google Cloud, europe-west2, actualitzat el 4 de novembre de 2026: les marques de temps, la durada de 6 h 08 min comptada des de l'inici de l'impacte, l'avaria del cable subterrani, la prova trimestral de càrrega del 14 d'octubre, l'arquitectura 2N i l'escomesa de reserva de transferència manual, els cinc minuts d'autonomia dels SAI, les frases literals sobre el sensat i els dos autòmats, la postura temporal 1N, l'impacte col·lateral a europe-west2-a i -c, i les mesures correctores. Les hores de l'informe són en US/Pacific amb la seva equivalència en hora britànica; aquí es fa servir sempre la de Londres. L'única aportació de The Register (5 de novembre de 2026) és la llista d'organitzacions afectades. Són aritmètica nostra sobre aquelles xifres: els set minuts entre tall i impacte, els seixanta-un minuts fins a l'escomesa de reserva, el 70 % del pressupost d'un 99,9 % i les set vegades el d'un 99,99 %. Que la configuració i l'operació pesen més que el maquinari a les caigudes greus de serveis d'internet — Oppenheimer, Ganapathi i Patterson, USENIX 2003, un estudi sobre serveis d'internet, no sobre plantes elèctriques: el portem com a analogia, no com a prova. Les preguntes de la taula són nostres, de llegir contractes de sala.
Quantes hores l'any és la teva sala a una sola pota?
Si no saps la resposta, tampoc no saps quina disponibilitat tens de debò. Revisem amb tu on és el teu maquinari, què passa el dia que aquella sala es queda a una escomesa i quina part del pla continua sent teva.
Parlar amb everyWAN