Tornar al Blog

Primer el servidor de còpies, després l'hipervisor

Interior d'una llibreria de cintes: passadís entre dues parets de cartutxos de dades

L'equip de resposta a incidents de Kaspersky ha publicat el desglossament d'un atac que va durar deu dies i es va endur quatre hosts ESXi, totes les seves màquines virtuals, els dos vCenter Server Appliance i tota la infraestructura de còpia connectada. El que més diu del cas no és l'abast: és l'ordre. L'antivirus de l'entorn de còpies es va desactivar dies abans; després es van aturar els serveis de còpia, es va xifrar la infraestructura de recuperació i es va obstaculitzar l'accés administratiu. Tot això va passar abans de tocar producció. L'atacant no va anar primer a per les teves dades. Va anar primer a per la teva capacitat de recuperar-les.

La segona dada que convé retenir és el que no va passar. L'informe: «…no virtualization layer vulnerabilities were exploited: no guest-to-host escapes, no hypervisor memory corruption. Every action taken against ESXi was executed through legitimate VMware management interfaces». Cap vulnerabilitat de l'hipervisor. Cap exploit exòtic. Van arribar als vCenter amb credencials obtingudes de «non-virtualization systems inside the organization's perimeter» —sistemes del perímetre que no tenien res a veure amb la virtualització— i a partir d'aquí van fer servir les eines d'administració tal com estan dissenyades. Contra això no hi ha cap pedaç per aplicar; hi ha una decisió d'arquitectura que es va prendre o no es va prendre.

L'ordre no és casualitat: és un diagnòstic

Que algú pugui aturar els teus serveis de còpia i xifrar els teus repositoris abans de tocar un sol host de producció significa que des d'on era s'arribava a totes dues coses amb el mateix joc de permisos. La teva infraestructura de recuperació i la teva producció eren un únic domini de fallada amb dos noms. Aquesta és la lliçó, i és de disseny: cap producte de còpies no l'arregla per tu.

Les recomanacions de l'informe són, llegides seguides, una llista de separacions i no de compres: tractar vCenter com a Tier 0; separar les identitats administratives de la virtualització de l'administració del domini corporatiu; restringir els camins de gestió directa a ESXi i vigilar els canvis d'activació de TSM-SSH; enviar els registres a un lloc centralitzat «outside the virtualization trust domain»; i, textualment, «…design backup as a separate security boundary with independent administrative identities, minimize domain dependencies». Cap de les cinc no porta factura associada: totes cinc es decideixen en una pissarra.

De la versió més antiga d'aquest mateix error ja en vam escriure quan Veeam va publicar l'avís sobre el servidor de còpies ficat al domini que ha de restaurar: una dependència circular de manual, l'aparell que et salva autenticant-se contra allò que ha caigut. Aquí el bucle és el mateix, només que l'eix no és l'Active Directory sinó el pla de gestió de la virtualització. I la pregunta que el desarma és la de sempre: amb quina credencial s'esborra la teva còpia? Si la resposta és «amb una que també administra producció», ja saps l'ordre en què passaran les coses.

Quaranta-tres segons

Els atacants es van autenticar com a root per SSH a l'aparell i, en paraules de l'anàlisi, «forty-three seconds later, they fetched and deployed MeshAgent through a shell script». Quaranta-tres segons entre entrar i deixar plantada la seva pròpia eina d'accés remot: el component de punt final de MeshCentral, programari legítim de gestió.

Fes el compte de què cap en quaranta-tres segons: no pas una alerta que algú llegeix, valora i escala. Per això la còpia es protegeix posant-la on aquesta credencial no arriba. En aquest cas l'antivirus de l'entorn de còpies feia dies que estava apagat i la cadena va continuar fins al final. Això d'apagar la protecció abans de xifrar no és cap novetat —ja ho vam veure quan Deadlock ho va convertir en el primer pas del seu manual—. el que canvia aquí és que l'objectiu de l'apagada era l'entorn de recuperació, no el de producció.

I si qui perd el pla de gestió és el teu proveïdor

Les dues primeres setmanes de novembre porten la mateixa seqüència vista des del costat del proveïdor. La nit de l'1 al 2 de novembre, Beget —un dels registradors i allotjadors més grans de Rússia— va patir un atac en què els atacants van accedir a «systems used to manage the company's infrastructure» i van executar scripts per esborrar dades. Es van endur les dades de VPS, l'emmagatzematge al núvol i Kubernetes. I aquí hi ha la frase que qualsevol amb màquines llogades hauria de llegir dues vegades: es van perdre totes les còpies binàries dels servidors virtuals. Les còpies a nivell de fitxer es van mantenir, amb un matís que va empitjorar amb els dies: l'empresa les donava inicialment per íntegres i «potentially» útils per recuperar part de la informació, i cobertures posteriors recullen una actualització seva del 6 de novembre en què aquestes còpies de fitxers només arribarien a prop de la meitat dels seus clients de VPS. La mateixa empresa va quantificar la feina pendent en «more than 1,000 servers must be manually inspected» i va resumir la seva situació sense adorns: «We are not giving up and are continuing to look for ways to recover this data».

Sis dies després, el 8 de novembre, la russa ESTT va veure interrompuda la seva infraestructura de núvol per un malware de xifratge. I el 10 de novembre, la bielorussa ActiveCloud va fer públic que li havien xifrat part de la seva: van caure la seva plataforma d'allotjament E-Cloud, el servei E-Cloud Protected, el correu corporatiu SmartMail i —apunta això— els seus canals d'atenció al client. No hi ha vincles confirmats públicament entre els tres atacs. El que comparteixen amb el cas de Kaspersky no és qui va atacar, sinó què es va trencar primer.

Els canals de suport són la part que gairebé ningú comptabilitza. El teu pla de recuperació, si tens màquines allotjades, sol acabar en una frase del tipus «obrim incidència amb el proveïdor i restaurem des del seu panell». El panell i la incidència són part del domini de fallada. El dia que el proveïdor és la víctima, la teva via de recuperació és dins de l'incident. ActiveCloud ho va resumir així, «these have been difficult days», i va donar per restaurats els serveis principals el divendres d'aquella mateixa setmana; el problema no és la seva gestió de la crisi, sinó que aquesta dependència teva no sol estar escrita enlloc fins al dia que toca fer-la servir. Ja ho vam explicar a l'octubre, quan a un altre proveïdor li van entrar pel login del portal i li van sortir amb l'hipervisor: el mateix proveïdor va acabar recomanant per escrit que cada client preparés un entorn a part i reconstruís amb la seva pròpia còpia.

La còpia que creus que tens

Aquesta és la taula que fem servir quan revisem una estratègia de còpies aliena. La columna de l'esquerra és el que ens diuen; la de la dreta és el que preguntem. Cap pregunta no és capciosa: una còpia ben muntada les respon totes en deu minuts.

El que ens diuen El que preguntem
«Fem còpia diària de totes les VM» Amb quin compte s'autentica el servidor de còpies, i aquest compte administra també producció?
«Les còpies estan en un altre emmagatzematge» Es pot desmuntar o esborrar aquest emmagatzematge des de la mateixa consola que gestiona els hosts? Si sí, comparteixen destí.
«Tenim la regla 3-2-1» Quantes de les tres còpies s'administren amb la mateixa clau? Tres rutes i una sola credencial és un 1-1-1 amb tres factures.
«L'EDR vigila el servidor de còpies» Qui rep l'avís que aquesta protecció s'ha desactivat, i en quant de temps? Aquí feia dies que estava apagada.
«La còpia la guarda el proveïdor» Pots llançar la restauració sense el seu panell i sense el seu suport? I si tots dos estan caiguts alhora?
«Mai no hem tingut cap problema» Quan va ser l'última restauració completa cronometrada, i quant va trigar? Un backup sense provar no és un backup: és un amulet.

La fila del 3-2-1 és la que més discussions ens genera, així que la deixem clara: la regla parla de còpies, mitjans i ubicacions, i no diu res sobre credencials. La credencial és l'eix pel qual es mou un atacant que ja és a dins, de manera que a nosaltres comptar llocs se'ns queda curt i comptem claus. Dues còpies en dos continents governades pel mateix compte d'administració s'esborren amb una sola ordre.

Del recompte de claus ja en vam escriure a l'agost, arran de l'avís conjunt de l'FBI i CISA en què una víctima va perdre les còpies dels seus dos centres de dades. El que hi afegeix el cas de Kaspersky és l'altra meitat del problema, que és temporal: no només quantes claus hi ha, sinó en quin ordre es fan servir. Quan la primera parada de l'atacant és el teu entorn de recuperació, la resta de l'atac ja està decidida.

Tres dies contra vuit hores i quaranta-sis minuts

La part que entén un comitè sense discussió és l'aritmètica. Un 99,9 % de disponibilitat anual deixa un pressupost de 8 hores i 46 minuts de caiguda en tot l'any. ActiveCloud va fer públic l'atac el dimarts 10 i va donar per restaurats els serveis principals el divendres d'aquella mateixa setmana: suposem —i el supòsit és nostre, de ningú més— unes 72 hores d'interrupció per a un client qualsevol. Són més de vuit vegades el pressupost anual complet d'un 99,9 %. I si el que havies promès als teus clients era un 99,99 %, 52,6 minuts l'any, aquestes mateixes 72 hores són el pressupost de vuitanta-dos anys. No és un càlcul comptable, perquè la disponibilitat no s'arrossega d'un exercici al següent; és una manera de veure la mida del forat.

L'únic número que podem posar al davant és un de mesurat a casa: el nostre últim simulacre de recuperació completa va trigar 14 minuts. És una dada interna d'una prova concreta, no una garantia contractual ni una xifra que es repetirà amb el teu inventari, perquè depèn del volum, de la destinació i de què s'hagi d'aixecar primer. Ho portem perquè la diferència entre 14 minuts i tres dies gairebé mai no és a l'eina: és en si algú va fer l'assaig, amb cronòmetre, abans que calgués.

Quan NO cal separar res

No acabarem dient que tothom necessita un segon pla de gestió, identitats dedicades per a la virtualització i un repositori immutable fora de domini, perquè per a moltes empreses això és sobreenginyeria i els ho diem així. Si el teu negoci aguanta tres dies aturat sense perdre clients ni incomplir un contracte, i el teu volum de dades cap en un disc que algú s'emporta a casa el divendres, muntar una arquitectura de dos dominis et costarà més en complexitat de la que t'estalvia en risc.

El que sí que és innegociable, costi el que costi el teu cas, són dues coses petites. Una: que existeixi almenys una còpia que no es pugui esborrar amb la credencial que administra producció. Tant és si és immutabilitat del repositori, una destinació amb compte propi o un disc desconnectat en una caixa forta; el que importa és que la clau sigui una altra. I dues: que aquesta còpia s'hagi restaurat alguna vegada, sencera i amb rellotge. Perquè el dia de l'incident no descobreixes si la teva còpia existeix; descobreixes si la sabies fer servir. La fallada és inevitable; l'avaria —que la teva empresa s'aturi— continua sent una decisió de disseny.

Si estàs mirant això per a casa teva, la conversa que toca té dues meitats. La de «on viu la còpia, amb quina clau i quant triga a tornar» és disaster recovery, i és la que nosaltres posem damunt la taula abans que cap altra. La de «per què una credencial d'un sistema qualsevol del perímetre arribava fins al vCenter» és zero trust aplicat on de debò fa mal: al pla de gestió. Si vols que mirem totes dues amb el teu inventari al davant, escriu-nos i ho veiem sense compromís.

Fonts (verificades): el cas de virtualització —els deu dies, els quatre hosts ESXi, els dos vCenter Server Appliance, la infraestructura de còpia connectada, l'antivirus de l'entorn de còpies desactivat dies abans, l'aturada dels serveis de còpia i el xifratge de la infraestructura de recuperació abans de la detonació, les frases literals sobre que no es va explotar cap vulnerabilitat de l'hipervisor i sobre les credencials de sistemes aliens a la virtualització, els quaranta-tres segons fins a MeshAgent i les cinc recomanacions— surt de l'anàlisi de l'equip de resposta de Kaspersky (GERT) publicada a Securelist; les notes de rescat d'aquell incident atribueixen l'atac al grup BlackNevas. Les dates dels tres proveïdors d'allotjament (Beget la nit de l'1 al 2 de novembre, ESTT el 8 i ActiveCloud divulgat el dimarts 10), les cites entre cometes de totes dues empreses, els serveis afectats, la caiguda dels canals de suport, la restauració dels serveis principals el divendres i l'absència de vincles confirmats entre els atacs surten de The Record sobre Beget i The Record sobre ActiveCloud. L'única xifra de segona mà de l'article, assenyalada com a tal també al cos, és l'actualització de Beget del 6 de novembre sobre les còpies de fitxers i la meitat dels seus clients de VPS: apareix en diverses cobertures del sector, però no l'hem poguda verificar al canal original de l'empresa. Són supòsit i aritmètica nostres les 72 hores d'interrupció i la seva comparació amb els pressupostos d'un 99,9 % (8 h 46 min/any) i d'un 99,99 % (52,6 min/any). Els 14 minuts del simulacre són una dada interna d'everyWAN: una prova mesurada, no una promesa.

Amb quina credencial s'esborra la teva còpia?

Si és la mateixa que administra producció, no tens dues còpies: en tens una amb dos noms. Revisem amb tu quina clau arriba a què, on es trenca la cadena i quant triga de debò una restauració completa.

Parlar amb everyWAN

Etiquetes:

Compartir:

Subscriu-te al nostre butlletí

Per rebre històries del món IT, novetats d'everyWAN i ofertes exclusives per a subscriptors, dona't d'alta a la nostra llista de correu

everyWAN
everyWAN