Fødevareproducent: backup af hele infrastrukturen og en testet gendannelse

Backup dækkede kun serverne, mens linjestyringsserverne, netværksudstyret og Microsoft 365 ingen havde. Nu er hele infrastrukturen sikret, og gendannelsen er testet i øvelser inden for den aftalte tid.

Fødevareproducent: backup af hele infrastrukturen og en testet gendannelse

Situation

En fødevareproducent i Marijampolė i Litauen med omkring 250 medarbejdere kører på to skift og leverer til detailkæder med strenge leveringsvinduer. IT-infrastrukturen er typisk for produktion: flere virtualiserede servere med ERP- og lagersystemer, særskilte servere til styring af produktionslinjer på produktionsnetværket, nogle få dusin arbejdspladser, netværksudstyr med VLAN-segmenter mellem kontoret og produktionen og Microsoft 365 til e-mail og dokumenter.

Der fandtes backup, men kun af serverne: Veeam tog backup af virtuelle maskiner til lokal lagring i det samme serverrum. Servere til linjestyring blev ikke sikret, fordi de blev vedligeholdt af udstyrsleverandøren, og ingen var sikre på, at det var tilladt. Netværksenhedernes konfigurationer lå ingen andre steder end på enhederne selv. Microsoft 365 blev betragtet som ”Microsofts sag”. Gendannelsen var aldrig blevet testet.

Der var to grunde til at kontakte os. For det første bad en audit fra en detailkæde om dokumentation for, at virksomheden kan genoptage driften efter en hændelse, og ”vi har backup” var ikke et tilstrækkeligt svar. For det andet stod produktionsnetværket stille i et halvt skift, da en enkelt switch faldt ud, mens dens konfiguration blev rekonstrueret fra hukommelsen. Produktionsdirektøren stillede et enkelt spørgsmål: hvis serverrummet var væk i morgen, hvor lang tid ville det tage, før vi kunne producere igen?

Hvad der var brug for

  • Backup af hele infrastrukturen: servere, servere til linjestyring, arbejdspladser, netværksenhedernes konfigurationer og Microsoft 365.
  • Mindst én kopi uden for fabrikken, som ikke kan nås fra virksomhedens netværk.
  • En aftalt og testet gendannelsestid for kritiske systemer, som produktionen kan planlægges efter.
  • En lokation til gendannelse, hvis virksomhedens eget udstyr skulle gå tabt.
  • Dokumenterede øvelser med en rapport, som kan afleveres til auditorer.

Det gjorde vi

Uge 1–2: opgørelse og kritikalitetsliste

Vi listede alt, der har en IP-adresse, og sammen med lederne for produktion, logistik og økonomi fastlagde vi for hvert system, hvor længe virksomheden kan fungere uden det. Tre viste sig at være kritiske: ERP-systemet, lagersystemet og servere til linjestyring. For dem aftalte vi et gendannelsesmål på 4 timer og for resten næste hverdag. Den liste blev senere scenariet for øvelserne.

Uge 3–6: backup af hele infrastrukturen

Vi omlagde serverbackupperne efter 3-2-1-reglen: Veeam-backup på stedet, en anden kopi i MDP CLOUD’s datacenter i Litauen og en tredje kopi, der er immutable og usynlig fra netværket, og som ransomware ikke kunne nå, selv med administratorrettigheder. Med leverandøren af linjestyringsudstyret aftalte vi, at deres servere får taget backup, mens skrivning til databasen er sat på pause under en natlig pause. Det tog længst tid, fordi det krævede leverandørens skriftlige bekræftelse.

Vi begyndte at indsamle netværksenhedernes konfigurationer automatisk hver nat i det samme backuplager, med en ændringshistorik. Til arbejdspladser med specialiseret software (vægte, etiketprintning) lavede vi imagebackup. Vi lagde Microsoft 365-e-mail, OneDrive og SharePoint i en særskilt Microsoft 365-backup, fordi Microsoft kun beholder slettede data i en begrænset tid og ikke dækker alle scenarier.

Uge 7–8: PlanB

Til de kritiske systemer forberedte vi PlanB: et forudkonfigureret miljø i MDP CLOUD-skyen, hvor ERP-systemet og lagersystemet kan startes fra backup uden at købe hardware. Miljøet venter slukket, til det er brug for det. Når det er tændt, forbinder medarbejderne sig via VPN fra enhver lokation.

Uge 9–10: øvelser

Den første øvelse fandt sted over en weekend: vi simulerede tabet af serverrummet og gendannede tre kritiske systemer i PlanB-miljøet. Det første forsøg tog lidt mere end 4 timer, fordi ERP-licensfilen viste sig at være knyttet til det gamle servernavn. Vi rettede proceduren og gentog øvelsen to uger senere, og denne gang nåede vi målet. Særskilt gendannede vi konfigurationen af én switch på en reserveenhed. Det tog omkring 20 minutter og ikke et halvt skift.

Resultat

Gendannelsen af de kritiske systemer er testet til 4 timer, hvilket ikke længere er et mål, men et faktum registreret i en øvelsesrapport. Vi gav detailkædens auditorer øvelsesrapporten, backuppolitikken og gendannelsesprocedurerne, og der var ikke flere spørgsmål.

Alle netværksenheders konfigurationer, 100 %, gemmes med en daglig historik. En ændring, som nogen foretog på en switch tirsdag, er synlig onsdag og kan rulles tilbage, hvis det er nødvendigt.

Gendannelsesøvelser finder sted to gange om året efter en aftalt plan, hver gang med et nyt scenarie: tab af servere, et ransomwareangreb, sletning af en Microsoft 365-konto. Rapporten fra hver øvelse går til ledelsen og opbevares til audit.

”For første gang har vi et svar på spørgsmålet ’hvor lang tid ville det tage, før vi kunne producere igen’, og det kommer fra en rapport og ikke fra nogens hoved.”

Det vil vi anbefale i en lignende situation

  • Backup uden en testet gendannelse er en antagelse og ikke beskyttelse. Den første test afslører næsten altid noget, I ikke vidste.
  • Tag alt med i opgørelsen, der har en konfiguration, ikke kun servere: switche, firewalls, vægte, printere.
  • Aftal backup af produktionsudstyr skriftligt med udstyrsleverandøren, før en hændelse indtræffer.
  • Fastsæt gendannelsesmålet sammen med lederne for produktion og økonomi og ikke i IT-afdelingen: de ved, hvad en times nedetid koster.