Situation
En produktionsvirksomhed i Kaunas i Litauen med omkring 120 ansatte havde i mere end ti år kun én IT-medarbejder. Han vidste alt: hvor serverne stod, hvad adgangskoderne var, hvordan produktionens regnskabsprogram fungerede, hvilken printer på produktionsgulvet sad fast, og hvad man så gjorde. Der var stort set ingen dokumentation. Den lå i ét menneskes hoved og i nogle få personlige notatfiler.
Medarbejderen forlod virksomheden efter at have givet to ugers varsel. I de to uger gik det op for virksomheden, at der ikke var nogen at overdrage til og intet at overdrage: det tager en produktionsvirksomhed måneder at finde en ny IT-specialist, og folk med den profil er sjældne på markedet. Imens begyndte den daglige drift at hakke. Medarbejderne skrev til økonomichefen om e-mail, der ikke virkede, lagerchefen forsøgte selv at genstarte en server, og ingen kunne sige, om der overhovedet blev taget backup.
Virksomhedens direktør henvendte sig til os med et konkret spørgsmål: er det muligt at overtage IT-supporten på en måde, der holder produktionen kørende og gør virksomheden uafhængig af en enkelt person?
Det var der brug for
Ved det første møde med direktøren og økonomichefen definerede vi, hvad der var afgørende, og hvad der kunne vente:
- En helpdesk til medarbejderne fra første dag med en klar responstid, så henvendelserne ikke længere gik via økonomiafdelingen.
- Overtagelse af to fysiske servere (produktionsregnskab og en filserver) og omkring 90 arbejdsstationer, herunder computerne på produktionsgulvet.
- Finde ud af, hvilke backups der blev taget, og sikre, at de kunne gendannes.
- Gennemgå adgange: den tidligere medarbejder havde administratorrettigheder overalt, og nogle af dem var delte.
- Dokumentere hele infrastrukturen, så virksomheden ikke havner i den samme situation, næste gang folk skifter.
- Budget: ikke mere end udgiften til den tidligere IT-stilling inklusive skatter og afgifter.
En ekstra begrænsning: produktionen kører i to skift, så arbejde på serverne kunne kun foregå i weekenden eller om natten.
Det gjorde vi
Uge 1: overtagelse og opgørelse
På første dag åbnede vi helpdesken: medarbejderne fik én e-mailadresse og ét telefonnummer, henvendelserne registreres i et system, og responstiden er 30 minutter. Samtidig gennemførte vores tekniker en opgørelse af infrastrukturen: servere, netværksudstyr, arbejdsstationer, licenser, applikationer og leverandører. Resultatet var den første beskrivelse af infrastrukturen, virksomheden nogensinde havde haft.
Det vigtigste fund: backup blev taget til en ekstern disk, der sad på selve serveren, og den seneste vellykkede backup var syv uger gammel. Ingen havde nogensinde prøvet en gendannelse.
Uge 2–3: adgange og backup
Vi skiftede alle administratoradgangskoder, fjernede de delte konti og indførte en separat konto til hver medarbejder. Vi aktiverede tofaktorgodkendelse til serveradministration. Den tidligere medarbejders adgang blev lukket hos alle leverandører, også hos domæneregistratoren og internetudbyderen, hvilket ofte glemmes.
Vi flyttede backup til en serverbackup-løsning med Veeam: daglig backup til vores datacenter i Litauen (EU) og ugentlig backup til et Amazon-datacenter i Tyskland. I uge 3 testede vi gendannelsen: produktionsregnskabets server blev gendannet i et testmiljø på lidt under tre timer.
Uge 4–5: arbejdsstationer og servere
På alle arbejdsstationer udrullede vi en agent til overvågning og fjernstyring, rettede opdateringerne (nogle computere på produktionsgulvet var ikke blevet opdateret i over et år) og standardiserede virusbeskyttelsen med Bitdefender GravityZone. For serverne indførte vi en ordning for serverdrift: døgnovervågning og opdateringer i natten fra lørdag til søndag, aftalt med produktionsdirektøren.
Det sværeste var produktionens regnskabsprogram, som blev supporteret af en lille lokal leverandør. Det viste sig, at dets database slet ikke blev vedligeholdt, og at dets logs fyldte det meste af disken. Vi rettede det sammen med programmets leverandør, og databasen er nu med i overvågningen.
Uge 6: dokumentation og SLA
I den sidste uge færdiggjorde vi dokumentationen: netværksdiagram, en liste over servere og tjenester, et adgangsregister, gendannelsesprocedurer og leverandørkontakter. Dokumentationen opbevares af os og af kunden og opdateres ved hver ændring. Vi underskrev en serviceaftale (SLA) med konkrete respons- og løsningstider efter henvendelsens alvorlighed.
Resultat
I de første tre måneder efter overtagelsen faldt antallet af IT-henvendelser med omkring 35 % sammenlignet med den første måned. Årsagen er enkel: de fleste tilbagevendende problemer (computere, der ikke var opdateret, printerdrivere, fulde diske) blev fjernet systematisk i stedet for at blive løst forfra hver gang.
Helpdesk-responsen ifølge SLA’en er 30 minutter og måles for hver enkelt henvendelse: hver måned modtager kunden en rapport med antallet af henvendelser samt respons- og løsningstider. Økonomichefen får ikke længere IT-opkald.
Infrastrukturen er 100 % dokumenteret: hver server, tjeneste og adgang har en post. Backup kontrolleres dagligt, og gendannelsen testes hvert kvartal. Den månedlige udgift for virksomheden er lavere end den tidligere IT-stilling.
Før var IT ét menneske, hvis ferie vi frygtede. Nu er det en ydelse med en rapport og en kontrakt.
Det ville vi anbefale i en lignende situation
- Vent ikke, til jeres IT-medarbejder holder op. Dokumentation og et adgangsregister skal findes nu, også selv om personen ikke har planer om at gå. Det er ikke mistillid, det er en værdi for virksomheden.
- Den første opgave, når den ansvarlige for IT skifter, er at skifte alle administratoradgangskoder og lukke adgange hos leverandører, ikke kun internt i virksomheden.
- Kontrollér, at jeres backup kan gendannes. En backup, som ingen har prøvet at gendanne, er en antagelse, ikke beskyttelse.
- Når I vælger en leverandør af IT-support, så kræv en skriftlig SLA og månedlige rapporter. Ellers har I ingen mulighed for at vurdere, om ydelsen virker.