Dagen da sykehuset sluttet å virke

Tenk deg et hjerte.

Muskelen som får alt annet til å fungere. Kilden til alt liv. Dit all informasjon kommer, fra kroppens fjernere deler – og de helt nære. Her pumpes oksygenet rundt så alle celler og organer skal fungere som de skal. Beskjeder gis, kontinuerlig, frem og tilbake. For det meste uten at vi merker noe som helst.
Forestill deg at dette hjertet ikke finnes på innsiden av et menneske, men er hjelpesentralen i en av landets helseregioner. For det er med sykehuset som med menneskekroppen: Vi tenker sjelden over alle prosessene som holder oss i live.

Forestill deg et komplisert nett av forbundne PC-er, apper og nettverksnoder. Vitalt utstyr som forbinder kirurgen med hjertepasienten, kreftpasienten med cellegiftbehandlerne. Dette teknologiske hjertet holder ikke bare ett system kjørende, men en hel helseregion.

Velkommen til hverdagen til noen av Norges viktigste IKT-arbeidere. Hemit er navnet på Helse Midt-Norges teknologiforetak. Det er de som sørger for at sykehusene i Midt-Norge funker som de skal. Hele døgnet, hele året. Det er de som sitter med ansvaret når alarmen går og varslene om at noe er galt begynner å tikke inn. Ikke bare én gang. Men hundrevis. På få minutter.

Ekstrem-hendelse i "beste sendetid"

Klokka er 14:00, en helt vanlig ukedag tidlig i 2023: Det har vært en rolig lunsj på sykehuset i Midt-Norge. Akkurat som det pleier å være. Det betyr samtidig at tidspunktet for den daglige spissebelastningen på sykehusets tekniske utstyr begynner å nærme seg.

På Hemit kaller de det «beste sendetid». Tidspunktet etter lunsj der alle legene leser og svarer på prøvesvar, der røntgenbilder leveres og det er liv og røre i sykehuskorridorene og langs fylkesveiene. Legenes visittid er over. Laboratoriesvar svever gjennom digitale kabler, på kryss og tvers. I beste sendetid er det ingen som skal tukle med for mye av funksjonaliteten i Helse Midt-Norge. Rett og slett fordi det ville berøre for mange mennesker. Både ansatte på sykehusene og innlagte pasienter.

Også denne vinterdagen følger kurven for de siste årene. Spissbelastningen nærmer seg. Det er en helt vanlig arbeidsdag på sykehuset.

Men noe skurrer.

De første tegnene begynner å dukke opp hos hjelpesentralen. De første telefonsamtalene tikker inn.

Først noen få, så mange. Ikke på én telefon, men på alle telefonene. I løpet av minutter er det ikke en eneste telefonlinje som ikke er rødglødende.

Telefonstormen er et faktum. Noe er galt. Noe alvorlig. Noe som må løses, så fort som råd er.

Det er forskjell på feil. Det er forskjell på hvor feilene inntreffer. Én ting er om en teknisk feil truer med å lamme en ikke-kritisk enhet. En perifer behandlingsenhet langt utenfor sykehusområdene, for eksempel.

Noe ganske annet er det når noe går galt på sykehuset. Og spesielt når det skjer på et vitalt område inne på sykehuset.

Denne vinterdagen i 2023 er det akkurat det som skjer. Hovedbudskapet fra alle helsearbeiderne som ringer inn er kort og godt:

«Nå har alt sluttet å virke!»

Et sykehus er en maurtue av teknologi

Et sykehus er en maurtue av avansert teknologi satt i verden for å gjøre hverdagen lettere for ansatte – og redde livet til pasientene. Går systemet ned, kan det bli et spørsmål om liv og død.

Fordi Hemit står for teknologien til hele Helse Midt-Norge, kan konsekvensene raskt bli store. De leverer tjenester til alle de ni sykehusene i Trøndelag og Møre og Romsdal. Sykehusene er organisert i tre helseforetak, og i tillegg betjener Hemit det regionale helseforetaket de er en del av. Øvrige kunder er Sykehusapoteket i Midt-Norge, Helseplattformen AS, Trøndelag Ortopediske Verksted, Sykehusbygg – og noen av legevaktsentralene i Midt-Norge.

Med andre ord: Hemit står for å levere stabile og gode IT-tjenester til en utrolig kompleks og sammensatt organisasjon. Det har de gjort i 20 år. I løpet av disse årene har Hemit gått fra å være et hundretalls ansatte til i dag å telle 430 dedikerte mennesker som leverer tjenester til et konsern med 22 000 ansatte.

Kundesenteret deres heter Hemithjelp. Om du tenker deg en større virksomhet som har et kundesenter der alle kundene kan ringe inn for å få hjelp, er det akkurat dét Hemithjelp er for helsearbeiderne. Det er hit alle varsler går. Det er her alle sykehusansatte ber om hjelp.

Om du går en tur i lokalene deres, ville du på skjermene til enhver tid kunne avlese tilstanden i kongeriket Midt-Norge. Iallfall helsedelen av det.
I rene tall mottar de drøye 2000 henvendelser.

Hver uke.

- Det skal være minst mulig belastende å være på sykehus

På Hemithjelp er det Hilde Haugnes (54) som er sjefen. Det er hun som sitter med ansvaret for det hele.

Seksjonslederen har ikke jobbet i Hemit så lenge, men i årevis har hun jobbet midt i grenselandet mellom kommune og sykehusforetak. Hun vet med andre ord litt om hva det vil si å jobbe steder der det noen ganger går fort. Veldig fort. Steder der konsekvensene kan bli store for de menneskene som bruker tjenestene som er involverte. Det vil si: Deg og meg.

- Jeg er opptatt av at system og folk må snakke sammen. Folk skal være i stand til å bruke systemet – og systemet skal være brukbart. Jeg kan ikke noe om teknologi, men jeg kan noe om mennesker.

Haugnes forteller at hennes fremste rolle i en krisesituasjon er å kunne svare. Hun må vite hvem som kan ha svarene som er nødvendige for at teknikerne og Hemithjelps operatører kan komme nærmere en så rask feilfinning som mulig.

- Jeg er oppbakkingen. Det handler om å finne de riktige personene til de rette oppgavene til riktig tid. Om å ta beslutninger. Og det er klart: Først og fremst handler det om å skjønne hvor alvorlig noe kan utvikle seg til å bli. Jeg kan litt om sykehus, og mye om helsevesenet, og vet hvor galt det kan gå hvis noe slutter å virke. I ytterste konsekvens kan det for eksempel bety at veldig syke mennesker må flyttes fra et sykehus til et annet i all hast – hvis de skal overleve.

Haugnes understreker hvor sammensatt og komplekst sykehusenes IT-system er. Som hun sier det: Jo større omfang et slikt system har, dess større blir ansvaret for at det fungerer etter planen.

- Tenk deg at journalsystemet går ned. Når pasienter kommer inn på sykehusene da, er det ingen som får tilgang til å vite hvor de skal og hva slags behandling de er kommet for å få. Tilgang til opplysninger og data om pasientene er uvurderlig viktig. I verste tilfelle må folk dra hjem igjen med uforrettet sak. Det er belastende uansett hvilken type behandling du er kommet for å få.

Haugnes sier at utgangspunktet for deres pasientforståelse er at det er belastende å være på sykehuset. Det er som regel en veldig god grunn til at du er på sykehus. Du kommer dit for behandling. Fordi det feiler deg noe.

"Tilgang til opplysninger og data om pasientene er uvurderlig viktig. I verste tilfelle må folk dra hjem igjen med uforrettet sak. Det er belastende."

Det viktigste krisespørsmålet: Hva alvorlig kan dette bli?

Det går lang tid mellom de mest alvorlige IKT-krisene i helseregionen. Men en sjelden gang skjer det noe som potensielt kan lamme sykehussystemet fullstendig.

Slike kriser åpenbarer seg gjerne på én av to måter: Enten begynner den ene telefonen etter den andre å kime på hjelpesentralen. Da er krisen allerede et faktum. Eller så gir summen av alle henvendelser – både på datamaskinene, telefonlinja og på mail – klare pek mot at noe stort er under oppseiling.

Alle IT-systemene i helseregion Midt-Norge er samlet i ett datanettverk, som dekker et område som strekker seg fra helt sør i Møre og Romsdal og opp til Namsos i Trøndelag.

Eller over 600 kilometer. I luftlinje. Alle som har kloret seg fast langs svingete nordvestlandske veier vet at det er stor forskjell på luftlinje og det reelle landskapet. Uansett hvor du er eller hvor du skal, møter du et fjell eller en fjord du må over eller under.

Krydre det hele med et syttitalls ambulansestasjoner spredt utover regionen, og bildet av en kompleks, grisgrendt organisasjon begynner å stå klart.

De samler ti-tolv personer i det de humoristisk kaller et «krigsrom». Enten fysisk eller digitalt. Teknikere med spisskompetanse. Den første som tilkalles er incident manageren, som i all beskjedenhet bare kaller seg «sjefen for de dårlige tidene».

Ideer luftes, oppgaver fordeles. Ingen spørsmål er for dumme til å bli stilt. De går systematisk til verks for å utelukke feilkilder. Ingen får gå før de har bevist at deres fagområder er «uskyldige».

- Jeg er sjelden den første som får beskjed, sier Hilde Haugnes. – Det er vaktsjefene som reagerer først. Vi har faste kontaktpunkter utover i organisasjonen vår til ulike steder hver eneste dag, og vaktsjefene setter rett og slett i gang med å piske folk rundt.

Når dette skjer, er også Hemithjelp med i «krigsrommet». Analyseverktøyene hentes frem, og det samme gjør overvåkingsskjermbildene.

- I starten driver vi med kreativ høyttenkning. Én ting er hva som faktisk har gått galt, men et like viktig spørsmål er: Hva kan konsekvensene bli for sykehusene?

Som seksjonsleder er det Hilde Haugnes sitt ansvar å være tilgjengelig. Hele tiden.

- Det er min oppgave å finne flere folk om det trengs. De riktige folkene, sier hun og er rask til å fortsette:

- Men det er vaktsjefene som tar ansvar først. Vi kaller dem vaktsjefer fordi de har myndighet til å be andre om å slippe alt de har i hendene og trå til. Først etter at de har gjort det, kontakter de meg. Jeg brukes som en sparringspartner hvis de er usikre. Det er et godt prinsipp for krisehåndtering: Alt skal håndteres av de som jobber med noe til daglig. Folk skal kunne ta ansvar der de er.

Vi spoler tilbake.

Klokka er noen minutter over to.

Teknikerne i Hemit jobber på spreng for å finne ut hvor feilen er. Klokka tikker.

Telefonkøen er massiv, alle operatørene er opptatte.

Køene vokser. Vaktsjefen må oppbemanne.

Folk som sitter med andre oppgaver må slippe alt de har i hendene.

Noen ganger betyr én feil at folk ikke får ringt nødtelefonen

Hemit har lovet kundene sine at de skal være i gang med feilsøking i løpet av femten minutter. Kritiske feil skal rettes innen én time. Denne dagen lykkes de i å finne feilen før tida er brukt opp. Og viktigere: De har funnet ut hvor den ligger.

- Det hadde oppstått en loop i nettverket, sier Hilde Haugnes.

- Hva betyr det?

- Det betyr at hele vår verden stopper. Det kan for eksempel bety at Akuttmedisinsk kommunikasjonssentral i Ålesund, Namsos eller på St. Olavs hospital går ned. Folk får ikke ringt til nødtelefonen.

- Oi, shit!

- Ringvirkningene kan bli store. En loop i nettverket betyr at trafikken løper i sirkler. Informasjonen kommer ikke fram dit den skal. Belastningen på hele systemet øker. 30 prosent. 40, 50. Opp mot 100 prosent.

Skjer dét, får ikke engang hjelpesentralen gjort noe. De får ikke engang administrert systemet. De har naturligvis bakveier og reserveløsninger, men i ekstreme tilfeller kan ingen av dem brukes.

Da gjenstår det bare å ta strømmen. Fysisk. Røske støpselet ut av veggen. Og starte fra scratch. For folkene som jobber i Hemit handler det om å prøve å puste med magen, for det å finne én feil i et så stort system kan være vanskelig.

Hilde Haugnes forteller at parallelt med feilsøkingen og de ulike teknikernes fremstøt for å ta rede på hva som er galt, skal Hemit sørge for at helseforetakene får god og riktig informasjon til enhver tid. Det er helt avgjørende for at de skal kunne treffe riktige beslutninger på sine respektive sykehus.

"En nettverksloop betyr at hele vår verden stopper. Det kan for eksempel bety at folk ikke får ringt til nødtelefonen."

Er det nødvendig å avbryte operasjoner? Må de sende hjem pasienter som venter på å få komme inn til poliklinisk behandling? Må de iverksette manuelle prosedyrer for å håndtere prøverekvisisjoner og for å få levert prøvesvar? Kan de levere ut blod?

- For systemet for økonomi- og logistikkstyring er det én ting om teknikken går ned. Det verste som kan skje, er at det blir generert en helt vanvittig mengde ekstraarbeid når det kommer opp og stå igjen. Ukes- eller månedsvis med etterarbeid, sier Hilde Haugnes.

- Men det er når det rammer pasientene at konsekvensene er størst. Det er da det blir et spørsmål om liv eller død. Det er derfor vi prøver å sikre oss best mulig. Vi har som regel to av alt når det gjelder kommunikasjonen mellom sykehusene. Vi har fiberkabel inn fra øst, og en annen inn fra vest. Fra to ulike linjeleverandører.

Når nettverket likevel går ned, betyr det at avgjørende informasjon ikke lenger er tilgjengelig. Prøvesvar fra laboratorier og journaler, røntgenbilder og beskrivelser av dem. Ingenting. Ingenting.

- Moderne sykehus er fullblods IT-bedrifter

Når vi tenker på et sykehus, er det neppe PC-er og monitorer vi ser for oss. Heller ikke sambandslinjer som går inn og ut fjordarmer for å forbinde sykehus med mer enn 70 ambulansestasjoner langs den midtnorske kysten. Vi tenker ikke over at de mest kritiske funksjonene på sykehusene er ivaretatt med ikke bare dobbel, men tredobbel nettverkstilgang, i tilfelle noe alvorlig skjer. Vi tenker ikke over at hver eneste dag jobber teknikere på bakken og telefonoperatører i døgndrift for å ivareta pasientsikkerheten og de livsviktige sykehusoppgavene.

Men moderne sykehus er IT-bedrifter så gode som en hvilken som helst teknologikjempe i USA. Og når tjenestene som krever IT-tjenester stopper opp, stopper sykehuset opp.
Det var akkurat det som skjedde i fjor.

- Hadde denne loopen skjedd et perifert sted, ville ikke krisen vært så stor, sier hun. – Men når noe slikt skjer inne på et sykehus, da rammer det potensielt operasjonssalen der det står en kirurg med nevene på innsiden av et menneske.
Hilde Haugnes forteller om alle de ulike appene og IT-systemene Hemit drifter. Noen gjelder mange, noen er ekstremt spesialiserte og brukes bare av ytterst få eksperter. Men alt skal funke.

"Vi er totalt avhengige av elektronisk kommunikasjon."

- Vi er totalt avhengige av elektronisk kommunikasjon, sier Hilde Haugnes. – Både i det store og små. Hjertepasienter har utstyr koblet til seg og overvåkes kontinuerlig. Slikt utstyr blir rammet hvis systemet svikter. Uansett hva ansatte på sykehusene våre driver med, blir de berørt når noe slikt skjer. Det gjelder alt fra bestilling og levering av livsviktige medisiner, elektroniske pasientjournaler, til adgangskontroll og heiser.

- Hvordan er hvilepulsen din i slike situasjoner?

- Det kan hende hjertet slår et ekstra slag, men jeg er ganske fokusert. For meg er det viktigste at jeg er tilgjengelig. At jeg kan få tak i de riktige folkene. Jeg må finne ut: Er det noen særlige personer som må på banen nå? Det er spennende å være leder for en avdeling der ting skjer fort, og der det er viktig for folk at ting skjer raskt.

- Er det slik at helsearbeiderne rundt på sykehusene skal forstyrres minst mulig?

- Av og til er det fint å si fra til dem at nå skjer det noe, vi vet om det – og vi jobber med å løse det. Andre ganger er det like greit at de ikke vet noe, fordi det ikke påvirker dem. De som trenger å vite, får vite. Visse ting sier vi bare til IT-sjefene våre, og ikke til vanlige helsearbeidere. Men det er klart: Er det virkelig alvorlig, må vi gi ut informasjon så fort som mulig.

Med andre ord foregår det et ikke ubetydelig sorteringsarbeid på hjelpesentralen. Også i krisesituasjoner.

- Hvis en feil dukker opp et sted, hvordan vet vi at den ikke også dukker opp andre steder? Hvis ett system svikter, hvilke andre systemer påvirkes? Vi har folk som evner å tenke stort – og se større sammenhenger. Ting henger sammen. Derfor har vi – og må vi ha – god oversikt over hva slags avhengighet som finnes på kryss og tvers av systemene våre. Hva snakker med hva? Disse sammenhengene er ofte intrikate.

Et teknisk dypdykk ned i helseforetaket

I denne skogen av apper og tekniske løsninger som får Hemit og Hemithjelp til å gå rundt hver eneste dag, hvert eneste år, har digitaliseringsselskapet Manag-E levert tre viktige løsninger. Den første – og kanskje viktigste – er Service Manager. I tillegg bruker Hemit OpenTexts nyeste saksbehandlingssystem som heter SMAX, et mer fremtidsrettet system de også leverer videre som en tjeneste til St. Olavs hospital i Trondheim.

Saksbehandlingsverktøyet er hva «sjefen for de dårlige tidene» i Hemit kaller selveste navet i hele Hemits operasjon.

Når en ambulansesjåfør helt på sørspissen av Sunnmøre ikke får levert fra seg EKG fra ambulansen til sykehuset, er det saksbehandlingssystemet som tar imot. Og når Telenor varsler om planlagt nedetid på en kritisk nettverkstilslutning. Det brukes til de små tingene som dukker opp. Og de kjempestore, akutte.

Noe ganske annet er at systemet er en stor kilde til læring. Til å se hvordan feil håndteres historisk, og som en kontinuerlig øvelse i å bringe antallet henvendelser ned fra år til år. For når Hemit kan konstatere at antallet henvendelser til hjelpesentralen siden 2010 har gått radig nedover, hva betyr det? Jo, det betyr kort og godt at det er færre mennesker – uansett hvor i sykehusverdenen de befinner seg – som har hatt grunn til å ringe inn.

En av de andre tjenestene Manag-E leverer til Hemit er Application Lifecycle Manager (ALM). Når det skal kjøres inn ny funksjonalitet, en ny app eller tjeneste skal om bord i nettverket, er det i ALM det testes. Gang etter gang, helt til Hemit er helt trygge på at ting virker som de skal – og ikke minst: om det virker etter formålet. Og det overordnede målet? At det skal være færrest mulige feil. Og at de som er der, ikke er farlige for pasientsikkerheten.

Testløp høres ut som en øvelse for garvede teknologer. Og det er det selvfølgelig også. Men når nye systemer eller ny funksjonalitet skal inn på fødeavdelingene på et av de ni sykehusene, er det jordmødrene som inviteres inn for å være med på testingen. Når Akuttmedisinsk kommunikasjonssentral (AMK) – som står for betjening av nødnummer 113 og håndterer nødmeldingene som kommer inn – skal oppgradere sine tjenester, blir også de tatt med på testingen i ALM. Det samme gjør seg gjeldende om det skal undersøkes om en nyvinning lever opp til strenge myndighetskrav.

En tredje tjeneste Hemit bruker fra Manag-Es portefølje er Network Node Manager. Det er kort fortalt et verktøy som brukes for å administrere nettverket. Kall det en slags topologisk oversikt over alt som rører seg i helseforetakets gigantiske nettverk. Det er her Hemit rett og slett får svar på spørsmålet: Hvordan ser nettverket vårt ut? Hvor går sambandslinjene? Hvem snakker med hva når helt avgjørende helseinformasjon skal reise fra Trøndelag til Volda sykehus?

Tjenesteflyt er ikke bare IT, det er et spørsmål om å redde liv.

Men la oss vende tilbake til tjenesteflythåndteringen. Service management-systemet fungerer som et blikk inn i butikken til enhver tid. Det sørger for at Hemit kan holde det de har lovet til kunden. Systemet gir de ansatte i Hemit oversikt over hva de har, hva de bruker det til – og ikke minst: Hvem som bruker hva. En oversikt over hvor viktig en gitt tjeneste er for brukerne.

Eller som sjefen for de dårlige tidene formulerer det: «Hvor mange dør, og hvor fort dør de, hvis dette ikke virker?»

La oss sette det på spissen. Når en kirurg opererer i en pasients hjerne, støtter han eller hun seg til et digitalt kart over pasientens hjerne. Det sier seg selv at det er uhyre viktig at akkurat dette systemet ikke går ned mens kirurgen står med nevene i hjernen på pasienten.

Systemene på sykehusets utallige avdelinger høster data kontinuerlig. Store mengder data. I varierende strømmer fra et punkt til et annet, og noen ganger til et tredje og fjerde. Disse strømmene skal flyte fritt, de må ikke blokkeres, og dette er ikke noe som kan løses én gang for alle. Det er et sinnrikt system som må holdes oppdatert og overvåkes hver time av hvert døgn.

"Eller satt på spissen: «Hvor mange dør, og hvor fort dør de, hvis dette ikke virker?»"

Hvis noe ikke virker er det viktig å kunne sammenhenger, både åpenbare og skjulte. Her er tjenesteflytsystemet til Hemit viktig. Får de henvendelser om samme problem fra både Volda og Namsos? Hvilken type ansatte er det som opplever problemet? Hemit skal til enhver tid være i stand til å forstå hva slags infrastruktur som er involvert – og hvor feilen kan ligge. For den kan i sakens natur oppstå temmelig mange steder.

Hemit har ansvaret for å skaffe seg både detaljinnsikt om hver enkelte av de rundt 1650 appene som er i bruk, men minst like viktig: Totaloversikten. Det store bildet. Helheten. Som skal fungere. Nå. I morgen. Og om tre måneder.

En feil på ett sykehus kan bli til feil på alle

Klokka nærmet seg kvart over 14:00. Belastningen på systemet var så stor at ingen på det berørte sykehuset fikk gjort jobben sin. Hemits teknikere hadde endelig klart å lokalisere feilen. Og de hadde en mulig løsning.

- Det viste seg at feilen lå i en telefonsentral som sykehuset driftet selv. Telefonsentralen er koblet til nettverket vårt på to steder, og på grunn av en feil hadde denne begynt å oppføre seg som en krysset nettverkskabel. Dermed gikk all trafikk i ring - en loop.

De klarte å rette feilen gjennom nært samarbeide med teknikerne på sykehuset.

– Jeg ser for meg et hjerte, jeg, sier Hilde Haugnes.

– Noen ganger blir de elektriske signalene i hjertets ledningssystem unormale, ofte i et veldig raskt tempo. Det gjør at hjertet nesten bare vibrerer. Det er det som kalles hjerteflimmer. Hjertet klarer da knapt å pumpe blod rundt i kroppen. Og det kan fort bli alvorlig. Heldigvis fikk vi hektet utstyret av nettet. Først da kunne vi undersøke hvorfor det hadde skjedd, sier hun og holder inne et øyeblikk.

- Etter en slik hendelse er det viktig for oss å identifisere tiltak som kan hindre slike feil i å skje igjen, sier Haugnes.

- Noen ganger kan vi klare det alene, noen ganger er det nødvendig å samarbeide med helseforetakene for å få det til. Slik at feilen ikke skjer igjen. Ikke bare ved dette sykehuset, men ved alle sykehusene våre.

Den usynlige krisen: Dagen da sykehuset sluttet å virke