Når ustrukturerte data formerer seg og blir til ROT
I en kommentar i Computerworld (Nr. 19/2016) introduserte Sigmund Hov Moen begrepet Informasjonsforgiftning. I følge artikkelen har ikke WHO klassifisert sykdommen, og svært få leger kjenner til den. Følgelig er heller ikke relevante og hurtigvirkende medisiner og behandling enkelt tilgjengelig for alle som er berørt. Men symptomene er klare: Så mye informasjon mottas at individer og organisasjoner ikke makter å fordøye det.
Den enkelte sin utfordring med å håndtere dette kontinuerlige «raset» av informasjon – eller informasjonsdusjen som Hov Moen kaller det – skal vi la ligge her.
Uansett er det slik at kilden til «raset» er informasjon som først er lagret ett sted og deretter sprer seg til veldig mange datalager, uten noen intensjon fra de som medvirker til spredningen. Dette er en utfordring som alle virksomheter må etablere et bevisst forhold til.
Når ustrukturerte data formerer seg og blir til ROT (Redundant, Obsolete, Trivial)
Studier og analyser indikerer at 80 – 90 % av verdens samlede informasjonsmengde er skapt de siste to årene, og at denne mengden vil fordobles hvert annet år frem til 2020. En kompliserende faktor er at en stadig større del av denne informasjonsmengden er såkalte ustrukturerte data. Flere anslår at ustrukturerte data allerede i dag representerer mer enn 80 % av totalen, og at denne andelen stadig øker. En viktig forklaring på dette er utstrakt bruk av streaming i ulike formater.
Hvis det var slik at vi alle trengte å lagre all ny – og gammel – informasjon var jo svaret enkelt. Da var det bare å kjøpe enda mer stadig billigere lagringskapasitet, med tilhørende backup, reserve- og katastrofeløsninger, samt stadig utvidet kapasitet for håndtering av styring, kontroll, sikkerhet, compliance etc.
Flere kloke hoder hevder, basert på ulike undersøkelser og analyser, at inntil 30 – 40 % av lagrede data er av såkalt ROT (Redundant, Obsolete, Trivial) type. inntil 50 % er det uklart og/eller ubestemt om den aktuelle informasjonen har noen verdi for virksomheten. I sum er det derfor ikke unormalt at det kun er 20 – 30 % av det totale omfanget av lagret informasjon som er «bevaringsverdig» begrunnet i reelle behov i virksomheten eller eksterne regulatoriske krav. Se også artikkelen Er det RUT i dine data?
Er dette et problem?
For mange virksomheter har ikke slik «hamstring» av informasjon og lagring av «det meste» vært håndtert som en problemstilling med høy prioritet. Den kraftige utviklingen i pris og kapasitet på datalagring har i betydelig grad maskert den underliggende utfordringen i en slik utvikling.
På generelt grunnlag vil det uansett være betydelige kostnadsbesparelser ved å redusere volumet av lagret informasjon, eller i det minste å begrense veksten i fremtidig kapasitet. Dette vil gi direkte besparelser både i form av redusert behov for utvidet lagringskapasitet, men ikke minst i kostnadene for ulike «Information Management and Governance» oppgaver, f.eks. backup, sikkerhet og tilgangsstyring.
I tillegg er det helt spesifikke «Use Cases» som bør trigge denne typen tiltak. Dette inkluderer bl.a. planlagte endringer som omfatter transisjoner og/eller transformasjoner, hvor flytting av store datamengder er sentralt:
- Datasenter standardisering og konsolidering i egen regi.
- Tradisjonell outsourcing eller resourcing, som involverer en eller flere eksterne tjenesteleverandører.
- Etablering av hybride driftsmodeller som involverer datalagring i skyen.
- Kartlegging av potensiell eksponering i forbindelse med innføringen av General Data Protection Regulation (GDPR) .
Triggerne beskrevet over er i hovedsak av «defensiv» karakter. I tillegg er det slik at innsyn i lagret informasjon både vil kunne bidra til optimalisering av eksisterende virksomhet og til å utvikle og utnytte nye forretningsmuligheter.
Hvordan løse en slik utfordring?
Når en står overfor en omfattende og kompleks utfordring er et fornuftig første steg å dele opp problemet i mer håndterbare biter, samt å fremskaffe informasjon og innsikt om relevant omfang.
I det aktuelle tilfellet vil derfor et naturlig første steg være å indentifisere alle steder (internt og eksternt) hvor virksomheten lagrer informasjon, for deretter å gjøre en overordnet kartlegging og analyse av omfang og hvilken type informasjon som finnes lagret.
Manag-E har derfor satt sammen et lite antall tjenester for initiell innsamling og analyse av ustrukturerte data. Vi har valgt en trinnvis tilnærming, hvor formålet er å gi virksomheten innsikt i omfanget av datalagring, hva som lagres og i hvilken grad en er eksponert i forhold til eksterne krav og forordninger (f.eks. GDPR). Kanskje med unntak av de største virksomhetene i Skandinavia, mener vi at det er viktig å strukturere disse første «trinnene» på en slik måte at det får en akseptabel kostnad, varighet og kompleksitet.
Basis for vårt forslag er HPE Software sin IDOL (Intelligent Data Operating Layer) plattform for datainnsamling, strukturering, kategorisering og analyse. Denne teknologien kommer fra HPE sitt oppkjøp av Autonomy. Plattformen blir vurdert til å være en av de fremste i markedet, som Gartner og Forrester. Vi har valgt å fokusere på analyse av ustrukturerte data ved bruk av verktøyet HPE ControlPoint (CP), som bygger på IDOL teknologi. I første omgang dekker vi følgende formater; Microsoft type fileshare, SharePoint og MS Exchange data. Løsningen kan senere utvides til å omfatte de fleste vanlige lagringsstrukturer og dataformater (inkludert bilde, lyd og video), samt strukturerte data (databaser).
Følgende tjenester kan leveres:
Remote Analysis Agent: Dette er den minst ressurskrevende varianten. En «agent» blir installert hos kunden. Denne gjør et uttrekk av metadata fra ett eller flere utvalgte filområder. Nøkkeldata som plassering, filnavn og eier av filen kan «maskeres» (obfuscate) før eksport til Manag-E sitt testsenter i Asker. Her vil videre analyse bli gjennomført som underlag for en rapport til kunde. I tillegg vil det bli gjennomført en workshop hvor en viser sentrale analysemuligheter i verktøyplattformen, samt anbefaler aktuelle neste steg i prosessen. En slik aktivitet vil typisk han en varighet i kalendertid på ca. 2 uker.
Eksport av data for analyse: Hvis kunden tillater dette vil vi kunne overføre et utvalg av filområder til Manag-E sitt testsenter i Asker, hvor nødvendig server infrastruktur og ControlPoint programvare er installert. Her vil vi først gjennomføre indeksering av filområdene på metadata nivå. En vil da få oversikt over struktur, kategorier og omfang (bl.a. omfanget av ROT (Redundant, Obsolete, Trivial), noe som gir informasjon for videre analyse. Nest steg er indeksering av innhold basert på utvalgte parametere f.eks. knyttet til PII. En slik aktivitet kan typisk gjennomføres i løpet av 3 – 5 uker kalendertid, bl.a. avhengig av analysert datamengde og omfanget av innholdsanalysen.
Installasjon av Control Point i kundens miljø: Analyseomfanget her kan være det samme som beskrevet over for eksporterte data. Siden det må etableres lokal infrastruktur hos kunde (en eller flere virtuelle MS Windows servere), med tilhørende oppsett av tilganger til de utvalgte dataområdene, vil arbeidsomfanget øke noe. En slik aktivitet kan typisk gjennomføres i løpet av 4 – 8 uker kalendertid, igjen avhengig av datamengde for analyse og omfanget av innholdsanalyse.
Information Management and Governance
Aktivitetene over vil vise om det er tilstrekkelig å gjennomføre en fullskala analyse som en engangsaktivitet, eller om det er nødvendig å etablere en mer permanent «Information Management and Governance» funksjon. I det siste tilfellet kan Control Point benyttes for å kategorisere lagret informasjon som grunnlag for å definere policybaserte regler for håndtering av de ulike informasjonstypene. Dette vi være et godt grunnlag for å oppnå en betydelig grad av automatisering av prosessen med å sikre «compliance» f.eks. i forhold til sentrale GDPR krav.
Information Management and Governance (IM & G) får stadig økt oppmerksomhet i flere virksomheter, og GDPR vil virke som en ekstra «trigger» for tiltak på dette området. Slike tiltak vil også kunne gi vesentlige bidrag både til operasjonell effektivitet og nye forretningsmuligheter. GDPR vil medføre et sterkt og fornyet fokus på kontroll av persondata, men vil samtidig kunne bidra med verdifull innsikt som gir grunnlag for å hente ut stor merverdi fra de samme dataene.
Les mer om GDPR og utfordringene knyttet til personvern i vår artikkel om håndtering av personvern.
For mer informasjon om Control Point eller GDPR og hvordan vi kan hjelp deg og din virksomhet innen filanalyse og information governance, kontakt Paul Erdal.
Du er kanskje også interessert i:
