Att mäta säkerhet igen
För ett halvår sedan skrev jag om att mäta säkerhet. Jag berättade om chefen på banken som tyckte att vi var idioter som inte kunde besvara frågor som "Hur säker är banken?" och "Spenderar jag rätt mängd pengar på säkerhet?". Otroligt nog var det här inte vilken chef som helst, det var informationssäkerhetschefen... Borde inte en sån lirare vara insatt i problematiken?
Förra inlägget handlade mer eller mindre bara om att vi säkerhetsfolk inte har ett bra sätt att mäta säkerhet. Chefen på banken tycker uppenbarligen att det här är synnerligen osedvanligt och förvånande. Det i själva verket är ett ganska alldagligt problem. Jämför frågan "hur säker är jag?" med t ex:
- Hur lätt är det att använda er nya DVD-spelare?
- Hur hållbar är din armbandsklocka?
- Hur nöjda är ni med er lägenhet?
- Hur snygg är din flickvän?
- Hur bra ljud har du i dina högtalare?
- Hur länge håller min nya hårddisk?
Vi är vana vid det här problemet och tänker inte ens på det. Varför kan vi inte hantera säkerhet på samma sätt?
Vad gör vi när vi behöver trovärdiga svar på liknande frågor? DVD-spelaren till exempel; vi tar in en eller flera experter som har studerat användbarhet, som har erfarenhet av de hundratals DVD-spelare som gjorts tidigare, som vet vilka symboler folk förstår, som vet hur stor en knapp borde vara, var de borde vara placerade, hur det ska kännas att trycka på en knapp, etc. Man gör användartester, låter dem fylla i formulär, filmar dem medan de använder spelaren; gamla människor, unga människor, kvinnor, män, handikappade, etc.
Vad skulle den här analysen som användbarhetsexperterna genomfört leda till? 4,8 eller något annat värde mellan 1 och 10? Knappast, det skulle resultera i ett antal så-här-borde-du-göra. Rekommendationer man tyvärr måste lita på eftersom det är deras jobb att kunna sånt här. Det är förstås fritt fram (och uppmuntrat) för dig att ifrågasätta en rekommendation, experterna ska kunna försvara och motivera dessa.
Varför tycker ingen att detta är upprörande; att användbarhetsexperter inte heller kommer med mätetal?
Vadan denna fixering vid mätvärden?
Jo, problem som kräver experter är komplicerade. Så pass komplicerade att beslutsfattaren inte förstår problemet och därför inte kan göra bedömningen själv. Av denna anledning räcker tydligen inte heller rekommendationerna som beslutsunderlag. Vad som är lätt för beslutsfattaren, däremot, är att använda en enkel skala från 1 till 10 som underlag i frågor denne inte behärskar. ("Jag betalar om det är mer än 7,5. Det känns lagom.")
Det här måste helt enkelt betyda att beslutsfattaren inte litar på experten och lever i villfarelsen att siffror inte kan ljuga.
--
Stefan Pettersson
Bra skrivet.
Avseende mer exakta mättal, så efterfrågas ofta dessa när man måste rättfärdiga svåra beslut i andras ögon. En DVD-spelare är inte speciellt dyr, samt du behöver sällan rättfärdiga användarvänligheten gentemot andra intressenter.
Lägenheter är ju ofta ett större åttagande; nöjd med lägenheten är ju naturligtvis subjektivt, men det är möjligt att mäta i hur stor den är, hur många rum, vilken våning, utsikt, grannar, närhet till jobb, pizza, bio, skog etc.
Livslängden på en hårddisk viktig, men där har vi ju alla accepterat att backup är ett måste... dessutom har vi oftast garantier som ersätter kostnaden.
Inköpare av säkerhet måste rättfärdiga sina kostnader för sin ledning (i de flesta fall), och sig själva. Där måste vi som experter hjälpa dom med siffror som ledning eller andra viktiga intressenter kan kan använda som underlag för ett beslut.
Säkerhet kostar, och den som betalar vill förstå värdet av vad det är man köper.
Det du beskriver med lägenheten är precis vad man måste göra när något inte går att mäta ordentligt. Jag har inga problem att se att det skulle vara möjligt att övertyga någon (som inte är mäklare t ex) om att en lägenhet är tillräckligt bra eller för dålig med hjälp av ett sådant resonemang.
Att ta det från den punkten till ett mätetal, det är det svåra (läs: omöjliga). Men varför ska det behövas, kan vi inte avbryta och besluta utifrån resonemanget bara?
I ett företag så måste investeringar mätas mot vad de ger för intäkter. När säkerhet inte utgör den primära intäkten så måste man visa på andra fördelar med investeringar i säkerhet. Och om man gör en investering så måste man kunna mäta effekten av den.
Där räcker det inte att ha ett resonemang kring att det blir säkrare. Det måste finnas siffror som motiverar investeringen, både före och efter. Annars så blir det ingenting beslutat.
Vi börjar glida ifrån ämnet här lite och istället hamna i; ett intrång i ledningens mail skulle kunna resultera i enorma penningförluster, kanske så att vi går i putten. Alltså är det värt att lägga P kr på att göra aktivitet A så att vi minskar risken R.
...det är inte att mäta. Vi kan fortfarande inte sätta en siffra på hur mycket risken har minskat, hur mycket säkrare mailen är eller om vi har minskat den tillräckligt.
Med andra ord: hur övertygar du personen ifråga om att aktiviteten A är tillräcklig när du inte kan visa hur den förändrar R (i siffror)?
Är frågan hur vi skall sätta en siffra på vilken risk vi tar? Jag tror inte detta är nödvändigt. Men vi bör försöka bevisa effekten av olika lösningar.
Exempelvis ifall vi skall införa ett spamfilter så kan vi mäta före och efter antalet spam, felatkigt filtrerade mail etc.
Gör vi en säkerhetsrevision före och efter införandet av policies kan vi mäta resultatet av dess införande.
Gör vi en säkerhetsanalys av vår webbapplikation före och efter så kan vi mäta effekten av den förändingar i koden vi gjort.
Gör vi förändningar ett användargränssnitt så kan vi mäta effekten genom användarenkäter före och efter.
Vad jag var ute efter är att när du genomför förändringar idag så krävs det ofta en möjlighet att mäta det sökta förbättringen. Jag inser det omöjliga i att säga att vår säkerhet är fem på en tiogradig skala. Men företag och organisationer är kostnadskänsliga. Kan du inte mäta förbättringar så blir dom svåra att införa.
Men kan du visa hur man kan mäta effekten av förändringar så blir beslutet lättare att fatta.
Det råder ingen tvekan om att man kan upptäcka skillnader på sådana här saker, t ex säkerhet, före och efter en förändring. Ditt spamfilter är ett kanonexempel.
Problemet är att förstå vad skillnaden innebär. Det är omöjligt att säga någonting om säkerheten genom att räkna hur många oönskade mail som kommer igenom det nya spamfiltret. Det är precis samma problem som att räkna sårbarheter i programvara:
http://highperformance.blogg.se/2009/november/att-mata-sakerhet-pa-internetdagarna.html
Det är dock, som du säger, fullt möjligt att en liknande "mätning" av säkerheten är fullt tillräcklig för att övertyga någon om att det är en bra investering så att de tar upp plånboken.
Det här är ytterligare en fara, att pseudomätningar på det här viset används för att driva igenom sin agenda. Det är lätt att göra små justeringar så att man får ett önskat resultat när man räknar på saker (attacker) som slår hårt men är väldigt osannolika. (Därav "villfarelsen att siffror inte kan ljuga".)
