Cox, NIST SP 800-30 und BSI-Standard 200-3 zeigen je auf ihre Weise, warum ein Raster aus Wahrscheinlichkeit und Auswirkung Risiken ordnen und kommunizieren, aber nicht messen kann. Verteidigen lässt es sich nur mit der Dokumentation, die Sie daneben führen.
Das Bild kommt mit einem Warnhinweis
BSI-Standard 200-3, die Methode des deutschen Bundesamts für die Risikoanalyse auf der Basis von IT-Grundschutz, druckt in §5.2 eine Risikomatrix ab. Gleich der nächste Satz sagt, wozu sie dient: „Sie dient lediglich dazu, die nachfolgenden Beispiele zu veranschaulichen, und sollte auf die eigenen Bedürfnisse angepasst werden“.
Der Abschnitt davor ist noch offener. Das BSI empfiehlt: „Pro Dimension sollten dabei nicht mehr als fünf Kategorien gewählt werden.“ Dann berichtet es, wie es in der Praxis aussieht: „Die Mehrheit der Anwender neigt sogar dazu, de facto mit nur zwei Kategorien pro Dimension zu arbeiten, beispielsweise ‚begrenzt‘ und ‚beträchtlich‘.“
Das meistkopierte Bild im Risikomanagement kommt also von seinem Herausgeber mit der Anweisung, es anzupassen, und nach dessen eigener Darstellung arbeiten die meisten, die es verwenden, mit einem Zwei-mal-zwei-Raster. Nützlich ist die Matrix trotzdem, sobald klar ist, was für ein Objekt sie ist: ein Mittel, ein Register zu ordnen und darüber zu sprechen, ohne jeden Anspruch, etwas zu messen.
Was das Raster gut kann
NIST SP 800-30 Rev. 1, der US-Leitfaden zur Durchführung von Risikobeurteilungen, unterscheidet in §2.3.2 drei Ansätze. Seine Beschreibung des qualitativen Ansatzes passt auf die meisten Risikomatrizen. Die NIST-Texte zitiere ich im englischen Original, jeweils mit einer sinngemässen deutschen Wiedergabe:
„This type of assessment supports communicating risk results to decision makers. However, the range of values in qualitative assessments is comparatively small in most cases, making the relative prioritization or comparison within the set of reported risks difficult.“
Sinngemäss: Diese Art der Beurteilung hilft, Risikoergebnisse an Entscheidungsträger zu kommunizieren. Allerdings ist die Wertespanne qualitativer Beurteilungen in den meisten Fällen vergleichsweise klein, was die relative Priorisierung oder den Vergleich innerhalb der berichteten Risiken erschwert.
Ein Register mit nummerierten Skalen nennt NIST semiquantitativ: „bins, scales, or representative numbers whose values and meanings are not maintained in other contexts“ (sinngemäss: Klassen, Skalen oder repräsentative Zahlen, deren Werte und Bedeutungen in anderen Kontexten nicht erhalten bleiben). Eine 7 auf Ihrer Auswirkungsskala bedeutet etwas innerhalb Ihrer Beurteilung. Ausserhalb davon bedeutet eine 7 nichts.
Beide Texte sagen, wie sich die Bewertungen wiederholbar machen lassen. NIST: „The repeatability and reproducibility of qualitative assessments are increased by the annotation of assessed values (e.g., this value is high because of the following reasons)“ (sinngemäss: Wiederholbarkeit und Reproduzierbarkeit qualitativer Beurteilungen steigen, wenn die bewerteten Werte begründet werden, z. B.: Dieser Wert ist aus folgenden Gründen hoch). BSI §5.1 setzt das Ziel: „Wenn ein konkretes Risiko von zwei unterschiedlichen Mitarbeitern einer Institution eingeschätzt wird, sollte dasselbe Ergebnis dabei herauskommen.“ Die Skala der Eintrittshäufigkeit des BSI zeigt, wie eine brauchbare Definition aussieht. Für „mittel“ heisst es dort: „Ereignis tritt einmal alle fünf Jahre bis einmal im Jahr ein“, eine Spanne, die sich am Vorfallsprotokoll überprüfen lässt.
Das ist die legitime Aufgabe. Das Raster bringt ein Register in eine grobe Reihenfolge, und man kann darüber diskutieren. Mit definierten Skalen und einer schriftlichen Begründung pro Bewertung sollten zwei Bewertende in derselben Zelle landen.
Was es nicht kann
L. A. Cox Jr. hat die Mathematik in „What's Wrong with Risk Matrices?“ untersucht, 2008 in Risk Analysis erschienen. Der Artikel ist kostenpflichtig, deshalb zitiere ich nur das Abstract, im englischen Original. Es nennt vier Einschränkungen:
- Schlechte Auflösung. „Typical risk matrices can correctly and unambiguously compare only a small fraction (e.g., less than 10%) of randomly selected pairs of hazards. They can assign identical ratings to quantitatively very different risks (‚range compression‘).“ Sinngemäss: Typische Risikomatrizen können nur einen kleinen Bruchteil (z. B. weniger als 10 %) zufällig ausgewählter Paare von Gefährdungen korrekt und eindeutig vergleichen. Sie können quantitativ sehr unterschiedlichen Risiken identische Bewertungen zuweisen („Bereichskompression“).
- Fehler. „Risk matrices can mistakenly assign higher qualitative ratings to quantitatively smaller risks. For risks with negatively correlated frequencies and severities, they can be ‚worse than useless,‘ leading to worse-than-random decisions.“ Sinngemäss: Risikomatrizen können quantitativ kleineren Risiken fälschlich höhere qualitative Bewertungen zuweisen. Bei Risiken, deren Häufigkeit und Schwere negativ korreliert sind, können sie „schlimmer als nutzlos“ sein und zu Entscheidungen führen, die schlechter sind als der Zufall.
- Suboptimale Ressourcenzuteilung. „Effective allocation of resources to risk-reducing countermeasures cannot be based on the categories provided by risk matrices.“ Sinngemäss: Eine wirksame Zuteilung von Ressourcen auf risikomindernde Gegenmassnahmen kann nicht auf den Kategorien beruhen, die Risikomatrizen liefern.
- Mehrdeutige Ein- und Ausgaben. Ein- und Ausgaben „require subjective interpretation, and different users may obtain opposite ratings of the same quantitative risks“ (sinngemäss: erfordern subjektive Interpretation, und verschiedene Anwender können für dieselben quantitativen Risiken gegensätzliche Bewertungen erhalten).
Die zweite Einschränkung lässt sich leicht nachstellen. Nehmen Sie ein gängiges 5×5-Schema, bei dem der Score Wahrscheinlichkeit mal Auswirkung ist, mit logarithmisch abgestuften Klassen. Die Klassen und beide Risiken unten sind illustrativ, für dieses Beispiel erfunden:
| | Wahrscheinlichkeitsklasse | Auswirkungsklasse | Score | Illustrativer erwarteter Jahresverlust |
|---|
| Risiko A: 11 % pro Jahr, CHF 110'000 Verlust | 3 (10–30 %) | 3 (100'000–1 Mio.) | 9 | CHF 12'100 |
| Risiko B: 9 % pro Jahr, CHF 9,5 Mio. Verlust | 2 (1–10 %) | 4 (1–10 Mio.) | 8 | CHF 855'000 |
Risiko B erzielt den tieferen Score und trägt etwa das Siebzigfache des erwarteten Verlusts. Jedes der beiden Risiken liegt nahe an einer Klassengrenze, und die Klassen sind breit; den Schaden richtet also das Runden an. NIST benennt denselben Mechanismus in seinem Warnhinweis (Appendix J): Risiken „on the borderline between bins using the organization-defined binning scales, must ultimately be assigned to one bin. This determination could have a significant effect on the risk prioritization process.“ (Sinngemäss: Risiken an der Grenze zwischen den von der Organisation definierten Klassen müssen letztlich einer Klasse zugeordnet werden. Diese Festlegung kann den Prozess der Risikopriorisierung erheblich beeinflussen.)
Die dritte Einschränkung wiegt in der Budgetrunde am schwersten. Eine Matrix kann Ihnen sagen, dass A und B in benachbarten Zellen landen. Sie kann Ihnen nicht sagen, ob ein Control für CHF 50'000 bei A oder bei B mehr Risikoreduktion bringt. Dafür verweist NIST auf die quantitative Beurteilung, die Art, die „most effectively supports cost-benefit analyses of alternative risk responses or courses of action“ (sinngemäss: Kosten-Nutzen-Analysen alternativer Risikoreaktionen oder Vorgehensweisen am wirksamsten unterstützt).
Multiplikation ist eine Wahl, die Kurve auch
Eine verbreitete Bewertungsregel multipliziert Wahrscheinlichkeit mit Auswirkung und färbt das Raster nach dem Produkt. Diese Regel ist eine Modellierungsentscheidung. Weder NIST noch das BSI schreibt sie vor.
NISTs eigenes Beispiel, Table I-2 in Appendix I, ist eine Nachschlagetabelle. Ihre Ecken, mit den Stufenbezeichnungen aus dem Englischen übersetzt:
| Wahrscheinlichkeit | Auswirkung sehr niedrig | Auswirkung sehr hoch |
|---|
| Sehr hoch | Sehr niedrig | Sehr hoch |
| Sehr niedrig | Sehr niedrig | Niedrig |
Sehr hohe Wahrscheinlichkeit bei sehr niedriger Auswirkung ergibt „Sehr niedrig“. Sehr niedrige Wahrscheinlichkeit bei sehr hoher Auswirkung ergibt „Niedrig“. Die Tabelle gewichtet die Auswirkung stärker, was ein symmetrisches Produkt nicht kann. Ausserdem sind ihre Zeilen für hohe und sehr hohe Wahrscheinlichkeit identisch.
Das BSI macht denselben Punkt von der anderen Seite. Sein Anhang zum Risikoappetit nennt das Produkt „die einfachste Maßzahl“ und fügt hinzu: „Die Leitungsebene entscheidet, welche Schwellwerte sie als ‚hoch‘ einstuft.“ Er lässt auch zu, dass eine Institution Risiken mit hoher Eintrittshäufigkeit meidet, selbst wenn der Schaden gering ist, und sagt das offen: „Nicht immer lassen sich Einstellungen gegenüber Risiken rational begründen.“
Iso-Risiko-Kurven lösen einen Teil davon. Eine Iso-Risiko-Kurve verbindet alle Punkte mit demselben Produkt; in einem Diagramm mit stetigen Achsen ist sie eine Hyperbel. Wer die Schwellen als Kurven zeichnet und jedes Risiko an seinen eigenen Koordinaten einträgt, behebt ein echtes Problem: die Zellgrenze. Zwei Risiken knapp beidseits einer Klassengrenze liegen dann nebeneinander statt in zwei unterschiedlich gefärbten Feldern. Die Risiken A und B landeten trotzdem nahe an derselben Kurve, denn ihre Eingaben wurden in Klassen gerundet, bevor irgendjemand etwas gezeichnet hat; kein Diagramm holt den siebzigfachen Unterschied zurück.
Was die Kurven nicht beheben, ist alles, was davor liegt. Die Eingaben sind weiterhin ordinale Einschätzungen. Das Produkt zweier Ordinalzahlen ist eine Zahl ohne festgelegte Bedeutung. Die Kurve behandelt ein Risiko mit Wahrscheinlichkeit 1 und Auswirkung 10 weiterhin gleich wie eines mit 10 und 1. Das ist Risikoneutralität, und Ihre Leitungsebene ist gegenüber katastrophalen Verlusten vielleicht nicht neutral. Auch Cox' Fall der negativen Korrelation bleibt bestehen. Ein Diagramm würde ich nutzen, um ein Register ohne Runden zu sehen. Seine Kurven würde ich nicht als Aussage zum Risikoappetit verwenden.
Initial und Restrisiko sind zwei Aussagen
Viele Register führen pro Risiko zwei Bewertungen, eine vor der Behandlung und eine danach. Nebeneinandergestellt zeigen sie, ob die Behandlung voraussichtlich etwas bewegt. Achten Sie dabei auf die Zeitform. Die Restrisikobewertung ist eine Prognose. Sie sagt, wie das Risiko aussehen wird, sobald eine Behandlung umgesetzt ist und wirkt.
Genau diese Prognose unterschreibt die Leitungsebene. ISO/IEC 27001:2022 ist kostenpflichtig, deshalb zitiere ich die Norm nicht. Die Zuordnungstabelle des BSI ordnet Klausel 6.1.3, „Informationssicherheitsrisikobehandlung“, unter anderem dem BSI-Standard 200-3 zu. 200-3 §6 beschreibt den Schritt in Worten, die alle nachlesen können:
„Das Restrisiko muss anschließend der Leitungsebene zur Zustimmung vorgelegt werden (Risikoakzeptanz). Damit wird nachvollziehbar dokumentiert, dass die Institution sich des Restrisikos bewusst ist.“
Die Leitungsebene kann sich nur dessen bewusst sein, was die Dokumentation zeigt. Ein Sprung von hoch auf niedrig in einem Vorher-nachher-Diagramm sieht nach Fortschritt aus. Ist die Behandlung dahinter noch ein Plan, ist der Sprung eine Absicht. Prüfen Sie vor einer Akzeptanz pro Risiko drei Dinge: welche Behandlung das Restrisiko voraussetzt, ob sie umgesetzt ist und wer das bestätigt hat.
Eine Dokumentation, die das Bild überdauert
Eine Matrix, in welchem Werkzeug auch immer gezeichnet, lässt sich nur mit dem verteidigen, was daneben steht. Das würde ich festhalten:
| Element | Warum | Quelle |
|---|
| Skalendefinitionen mit Beispielen pro Klasse | Damit zwei Bewertende in derselben Zelle landen | BSI 200-3 §5.1; NIST §2.3.2 |
| Eine einzeilige Begründung für jede Bewertung | Wiederholbarkeit, und eine Antwort, wenn jemand nachfragt | NIST §2.3.2 |
| Die Verknüpfungsregel (Produkt, Nachschlagetabelle, andere) | Sie bestimmt die Farben | NIST Table I-2; BSI-Anhang |
| Die Schwelle für den Risikoappetit und wer sie festgelegt hat | Das BSI legt diese Entscheidung auf die Leitungsebene | BSI 200-3, Anhang |
| Für jedes Restrisiko: die vorausgesetzte Behandlung und ihr Status | Das Restrisiko ist eine Prognose | BSI 200-3 §6 |
| Akzeptanz: durch wen, wann, bei welcher Bewertung | Die nachvollziehbare Dokumentation, die das BSI beschreibt | BSI 200-3 §6 |
Wie sich die Matrixansichten von devguard verhalten und was sie Ihnen überlassen
Mit devguard App 2.3.0 sind Bewertungsmatrizen erschienen, „in three views: a heat map with counts per cell and an inspector beside it, a drift view putting initial and residual exposure side by side with the biggest movers, and a plot with iso-risk curves“ (sinngemäss: in drei Ansichten: eine Heatmap mit der Anzahl pro Zelle und einem Detailbereich daneben, eine Ansicht der Verschiebung, die initiale und Restexposition nebeneinanderstellt, samt den grössten Bewegungen, und ein Diagramm mit Iso-Risiko-Kurven). Jedes Risiko trägt eine initiale und eine Restrisikobewertung für Wahrscheinlichkeit und Auswirkung, jede auf einer Skala bis 10, und der Score ist ihr Produkt.
Die Heatmap rundet jede Bewertung auf eine von fünf Klassen pro Achse und zeigt, wie viele Risiken in jeder Zelle liegen. Wählen Sie eine Zelle, listet der Detailbereich ihre Risiken mit ihrer Behandlungsstrategie auf. Sie können zwischen Initial, Restrisiko und Beide wechseln. Die Ansicht Verschiebung stellt die beiden Raster nebeneinander, zeigt, wie viele Risiken vor der Behandlung hoch oder höher sind und wie sich diese Zahl danach verändert, und listet die grössten Bewegungen mit ihrer Stufe vorher und nachher auf. Das Diagramm setzt jedes Risiko an seine exakten Koordinaten, mit der Restrisikobewertung, wo eine vorhanden ist, und zeichnet die Schwellen für Mittel und Hoch als gestrichelte Iso-Risiko-Kurven. Die Asset-Bewertungsmatrix zählt Assets pro Bewertung für Vertraulichkeit, Integrität und Verfügbarkeit.
Drei Dinge tun die Ansichten nicht, und jedes hat seinen Preis.
Die Linie für den Risikoappetit ist nicht Ihre. Das Diagramm zählt ein Risiko ab einem Score von 41 als „Über dem Risikoappetit“, also ab der Stufe Hoch des Produkts, die für jede Organisation gleich ist. So bleiben die Anzahlen der Matrix mit dem restlichen Register konsistent. Hat Ihre Leitungsebene eine andere Schwelle festgelegt, lesen Sie dieses Feld als „Stufe Hoch“ und halten Ihre eigene Schwelle in der Dokumentation fest.
Eine Zelle der Heatmap erhält ihre Farbe von der Stufe der Zelle, und ein Risiko nahe einer Grenze kann davon abweichen. Ein Risiko mit Wahrscheinlichkeit 9 und Auswirkung 4 erzielt 36, also Mittel, wird aber in eine Zelle gerundet, die als Hoch eingefärbt ist. Das ist der Grenzeffekt, vor dem NIST warnt, und jedes Raster erzeugt ihn. Das Diagramm und die Liste der grössten Bewegungen zeigen den eigenen Score jedes Risikos; schauen Sie dort nach, bevor Sie über eine Farbe streiten.
Die Ansicht Verschiebung vertraut der Restrisikobewertung. Sie vergleicht die beiden Bewertungen so, wie sie heute an jedem Risiko stehen. Sie zeigt keine Historie ihrer Änderungen, und sie prüft nicht, ob die Behandlung hinter einem Restrisiko existiert oder umgesetzt ist. Ein Risiko ohne Restrisikobewertung erscheint in beiden Rastern an seiner initialen Position. Die Anzahlen der Behandlungsmassnahmen unter der Heatmap kommen einer Prüfung am nächsten, und sie decken das ganze Register ab, nicht ein einzelnes Risiko.
Die Ansichten machen ein Register leichter lesbar. Was sie zeigen, ist das, was Sie eingegeben haben; die Dokumentation aus der Tabelle oben muss also weiterhin dahinterstehen.
Schreiben Sie vor Ihrem nächsten Management-Review neben die Matrix, welche Verknüpfungsregel Sie verwenden und wo Ihre Schwelle für den Risikoappetit liegt, jeweils mit dem Namen der Person, die es entschieden hat.
Die Bewertungsmatrizen sind mit devguard App 2.3.0 erschienen.