Archiv der Kategorie: Risiko

Risk Management

#WirHabenJaSonstNichtsZuTun

Wo sind eigentlich die ganzen Schlaumeier geblieben, die bei jeder Videokamera einen Generalverdacht wittern und der automatischen Gesichtserkennung Untauglichkeit zur Fahndung nach Terroristen vorwerfen, weil sie unvermeidlich mehr falsche als wirkliche Terroristen melde?

Gegenwärtig reden wir über Ausgangssperren zur Bekämpfung eines Virus, das einen Bevölkerungsanteil in der Größenordnung von einem Promille befallen hat. Ein Corona-Soforttest mit hoher Falsch-Positiv-Rate fände vermutlich breite Akzeptanz, wenn man mit seiner Hilfe eine knappe Mehrheit – oder vielleicht sogar eine genügend große Minderheit – der Bevölkerung von Einschränkungen befreien könnte.

Von welchen Axiomen muss man ausgehen und welche Unterschiede zwischen beiden Szenarien berücksichtigen, um mit einem logisch konsistenten Weltbild eine automatische Fahndung wegen begrenzter Zuverlässigkeit abzulehnen, erhebliche Einschränkungen des öffentlichen Lebens und der persönlichen Freiheit zur Virusbekämpfung hingegen zu befürworten?

***

#WirHabenJaSonstNichtsZuTun regt zum Zeitvertreib Grundsatzdiskussionen an

Unterschätzte Risiken: kaputte Organisationen

Morgen jährt sich zum 25. Mal der Zusammenbruch der Barings Bank. Als verwirrter Einzeltäter gilt Nick Leeson, der als Wertpapierhändler in Singapur vertuschte Verlust anhäufte. Möglich war dies jedoch nur aufgrund einer kaputten Organisation. Die Verhältnisse in der Bank müssen haarsträubend gewesen sein. Leeson hielt seine Kollegen und Manager für Idioten – und hatte damit wahrscheinlich Recht. Die BBC-Doku £830,000,000 – Nick Leeson and the Fall of the House of Barings erzählt die Geschichte:

Digitalfeindliche Hetze

Gegen alles Digitale kann man in Deutschland ungestört hetzen, zumal unter dem Deckmantel der Sicherheit. Eines der beliebtesten Opfer neben dem Internet: die Kartenzahlung, die sich nun langsam doch auch in Deutschland durchsetzt. In welchem Maße dies auf die Deckelung der Transaktionsgebühren durch die EU zurückgeht, auf die zunehmende Verbreitung NFC-fähiger Karten zum bequemen kontaktlosen Bezahlen auch kleinster Beträge oder schlicht darauf, dass zu guter Letzt auch die Deutschen langsam in der Moderne ankommen, sei dahingestellt. Doch einige meinen immer noch, man hätte nie von den Bäumen herunterkommen oder noch besser, nie die Ozeane verlassen sollen. Ihre Geheimwaffe: Sicherheitsbedenken, denn die lassen sich zumindest in den Augen von Laien kurzfristig schwer ausräumen.

Der SWR demonstriert diese Masche am Beispiel der NFC-fähigen Kredit- und Debitkarten, die heute fast jeder besitzt:

Im Wesentlichen demonstriert dieser Beitrag, dass kontaktloses Bezahlen kontaktlos funktioniert, sowie dass die Infrastruktur dafür günstig zu haben und überall einsetzbar ist. Um sich vor Fernsehteams auf der Jagd nach Sensationen zu schützen, so empfiehlt der Beitrag am Ende, sollen wir unsere praktischen Karten kastrieren, indem wir sie umständlich in Schutzhüllen packen oder die NFC-Funktion gleich komplett deaktivieren lassen.

Wie bei solchen Skandalisierungsversuchen üblich, drückt sich der Beitrag um jede Risikobetrachtung. Das hatte so ähnlich ein gutes Jahr zuvor schon das Fachmagazin c’t versucht, musste jedoch bald zurückrudern. Wie der Anbieter des dort verwendeten mobilen Bezahlterminals zu recht betonte, wurde dort wie auch nun im Fernsehbeitrag des SWR lediglich ein technischer Transaktionsvorgang nachgewiesen, nicht jedoch ein erfolgreicher Geldtransfer zum Täter, der ohne Identifizierung desselben sowie ohne Eingriffsmöglichkeiten in dessen Handeln kaum zu bewerkstelligen wäre.

In der Gesamtschau begrenzen mehrere Mechanismen und Entwurfsmerkmale das Risiko kontaktloser Zahlungskarten:

  1. Zahlungen erfordern physische Nähe zwischen Terminal und Karte. Dies begrenzt die Zahl der effektiven Versuche, die ein Täter pro Zeiteinheit machen kann, sowie die Zahl der Angriffe, denen ein Karteninhaber ausgesetzt ist.
  2. Für Transaktionen ohne PIN-EIngabe sind der Betrag pro Transaktion wie auch die Zahl der aufeinanderfolgenden Transaktionen und deren Gesamtbetrag beschränkt. Selbst wer sich dauerhaft in der Nähe seines Opfers aufhielte, könnte nicht beliebig viele, beliebig hohe Transaktionen auslösen.
  3. Es handelt sich um Buchgeldtransaktionen, die nachvollzogen und nötigenfalls auch rückgängig gemacht werden können. Um an Bargeld zu kommen, müsste der Täter nicht nur Transaktionen auslösen, sondern auch über das resultierende Guthaben auf einem Konto frei und ohne Risiko verfügen können.

Unabhängig davon muss man sich auch noch die Geschäftsbedingungen der Bank anschauen und die darin festgelegten Haftungsregeln berücksichtigen. Selbst ein technisch erfolgreicher Angriff bliebe für Karteninhaber folgenlos, wenn sie Schadenersatzansprüche gegen ihre Bank geltend machen könnten.

All diese verschweigt der SWR-Beitrag. Er demonstriert lediglich einen technischen Vorgang, der Journalisten auf den ersten Blick überraschen mag. Hätten sie gründlich recherchiert, statt nur einen Wichtigtuer für eine telegene Vorführung zu suchen, hätte ihnen das sicher jemand erläutert. Weil sie das anscheinend nicht getan haben, handelt es sich um digitalfeindliche Hetze – oder doch nur um schlechten Journalismus?

Denkanstöße zu 5G und Huawei

Seit einiger Zeit tobt ein Streit um die Frage, ob der chinesische Konzern Huawei Ausrüstung für die im Aufbau befindlichen deutschen 5G-Netze liefern dürfen soll. Kritiker argumentieren, Huawei sei von der chinesischen Regierung abhängig und deshalb kein vertrauenswürdiger Lieferant. Kauften unsere Netzbetreiber bei Huawei, seien wir China ausgeliefert, da helfe keine Technik und kein Sicherheitsmanagement. Befürworter hingegen halten die Risiken für beherrschbar.

Die Diskussion krankt daran, dass sie in der Öffentlichkeit vorwiegend auf PR-Niveau geführt wird statt mit handfesten Argumenten. Echte Risikobetrachtungen liest man kaum, stattdessen bleiben die vorgetragenen Bedenken und Argumente ätherisch. Als Beispiel lesen man etwa das Papier Germany’s Preliminary 5G Decision:
Limiting Damage and Learning Lessons der DGAP: Dort fehlt jede nachvollziehbare Risikoeinschätzung und die Autoren fordern, die Entscheidung über den Einsatz nicht  Leuten mit Ahnung von der Materie wie dem BSI , sondern der Politik zu überlassen. So würde man wohl auch argumentieren, arbeitete man als PR-Agentur für einen von Huaweis Konkurrenten.

Aus Sicht des Sicherheits- und Risikomanagements stellt sich jedoch zuerst die Frage, welche Szenarien eigentlich gegeneinander abzuwägen sind und was man gewinnen oder verlieren kann. An einem Kommunikationsnetz interessieren uns unmittelbar seine Verfügbarkeit sowie möglicherweise die Vertraulichkeit der Kommunikation, mittelbar als Voraussetzung dafür die Integrität des Netzes und seiner Komponenten, die jeder Hersteller untergraben kann.

Am geringsten zusätzlich bedroht ist die Vertraulichkeit der übermittelten Inhalte. Dafür verlässt sich ohnehin niemand auf ein öffentliches Netz, sondern wer auf Vertraulichkeit Wert legt, muss ein Protokoll zur Ende-zu-Ende-Verschlüsselung wie z.B. TLS einsetzen. Bei korrekter Anwendung eines solchen Protokolls sind die attraktivsten Angriffe dann solche auf die Software der Endpunkte, insbesondere die Anwendungssoftware.

Ebenso bedeutsam ist, wie wir spätestens seit Snowden wissen, die Vertraulichkeit der Metadaten – wer kommuniziert wann, wo und mit wem? Hier stellen sich Fragen wie:

  • Welchen echten Vorteil brächte der direkte Durchgriff auf den Hersteller Huawei im Vergleich zu einem unabhängigen Akteur, der die Komponenten lediglich analysiert?
  • Welche Informationen könnten die Chinesen ohnehin schon unkompliziert einsammeln, solange sie uns Computer, Smartphones und IoT-Geräte liefern?
  • Inwieweit kann der praktische Betrieb Risiken kompensieren, wenn Spione nicht nur theoretisch, sondern auch praktisch an Daten herankommen müssen und es sich dabei um nennenswerte Datenmengen handelt?
  • Wo und wie würde man die relevanten Daten einsammeln, wenn man keinen besonderen Zugang zur Netztechnik hätte?

Kurz und gut, wie viel leichter hätten es die Chinesen dank Huawei als andere Mächte mit ihren Nachrichtendiensten?

Auch hinsichtlich der Verfügbarkeit stellt sich die Frage nach der Baseline, dem Ausgangsniveau. Angenommen, die Chinesen könnten unsere 5G-Netze jederzeit ausknipsen, wieviel leichter hätten sie es dann als ein anderer Akteur, der etwa Spezialeinheiten mit Sprengstoff losschickt? Die Bahn zum Beispiel hat ab und zu Probleme mit heimischen Terroristen, die aus einer politischen Motivation ganz banal Kabelschächte anzünden und damit großen Schaden anrichten. Was könnten staatlich unterstützte Kräfte zu welchem Preis mit klassischer Sabotage anrichten?

Sähe ich solche Fragen diskutiert, fiele es mir leichter, die ganze Debatte ernst zu nehmen. Alternativ könnten wir die Sicherheit in den Hintergrund rücken und einfach offen über Wirtschaftspolitik reden. Vielleicht wäre es ja aus dieser Perspektive eine gute Idee, europäischen Anbietern den Vorzug zu geben und wenn das jemand nachvollziehbar begründen könnte, hätte ich gar nichts dagegen, dass wir das dann auch tun.

Unterdessen kann sich Bill Gates in Huawei einfühlen, denn Microsoft hatte einst dasselbe Problem: „Wir wurden gefragt, ob Windows irgendwelche NSA-Dinge eingebaut hat“. Ob diese Erinnerung die aktuellen Warnungen vor Huawei glaubwürdiger macht, möge jeder für sich entscheiden.

PS: Bei einer Anhörung des Auswärtigen Ausschusses im Bundestag wiesen Experten darauf hin, dass ein funktionierender Markt und die Vermeidung einer Monokultur wichtig seien für die Sicherheit. (2019-11-11)

PPS: Den Security-Chef der Telekom wollte man lieber nicht anhören. Netzbetreiber wie die Telekom sind gegen den Ausschluss von Huawei, während der Ausschussvorsitzende Röttgen die Beteiligung von Huawei am 5G-Ausbau für schlimmer hält als einen GAU im Kernkraftwerk. (2019-11-12)

Unterschätzte Risiken: Gütesiegel

Immer wieder wird der Ruf nach mehr Gütesiegeln und Zertifizierung für mehr IT-Sicherheit laut. Nachdem beispielsweise Anfang des Jahres ein Jugendlicher beim Doxxing mehr oder minder bekannter Personen erwischt wurde, fand sich in der unvermeidlich folgenden Wunschliste des Innenministeriums nach neuen Gesetzen und Befugnissen auch die Forderung nach Gütesiegeln für IT-Sicherheit. Reaktion auf den Anlass war dabei wie üblich nur die Erstellung des Wunschzettels; die Idee und Forderung als solche hatte man zuvor bereits in der Schublade liegen.

Für die Wirtschaft sind Gütesiegel attraktiv, weil sie Prüfern Aufträge bringen und Herstellern selten wehtun, vor allem den größeren nicht. Kleine und junge Unternehmen tun sich zuweilen schwer mit der Zertifizierungsbürokratie, große und alte haben dafür ihre Spezialisten oder heuern Berater an. Doch einen Nutzen sollte man von Gütesiegeln nicht erwarten.

Dies hat zum einen inhaltliche Gründe: Es gibt keine kleine, universelle und vollständige Checkliste für IT-Sicherheit, die man in einer Prüfung abhaken könnte. Jedes Gütesiegel braucht einen Kriterienkatalog, damit seine Aussage spezifisch wird. Darauf werden insbesondere die Prüfer bestehen, denn je konkreter ihre Prüfaufgabe beschrieben ist, desto geringer wird das Risiko, dass ihnen später jemand Versäumnisse vorwirft. Doch Sicherheitsanforderungen sind notorisch schwer zu fassen. Der Versuch, sie in Kataloge zu packen, endet entweder mit oberflächlich-unvollständigen Prüfungen wie im Fall des Safer-Shopping-Siegels, oder er bringt Konvolute vom Umfang des Grundschutz-Kompendiums hervor, die noch das unbedeutendste Detail bis hin zur möglichen Verschmutzung eines häuslichen Arbeitsplatzes erfassen.

Die Aussagekraft jedes Gütesiegels bleibt deshalb beschränkt. Obendrein kann ein Zwang zur Zertifizierung spezifischer Maßnahmen sinnvolle Entwicklungen bremsen oder die Implementierung beziehungsweise Beibehaltung veralteter und unnötiger Funktionen erfordern. Ein aktuelles Beispiel liefert die EU-Zahlungsdiensterichtlinie PSD2 mit ihrer Forderung nach „starker Kundenauthentifizierung“. Sie führte beispielsweise dazu, dass Sparkassenkunden bei Kreditkartenzahlungen im Netz eine Runde durch die schwerfällige App S-ID-Check drehen müssen – und dabei noch nicht einmal die konkrete Zahlung autoriesiert, sondern tatsächlich nur eine komplett nutzlose Zwei-Faktor-Authentifektion zelebriert wird.

Das andere große Problem der Zertifizierung liegt in kontraproduktiven ökonomischen Anreizen, die sich aus den typischen Akteurskonstellationen ergeben. Oft werden Prüfer von den Herstellern oder Betreibern beauftragt und bezahlt, die ein Gütesiegel erwerben möchten. Dies gibt den Prüfer einen Anreiz, die Interessen ihres Auftraggebers zu berücksichtigen, denn wo die Auswahl zwischen mehreren Prüfern besteht, zahlt es sich nicht aus, unter ihnen der strengste zu sein. Wohin solche Fehlanreize in letzter Konsequenz führen, zeigt der Dammbruch von Brumadinho in Brasilien in Januar 2019. Dieser Damm war erst wenige Monate vor seinem Bruch mit 250 Todesopfern trotz bekannter Mängel für sicher erklärt worden. In der Folge diskutiert man jetzt, inwieweit ein vom Betreiber des Damms direkt beauftragter Prüfer objektiv urteilen kann und erwägt, künftig die Aufsichtsbehörden zum Auftraggeber zu machen.

Von Gütesiegeln für IT-Sicherheit dürfen wir daher wenig erwarten. Bestenfalls schaffen sie sie ein paar Arbeitsplätze für Sicherheitsbürokraten, alles darüber hinaus wäre eine Überraschung.


PS: Der Vortrag FreeBSD and the absurdities of security compliance von Eirik Øverby auf der EuroBSDcon gibt Einblicke in die praktischen Schwierigkeiten der Sicherheitszertifizierung. (2019-10-29)

PPS: Der Deutschlandfunk bringt noch einen längeren Beitrag zum Prüfwesen: Der ramponierte Ruf des TÜV-Siegels. (2019-10-30)

Unterschätzte Risiken: gute Ideen

Auf den ersten Blick eine gute Idee: Am Bahnsteig hängt alle paar Meter eine Trittstufe. Wer, aus welchem Grund auch immer, ins Gleisbett geraten ist, kann sich so leichter auf den Bahnsteig retten.

Bahnsteig-Tritt

Just an dieser Stelle kam mir allerdings ein junger Mann entgegen, der ungeniert die Gleise überquerte, weil ihm der Weg über die Fußgängerbrücke wohl zu anstrengend war. Die gute Idee macht es einfacher, direkt über die Gleise zu laufen und vergrößert damit das Bequemlichkeitsgefälle zwischen der sicheren Brücke und der gefährlichen Abkürzung.

Bedrohungkonjunktive

Risiko ist ein quantifizierter Konjunktiv: Etwas kann passieren, man kann nicht genau vorhersagen, wann und wem es passiert, aber die Wahrscheinlichkeit und die Folgen lassen sich abschätzen. Seriöse Risikoanalysen betrachten deshalb das Zusammenspiel zwischen Wahrscheinlichkeiten und Auswirkungen oder irgendeinen Surrogat dafür.

Unseriöse Diskussionen lassen die Wahrscheinlichkeiten unter den Tisch fallen und konzentrieren sich auf die bloße Möglichkeit. Das Ergebnis sind Bedrohungskonjunktive, mit denen man Propaganda treiben, aber sonst wenig anfangen kann.

Wie das funktioniert, führt H.-J. Tenhagen in seiner Kolumne zum Händibezahlen bei Spiegel Online vor: Die erste Hälfte seines Textes besteht aus blumigen Erklärungen, was Finanzunternehmen und Cloudkonzerne mit den Transaktionsdaten eines Verbrauchers alles anstellen könnten.

Dabei drückt er sich um den springenden Punkt, denn es gibt unzählige Dinge, die man tun könnte, aber üblicherweise nicht tut. Die Bundeswehr könnte die Regierung absetzen, RWE das ganze von Düsseldorf bis Köln wegbaggern und nebenbei die Bevölkerung verstromen, die BASF alle deutschen Städte in die Luft sprengen und gleichzeitig das gesamte Trinkwasser vergiften und die Lufthansa Flugzeuge in Kernkraftwerke lenken.

All dies ist möglich, aber nicht sehr wahrscheinlich, weshalb uns solche Schauergeschichten keine Angst machen. Genauso sollten wir es handhaben, wenn uns jemand ins Ohr raunt, was die bösen Datenkraken alles tun könnten. Was sie könnten, ist egal; es kommt darauf an, was sie tatsächlich tun.

Nichts zu verbergen – nicht zu diesem Preis

Der Spruch, man habe ja nichts zu verbergen, ist der Lieblingsstrohmann aller Datenschutzaktivisten und Polizeigegner. An ihm arbeiten sie sich ab, um zu zeigen, dass doch jeder etwas zu verbergen habe und demnach auf ihrer Seite stehen müsse im Kampf gegen den jeweilige Datenkraken des Tages.

Nun ist es legitim, für die Beschränkung polizeilicher, geheimdienstlicher und sonstiger Befugnisse einzutreten. Der Nichts-zu-verbergen-Strohmann unterstellt jedoch eine allgemeine individuelle Betroffenheit, um das Strohmann-Argument sodann mit der Annahme einer ebenso universellen Geheimnisträgerschaft zurückzuweisen.

Wo die Schwäche dieses oft replizierten, jedoch selten reflektierten Arguments liegt, wird deutlich, wenn man es sauberer formuliert. Wie auch sonst überall – genauer, außerhalb der bloßen Ideologie – muss man in Sicherheitsfragen Nutzen und Kosten abwägen. Dabei hat jeder Beteiligte und jeder Betroffene seine eigene Sicht; was dem einen schadet, muss dem anderen nicht in gleichem Maße nützen und umgekehrt.

Da wir über Zukunftsaussichten mutmaßen, haben alle Annahmen Wahrscheinlichkeitscharakter und wir rechnen mit Erwartungswerten. Die bekannte Risikoformel – Risiko gleich Eintrittswahrscheinlichkeit mal Schadenshöhe – ist nichts anderes als die Definition eines Erwartungswerts.

Sagt nun jemand, er habe nichts zu verbergen, so bedeutet dies sauber formuliert, er sehe für sich kein hinreichendes Risiko n der diskutierten Maßnahme, welches ihre Ablehnung rechtfertigen würde, sondern einen ausreichenden Nutzen, um sie hinzunehmen. Diese Einschätzung mag im Einzelfall richtig oder falsch sein, doch handelt es sich nicht per se um ein falsches Argument.

In einem funktionierenden Rechtsstaat haben Bürger, die sich nichts zuschulden kommen lassen, wenig zu befürchten. Dafür sorgt nicht in erster Linie Technik, sondern Recht, Gewaltenteilung und das daraus resultierende Institutionengefüge. Dieser Apparat, der die Staatsmacht ausübt und gleichzeitig zügelt, ändert sich nicht fundamental, nur weil einzelne Institutionen wie die Polizei neue Einsatzmittel und -möglichkeiten erhalten.

Es ist deshalb legitim, sich auf den Rechtsstaat und die Demokratie zu verlassen, das eigene wie das gesellschaftliche Risiko aus neuen Einsatzmitteln der Exekutive als gering einzuschätzen und daraus resultierend Vorschläge zu befürworten oder hinzunehmen. Das – oft erfolglos – Zustimmung heischende Strohmannargument, jeder habe etwas zu verbergen, ignoriert die Risikobetrachtung. Es ist deshalb unsachlich, fundamentalistisch und überholt.

Scheinriese Cross-Site-Scripting

Wer sich mit IT-Sicherheit beschäftigt, kennt Cross-Site-Scripting (XSS) und hält es wahrscheinlich für eine Klasse schwerwiegender Verwundbarkeiten. Das ist plausibel, aber vielleicht dennoch übertrieben.

Eine Webanwendung ist anfällig für Cross-Site-Scripting, wenn Angreifer ihr HTML- und JavaScript-Code unterjubeln können, welchen der Browser eines Nutzers nicht vom echten Code der Anwendung unterscheiden kann. Damit gewinnen Angreifer die Möglichkeit, im Sicherheitskontext fremder Benutzersitzungen zu agieren. So könnte ein Angreifer beispielsweise im Namen einen angemeldeten Benutzers Daten abrufen und ändern, aber auch im Kontext der Webanwendung mit dem Benutzer interagieren – ein Man-in-the-Middle-Angriff zwischen Benutzer und Anwendung.

Große Aufmerksamkeit wird dem Cross-Site-Scripting aus mehreren Gründen zuteil:

  1. Cross-Site-Scripting-Verwundbarkeiten kommen häufig vor. Wer interaktive Webanwendungen entwickelt und nicht von Anfang an stringente Maßnahmen dagegen ergreift, wird früher oder später unweigerlich XSS-Verwundbarkeiten in seine Anwendung haben.
  2. Cross-Site-Scripting ist leicht zu erklären und zu verstehen. Die einfachsten Varianten lassen sich mit rudimentären HTML- und JavaScript-Kenntnissen unter Verwendung eines gewöhnlichen Webbrowsers demonstrieren – die ideale Fallstudie für jede Sicherheitsschulung.
  3. Cross-Site-Scripting unterläuft mehrere Sicherheitmechanismen – zum Beispiel die Same-Origin-Policy und jede Benutzerauthentisierung – und gewährt dem erfolgreichen Angreifer volle Kontrolle über jede betroffene Benutzersitzung. Verwundbarkeiten sind daher für vielfältige Ziele ausnutzbar und die Auswirkungen lassen sich kaum wegdiskutieren.

Cross-Site-Scripting taucht deshalb zu Recht von Anfang an als eigene Kategorie in den OWASP-Top-10 („The Ten Most Critical Web Application Security Risks“) auf, obwohl es sich rein technisch eigentlich um eine Spezialfall der allgemeineren Kategorie „Injection“ handelt.

✽✽✽

In einem Artikel vom 25. Oktober berichtet Golem.de, man habe in mehreren Online-Shops – allesamt Träger des „Safer Shopping“-Siegels eines bekannten Plakettenkonzerns – Cross-Site-Scripting-Verwundbarkeiten gefunden. Nahezu dieselbe Geschichte war in anderer Besetzung, aber mit demselben Protagonisten bereits neun Jahre zuvor erschienen. Das nimmt nicht Wunder, denn die technische Sicherheit der Shopsoftware gehört gar nicht zum Prüfumfang des Safer-Shopping-Siegels.

Was dies über kommerzielle Gütesiegel aussagt, deren Verfechter sich gerade zu einem neuen Anlauf formieren, sei dahingestellt. Interessanter finde ich die darin verborgene Beobachtung, dass sich offenbar eine Dekade lang niemand ernsthaft an immer wieder auftretenden Cross-Site-Scripting-Verwundbarkeiten in deutschen Online-Shops stört.

Wo Verwundbarkeiten spürbare Auswirkungen haben, also tatsächlich ausgenutzt werden, tut man für gewöhnlich etwas dagegen oder macht öffentlich Radau, falls die Verantwortlichen andere sind als die Opfer. Wo man nichts sieht und hört, gibt es hingegen augenscheinlich kein wirkliches Problem. Gewiss, dies ist nur eine Heuristik, doch sie hat eine ökonomische Grundlage: Je höher die Schäden, desto größer der mögliche Nutzen von Sicherheitsmaßnahmen; je geringer die Schäden, desto weniger lohnt sich Sicherheit.

Dass eine „klaffende Sicherheitslücke“ (WichtigtuerExpertenjargon) dennoch nicht ausgenutzt wird, kommt häufiger vor als gedacht, denn für den Angreifer muss sich der gesamte Angriff lohnen und nicht nur im Prinzip möglich sein. Die Verfügbarkeit ausnutzbarer Verwundbarkeiten ist dabei nur ein Faktor unter mehreren. Auf den zweiten Blick zeigen sich einige Einschränkungen, die prinzipiell mögliche Cross-Site-Scripting-Angriffe auf die Nutzer von Online-Shops unattraktiv machen können.

Als Angriffsziele in einem Online-Shop kommen für ökonomisch motivierte Angreifer insbesondere das Auslösen von Transaktionen und damit Lieferungen sowie der Zugriff auf einsetzbare Zahlungsdaten (z.B. vollständige Kreditkartendatensätze) oder Kundenpasswörter in Frage. Gegen lukrative Angriffe auf der Grundlage von Cross-Site-Scripting sprechen:

  1. Der begrenzte Wirkungsbereich von Cross-Site-Scripting-Angriffen:
    Die Auswirkungen bleiben auf eine Anzahl von Benutzersitzungen und Benutzern beschränkt. Eine Rechteausweitung über die Möglichkeiten eines angemeldeten Benutzers hinaus – etwa zum uneingeschränkten Zugriff auf gespeicherte Kundendaten und Zahlungsmittel – ist von dort aus normalerweise nicht möglich.
  2. Die Gefahr, aufzufallen:
    Betrügerische Bestellungen bleiben nur dann nachhaltig möglich, wenn sie im Rauschen des normalen Shopbetriebes nicht auffallen. Bestellen jedoch auf einmal binnen kurzer Zeit Hunderte Nutzer das teuerste Produkt, wird sich darüber wahrscheinlich jemand wundern. Hinzu kommen Logfiles, in denen Cross-Site-Scripting-Angriffe wahrscheinlich Spuren hinterlassen. Anfangs weniger auffällig wäre der Zugriff auf Zahlungsdaten, deren späterer Missbrauch jedoch bald auffällt und zur Sperrung aller potenziell betroffenen Zahlungsmittel führen kann.
  3. Logistikanforderungen an den Angreifer:
    Wer sich auf fremde Rechnung Waren liefern lassen möchte, steht vor einem Problem: Er muss Lieferungen annehmen können, ohne sich erwischen zu lassen. Das wird mit jeder Wiederholung schwerer. Wer Zahlungsmittel missbraucht, steht später vor demselben Problem. Direkt das eigene Konto aufzufüllen, ist weniger schlau.
  4. Abhängigkeit von der Kooperation der Betroffenen:
    Wer Cross-Site-Scripting-Verwundbarkeiten ausnutzt, ist auf die Kooperation seiner Opfer angewiesen. Jeder betroffene Nutzer muss wenigstens einmal auf einen vom Angreifer präparierten Link geklickt oder bestimmte Funktionen des Shops besucht haben und möglicherweise in derselben Sitzung auch noch bestimmte Handlungen (z.B. Login oder Bestellvorgang mit Eingabe von Zahlungsdaten) vorgenommen haben, damit der Angriff Erfolg hat. Wer sich aktiv um diese Kooperation bemüht, fällt leichter auf. Hinzu kommt unter Umständen die Schwierigkeit, Nischenzielgruppen wie die aktiven Nutzer eines bestimmen deutschen Online-Shops überhaupt anzusprechen.

Eine Reihe denkbarer Angriffserfolge wird damit unwahrscheinlich, das unbemerkte, massenhafte Auslesen von Zahlungsdaten oder Benutzerkennungen nebst Passwörtern ebenso wie betrügerische Warenbestellungen im großen Maßstab.

Weit verbreitete und vielfältig ausnutzbare Verwundbarkeiten zu vermeiden, ist sicher dennoch eine gute Idee, schon weil sich das Gefüge der Risikofaktoren schwer überblicken lässt. Dass sich offensichtliche Nachlässigkeiten nicht in spektakulären Angriffen niederschlagen, halte ich jedoch für plausibel. Insofern liegen der Plakettenkonzern und seine Kunden möglicherweise richtig, wenn sie dem Thema Cross-Site-Scripting wenig Aufmerkamkeit widmen.

Nur eine Frage der Zeit?

„Es ist nur eine Frage der Zeit, bis etwas passiert“ – diese Vorhersage liegt immer richtig. Irgendwann wird irgend etwas passieren, worin der der jeweilige Gegenstand verwickelt ist, ganz gleich ob es sich um Atombomben oder um Trinkwasser handelt. Kein Wunder also, dass der Plakettenkonzern TÜV mit einer Variante dieses Spruchs versucht,  sich das neue Geschäftsfeld der Sicherheit von Windkraftanlagen zu erschließen. Gewiss wird es irgendwann einmal zu einem Ereignis kommen, bei dem Menschen durch ein unglückliches Zusammentreffen mit einer Windkraftanlage zu Schaden kommen.

Aus der bloßen Möglichkeit folgt jedoch noch lange nicht die Notwendigkeit, etwas dagegen zu tun. Für sinnvollen Schutz muss man Risiken betrachten und nicht nur bloße Möglichkeiten. Der Unterschied: Risikobetrachtungen berücksichtigen die Häufigkeit bzw. Wahrscheinlichkeit von Ereignissen und deren Schadenshöhe. Auf dieser Grundlage lässt sich diskutieren, wie schwer eine Gefahr wiegt und welcher Aufwand für welche Risikoreduktion angemessen erscheint. Die prinzipielle Möglichkeit hingegen bleibt stets erhalten, so dass mit Ausnahme des Totalausstiegs keine Maßnahme je genug ist.

Fielen beispielsweise Jahr für Jahr im Mittel fünf Windräder um und eins davon erschlüge Menschen, so ließe sich diskutieren, ob wir als Gesellschaft dieses Risiko tragen oder ob wir etwas tun, um es zu reduzieren. Könnte man mit einer Plakettenpflicht erreichen, dass nur noch halb so viele Windräder umfielen und entsprechend seltener Menschen zu Schaden kämen, so handelte es sich vielleicht um einen guten Deal. Jedoch erreichen die tatsächlichen Risiken bei weitem nicht jene, die dieses hypothetische Szenario unterstellt. Die Produkte des Plakettenkonzerns bleiben daher an diese Stelle voraussichtlich nutzlos, denn es gibt kaum ein Potenzial zur Risikoreduktion.

Geht es um Windräder, so liegt alles klar auf der Hand. Alltagserfahrung und gesunder Menschenverstand genügen für eine fundierte Einschätzung.

In der Cybersicherheit zeigt sich eine ähnliche Situation: Mahner drängen die Gesellschaft, mehr für die Cybersicherheit zu tun, um zunehmenden Bedrohungen nicht hilflos ausgeliefert zu sein. Die Einschätzung solcher Forderungen fällt jedoch viel schwerer. Auf der einen Seite hat ein wohlgenährter sicherheitsindustrieller Komplex das Interesse, Gefahren möglichst groß erscheinen zu lassen. Auf der anderen Seite kommt es tatsächlich zu spektakulären Angriffen mit beträchtlichen Schäden. Stehen wir vor der Cyberapokalypse oder werden wir wie im vergangenen Vierteljahrhundert auch in Zukunft vor allem die Segnungen des Internets genießen, ohne große Schäden zu erleiden?

In beide Richtungen lässt sich argumentieren, ohne dass man mit Alltagswissen entscheiden könnte, wer Recht hat. Das Internet ist weit komplexer als ein Windrad oder auch ein ganzes Stromnetz.Zu welchen Angriffen es kommt, hängt nicht nur von Sicherheitslücken ab, sondern auch von den Zielen und Interessen der Angreifer, die solche Lücken ausnutzen – oder eben auch nicht. Informationen über Angriffe bleiben häufig im Verborgenen, so dass niemand weiß, was wirklich passiert. Stattdessen nimmt man gerne die argumentative Abkürzung von bekannten oder vermuteten Verwundbarkeiten zu einem Worst-Case-Szenario eines Angriffs, dessen Eintreten „nur eine Frage der Zeit“ sei.

Tatsächliche Ereignisse wie der der NotPetya-Befall beim Konzern Maersk mit geschätzten 300 Millionen Dollar Schaden liefern scheinbar den Beleg: Man tue zu wenig für die Cybersicherheit und wenn der Markt dies nicht von sich aus ändere, müsse man regulierend eingreifen. Unterschlagen wird dabei freilich, dass gerade Konzerne durchaus ernsthaft in Sicherheit investieren – „Big Tech“ sowieso, aber auch zum Beispiel Siemens, wo man die Wirkung des Stuxnet-Schocks an der Zahl der gemeldeten Verwundbarkeiten pro Jahr ablesen kann.

Dass der Markt beim Thema Sicherheit gänzlich versage, kann man angesichts dessen kaum behaupten. Unternehmen können es sich nicht leisten, ihre Sicherheit zu vernachlässigen. Mit wenigen Ausnahmen können sie es sich jedoch auch nicht leisten, mehr als nötig und wirtschaftlich vertretbar in Sicherheit zu investieren. Allen Eventualitäten vorzubeugen ist nicht realistisch, deshalb werden stets Risiken bleiben und es wird zu Vorfällen kommen. Selbst bei großen Schäden wie im Fall von Maersk kann es am Ende die günstigste Lösung sein, das Risiko zu tragen statt es vorbeugend abzuwehren. Jedenfalls ist es nicht per se falsch, so zu entscheiden, oder zumindest nicht falscher als im Fall des psychisch kranken Germanwings-Piloten, der mit dem von ihm herbeigeführten Absturz einen ähnlich hohen Schaden verursachte und der aufgrund von Sicherheitsmaßnahmen zur Terrorabwehr von seinen Opfern nicht daran gehindert werden konnte.

Mag sein, dass in bestimmten Konstellationen regulierende Eingriffe nötig sind. Für Sicherheit schlechthin gilt dies jedoch nicht, denn wo reale Schäden entstehen, gehen sie mit Anreizen zur Risikoreduktion einher.

(Inspiriert von einer Diskussion auf Google+.)

Ein frühes Beispiel für „Security Economics“ …

… und die Illustration eines gerne gemachten Denkfehlers verdanken wir den Grenztruppen der DDR:

„Im Frühjahr 1989 stellen Ökonomen der Grenztruppen eine groteske Rechnung auf. Sie teilen die Kosten für die Grenze durch die Summe der Festnahmen und stellen fest, dass jede Festnahme 2,1 Millionen Mark kostet. Der Wert eines durchschnittlichen Werktätigen wird mit 700.000 Mark veranschlagt. Also, folgern sie, ist eine Festnahme dreimal so teuer wie der Verlust eines Werktätigen. Das Resümee lautet nicht: ,macht die Grenze auf‘, sondern: ,macht die Grenze billiger‘.“

Der Denkfehler liegt darin, nur die aktiv abgewehrten Angriffe – Festnahmen bei versuchten Grenzübertritten – zu berücksichtigen. Die größte Wirkung entfaltete die  innerdeutsche Grenze jedoch durch Abschreckung. Die meisten, die ohne Mauer vielleicht in den Westen gegangen wären, versuchten es angesichts der geringen Erfolgsaussichten und hohen Risiken gar nicht erst oder nur auf dem legalen und langwierigen Weg per Ausreiseantrag.

Hinter diesem Denkfehler steckt ein grundsätzliches Problem, mit dem man es immer zu tun bekommt, wenn man die Wirkung von Sicherheitsmaßnahmen messen möchte. Wirksame Maßnahmen führen tendenziell dazu, dass bestimmte Arten von Angriffen insgesamt unterbleiben, weil sie sich nicht mehr lohnen und andere Angriffe oder Ziele attraktiver werden. Wer erfolgreich Sicherheit schafft, kann seinen Erfolg deshalb nicht messen und nachweisen.

Beschränkter Horizont

Die Forderung nach Ende-zu-Ende-Sicherheit für das besondere elektronische Anwaltspostfach (beA) und andere Dienste geht auf missverstandene Anforderungen und eine eingeschränkte Sicht auf den Lösungsraum zurück. Die missverstandene Anforderung liegt in der Vorstellung, der rechtlicher Schutz der Kommunikation verlange nach technischen Garantien. Die eingeschränkte Sicht auf den Lösungsraum berücksichtigt nur ausgewählte technische Mechanismen, deren Wirkung sie überschätzt, und lässt andere Aspekte des Risikomanagements außer Acht.

✹✹✹

Die Befürworter der Ende-zu-Ende-Verschlüsselung argumentieren, der Schriftverkehr von Rechtsanwältinnen sei besonders sensibel und man müsse ihn deshalb technisch besonders gut vor unbefugter Kenntnisnahme schützen. Die besondere Sensibilität mag man annehmen, wenngleich das beA nicht der Kommunikation zwischen Anwältinnen und ihren Mandantinnen dient, sondern dem Schriftwechsel zwischen Anwältinnen und Gerichten sowie der Anwältinnen untereinander. Jedoch steht die Telekommunikation ganz allgemein unter rechtlichem Schutz durch das Telekommunikationsgeheimnis. Selbst wer sie abhören könnte, darf dies nicht und wird andernfalls verfolgt und bestraft.

Ein wirksamer rechtlicher Schutz macht kann technische Maßnahmen überflüssig machen. Umgekehrt sind individuelle Schutzmaßnahmen dort nötig, wo keine Hilfe zu erwarten ist. Im Alltag verstehen wir das auch und verzichten zum Beispiel meist darauf, unsere leicht verwundbaren Körper besonders gegen Angriffe zu schützen. Wir wissen, dass die Wahrscheinlichkeit eines körperlichen Angriffs gering ist, denn dafür sorgen Polizei und Justiz. Anders verhalten sich etwa Menschen in Kriegsgebieten, die mit solchem Schutz nicht rechnen können.Im Spektrum zwischen diesen Extremen gibt es Mischlösungen, deren Schwerpunkt auf der einen oder anderen Seite liegt. Das Ziel ist letztlich ein akzeptables Restrisiko, ganz gleich mit welchen Mitteln es erreicht wird.

Die Motivation für technische IT-Sicherheit entspringt der eingeschränkten Möglichkeit zur Strafverfolgung im Netz. Zwar gelten Gesetze auch online, doch können sich Täter leichter verstecken und selbst bekannte Täter entgehen der Verfolgung, wenn sie im Ausland sitzen. Ganz ohne Sicherheitstechnik wird ein Anwaltspostfach also nicht auskommen. Allerdings muss man sich sowohl den Schutzbedarf als auch die Sicherheitsstrategie genauer anschauen.

Interessanterweise haben Juristen in dieser Hinsicht realistischere Vorstellungen als Hacker, die perfekte Sicherheit fordern. Juristen gehen ganz selbstverständlich davon aus, dass man Sicherheitsanforderungen nicht überspitzen darf. Das Schutzniveau soll dem alternativer Kommunikationsmittel wie Telefax und Briefpost entsprechen. Auf ein theoretisches Ideal kommt es nicht an. Aus rechtlicher Sicht interessant sind dann rechtliche Implikationen, die sich beispielsweise aus der zeitversetzten Kommunikation ergeben.

Ende-zu-Ende-Verschlüsselung erfüllt keine reale Sicherheitsanforderung, sondern sie strebt ein technisch motiviertes theoretisches Ideal an. Wie ich im vorigen Beitrag erläutert habe, ist dieses theoretische Ideal im realen System kaum zu erreichen. Das ist jedoch kein Problem, da sich die realen Sicherheitsanforderungen am Sicherheitsniveau realer Kommunikationsmittel wie Post, Fax und Telefon orientieren.

✹✹✹

Den Lösungsraum verengt die Forderung nach Ende-zu-Ende-Sicherheit auf scheinbar ideale kryptografische Ansätze. Diese Ansätze sind jedoch nicht nur nicht sinnvoll, wenn man – im Gegensatz zur Gesundheits-Telematik – in endlicher Zeit ein funktionsfähiges System bauen möchte. Es gibt auch Alternativen und Aspekte, von denen die Fokussierung auf das theoretische Ideal ablenkt.

Die Befürworter der kryptografischen Ende-zu-Ende-Sicherheit kritisieren die Umschlüsselung von Nachrichten in einem Hardware-Sicherheitsmodul (HSM). Bei der Umschlüsselung wird eine Nachricht ent- und mit einem anderen Schlüssel verschlüsselt. Auf diese Weise lassen sich die Zugriffsrechte auf der Empfängerseite von der ursprünglichen Verschlüsselung auf der Absenderseite entkoppeln. So kann man Beispielsweise Vertretern Zugriff auf Nachrichten geben, die bereits vor Beginn der Vertretung vom Absender verschlüsselt wurden.

Dies schaffe einen Single Point of Failure, der das ganze System „extrem verwundbar“ mache, argumentieren die Kritiker. Das ist insofern richtig, als ein erfolgreicher Angriff auf die entsprechende Systemkomponente, ein Hardware-Sicherheitsmodul (HSM), tatsächlich sämtliche Kommunikation beträfe. Solche Angriffspunkte gäbe es freilich auch bei einer Ende-zu-Ende-Lösung noch. Alle Kommunikation ausspähen könnte beispielsweise, wer den beA-Nutzerinnen eine manipulierte Version der Software unterjubelt oder wer in die Produktion der zur Nutzung erforderlichen Smartcards eingreift.

Die damit verbundenen Restrisiken nehmen wir jedoch notgedrungen in Kauf und ergreifen Maßnahmen, um sie zu klein zu halten. So wird man beispielsweise die Smartcard-Produktion durch Zugangskontrollen und Überwachung so gut wie eben praktikabel vor unbefugten Eingriffen schützen. Nichts spricht grundsätzlich dagegen, dies auch für die Umschlüsselung zu tun – deswegen unter anderem das Sicherheitsmodul. Die Fokussierung auf das vermeintliche Allheilmittel Ende-zu-Ende-Verschlüsselung verstellt jedoch den Blick auf solche Maßnahmen, die zum Risikomanagement beitragen.

Falls wir in einem Single Point of Failure ein grundsätzliches Problem sähen und die damit verbundenen Risiken für nicht beherrschbar hielten, müssten wir jedoch nach ganz anderen Wegen Ausschau halten. Wir müssten dann nämlich nach einer organisatorischen und technischen Architektur suchen, welche die Auswirkungen eines einzelnen erfolgreichen Angriffs auf einen Teil des Systems, der Nutzer und der Inhalte begrenzt und verlässlich dafür sorgt, dass der Aufwand für erfolgreiche Angriffe proportional zu ihren Auswirkungen wächst.

Solche Ansätze hätten erst einmal überhaupt nichts mit Kryptografie zu tun, sondern mit Organisationsprinzipien. Man könnte beispielsweise ein Ökosystem verschiedener unabhängiger Lösungen und Anbieter schaffen und die Haftung angemessen regeln.  Angriffe auf einen Anbieter beträfen dann nur dessen Nutzer. Mit DE-Mail gibt es sogar bereits ein solches Ökosystem, welches weitgehend brachliegt und sich nach Anwendungen sehnt.

Auf solche Fragen und Ansätze – deren Nutzen und Notwendigkeit allerdings erst nach einer gründlichen Bedrohungs- und Risikoanalyse klar wird – kommt man gar nicht erst, wenn man eine Abkürzung nimmt und blind die Anwendung bestimmter technischer Entwurfsmuster fordert.

Mit Sicherheit ins Desaster

Als wäre das Desaster um das besondere elektronische Anwaltspostfach (beA) nicht schon schlimm genug, kommen nun auch noch Aktivisten aus ihren Löchern und fordern eine „echte Ende-zu-Ende-Verschlüsselung“.

Kann diesen Cypherpunks mal jemand das Handwerk legen? Eine „echte Ende-zu-Ende-Verschlüsselung“ ist für ein beA technisch eben nicht möglich, sondern als Anforderung das Rezept für ein Desaster.

Unter Laborbedingungen lässt sich gewiss ohne große Schwierigkeiten eine Public-Key-Infrastruktur (PKI) aufbauen und auf beliebig viele Teilnehmer skalieren, so dass jeder mit jedem verschlüsselt kommunizieren kann. So eine Labor-PKI löst aber nur das halbe Problem – und macht es schwer, die andere Hälfte zu lösen, die unter den idealisierten Bedingungen der Laborumgebung keine Rolle spielt.

Drei Teilprobleme, mit denen eine Lösung für die Anwaltskommunikation zurechtkommen muss, sind (1) komplizierte Zugriffsrechte, (2) der Konflikt zwischen Vertraulichkeit und Verfügbarkeit sowie (3) Veränderungen im Zeitverlauf.

  1. Komplizierte Zugriffsrechte
    Anwaltskommunikation ist nicht einfach Kommunikation von Person zu Person. Anwälte haben Gehilfen für administrative Tätigkeiten, die beispielsweise Post holen und verschicken. Diese Gehilfen brauchen ausreichende Zugriffsrechte, um ihre Arbeit zu verrichten, aber sie haben keine Prokura. Anwälte haben außerdem Vertreter für Urlaub, Krankheit usw., die von der Anwältin oder der Rechtsanwaltskammer bestellt werden. Alleine der Versuch, § 53 BRAO in eine PKI und eine Ende-zu-Ende-Verschlüsselung zu übersetzen, dürfte Entwicklern einiges Kopfzerbrechen bereiten.
  2. Vertraulichkeit vs. Verfügbarkeit
    Vertraulichkeit der Anwaltskommunikation ist wichtig, aber zweitrangig. Wichtiger ist die Verfügbarkeit. Fragen des Zugangs von Erklärungen und der Einhaltung von Fristen können einen Rechtsstreit unabhängig davon entscheiden, wer in der Sache eigentlich Recht hätte. Vor allem anderen werden Anwältinnen Wert darauf legen, dass sie unter allen Umständen verlässlich kommunizieren können. Demgegenüber genügt hinsichtlich der Vertraulichkeit oft das Schutzniveau „Telefon“.
  3. Zeitliche Dynamik
    Ein reales System zur Anwaltskommunikation muss nicht zu einem Zeitpunkt funktionieren, sondern über einen langen Zeitraum, währenddessen sich die Welt ändert. Das betrifft neben den offensichtlichen Aspekten – Hinzukommen und Ausscheiden von Nutzern in den verschiedenen Rollen, veränderte Vertretungsregelungen usw. – auch die Technik, zum Beispiel den Schlüsseltausch. Damit muss ein beA unter Berücksichtigung von (1) und (2) zurechtkommen. Darüber hinaus können sich auch gesetzliche Regelungen jederzeit ändern.

Wir brauchen deshalb keine Ende-zu-Ende-Sicherheit, sondern im Gegenteil endlich die Einsicht, dass Sicherheit:

  • sekundär ist und der Funktion nicht vorausgeht, sondern folgt,
  • keine theoretischen Ideale verfolgen, sondern reale Risiken reduzieren soll,
  • nicht durch formale Garantien und einzelne Wunderwaffen entsteht, sondern aus der Kombination verschiedener partieller Maßnahmen resultiert,
  • nicht perfekt sein muss, sondern nur gut genug.

Die Vorstellung, man könne konkurrenzfähige Anwendungen um starke Kryptographie herum konstruieren, ist vielfach gescheitert und diskreditiert. Als um die Jahrtausendwende der Online-Handel wuchs, entwickelte man kryptografische Bezahlverfahren von eCash bis SET – den Markt gewannen jedoch Lastschrift, Kreditkarte, Nachnahme und Rechnung. Das Online-Banking wollte man einst mit HBCI / FinTS sicher machen – heute banken wir im Browser oder auf dem Händi und autorisieren Transaktionen mit TANs und Apps. Das vor gut zwanzig Jahren entstandene Signaturgesetz ist in seiner ursprünglichen Form Geschichte und elektronische Signaturen haben sich bis heute nicht auf breiter Front durchgesetzt.

Wer dennoch weiter an die heile Scheinwelt der Ende-zu-Ende-Sicherheit glauben möchte, der möge sich seine Lösungen von den Experten der Gematik entwickeln lassen. Die kennen sich damit aus und sobald ihr Flughafen ihre Telematikinfrastruktur läuft, haben sie sicher Zeit für neue Projekte.

Was Drohnen wirklich tun

Pessimisten denken angesichts des technischen Fortschritts zuerst an  Schwärme autonomer Killerdrohnen, Optimisten lieber an Retterdrohnen, die in Notsituationen zum Beispiel Schwimmhilfen abwerfen:

Unabhängig davon wette ich gegen jeden vorausgesagten Weltuntergang, schon aus statistischen und spieltheoretischen Gründen. Weltuntergänge kommen statistisch sehr selten vor und falls doch mal einer eintritt, bleibt trotz korrekter Vorhersage der Wettgewinn aus.

Überschätzte Risiken: Skynet und Killerdrohnen

Die künstliche Intelligenz hat in den letzten Jahren rasante Fortschritte gemacht. Dahinter steckt eine Mischung aus weiter wachsenden Rechenkapazitäten, verbesserten Verfahren sowie immer mehr verfügbaren Daten, mit denen sich lernende Systeme trainieren lassen. Parallel dazu entstand das Internet der Dinge beziehungsweise das Internet of Everything – vernetzt sind nicht mehr nur klassische Computer, sondern tendenziell alles, was Energie verbraucht. Kombinieren wir beide Trends, so erhalten wir intelligente autonome Roboter – Staubsauger, Autos, Fluggeräte und so weiter.

Wo sich technischer Fortschritt zeigt, sind die Mahner nicht weit. Eine KI würde den Menschen eines Tages überflügeln und sodann auslöschen, fürchten sie, und autonome Roboter könnten uns als automatische Todesschwadronen begegnen:

Nicht alle überzeugt dieses Szenario, doch die Autoren des Films halten daran fest.

Was fällt daran auf?

  1. Das Szenario spielt mit Vorstellungen aus dem Hollywood-Kino vom Angriff der Killer* (-bienen, -tomaten, usw.) bis zu Skynet. So weit ist die KI jedoch gar nicht.
  2. Eine plausible Risikobetrachtung fehlt und vielleicht muss sie das auch, weil wir es mit epistemischen Risiken zu tun haben.
  3. Die Technik wird einseitig als Waffe in der Hand eines Gegners dargestellt. Zu welchen Szenarien kämen wir, machten wir uns diese Technik zunutze? Was, wenn die Killerdrohnenschwärme für uns auf Terroristenjagd gingen oder gar Kernwaffen unschädlich machten?
  4. Strategische und taktische Diskussionen fehlen. Für wen ergäbe so einen Drohnenschwarmangriff einen Sinn? Wie würde man sich dagegen verteidigen? Ergäbe der Angriff dann immer noch einen Sinn?
  5. Die Baseline, der Bezugsrahmen bleibt unklar. Reden wir über eine neue Form von Krieg, oder reden wir über Terror im zivilen Leben? Was genau verändern die neuen Mittel?

Das Video ist gut gemacht, aber nicht so richtig ausgegoren. Es appelliert an die Emotion, nicht an den Verstand. Diesem Appell nachzugeben, ist mir zu riskant.

P.S. (2018-02-19): Im Mittelpunkt unserer echten militärstrategischen Probleme steht weiter die gute alte Atomrakete.

P.S. (2018-04-25): Interessant wird die Sache, wenn wir über KI und Kernwaffen nachdenken und über die Logik der Abschreckung und über die Reaktionszeiten im hypothetischen Fall eines Angriffs.

Ethik schlägt KI

#DilemmaOfTheDay: Ein von Algorithmen mit künstlicher Intelligenz gesteuertes autonomes System bedroht Menschenleben. Sie können es geschehen lassen, dann sterben Menschen, oder sie können einen Hebel umlegen und die KI vernichten. Was sollen Sie tun?

Wenn Sie diese Frage seltsam finden, haben Sie völlig Recht – mehr dazu später.

Als der Öffentlichkeit vor einiger Zeit dämmerte, dass auf unseren Straßen bald autonome Fahrzeuge unterwegs sein würden, verbreitete sich rasend schnell das Mem des Trolley-Problems. Einer konstruierte ein scheinbares Dilemma: wie sich denn „der Algorithmus“ entscheiden solle, käme ein automatisches Automobil in die Situation, einen Unfall nicht mehr vermeiden und nur noch zwischen verschiedenen Opfern wählen zu können. Und alle, alle schrieben es ab. Von Ethik hatten sie schon einmal in der Schule gehört und vielleicht später erneut bei Michael Sandel, Ethik schien irgendwie wichtig und diese Technik verstünden doch ohnehin nur Nerds im Karohemd, denen man jetzt mal auf die Finger schauen müsse, bevor sie wieder Chemie, Atom, Gene oder Cloud Computing erfänden.

Das Trolley-Problem ist ein Gedankenexperiment aus der Philosophie. In konstruierten Szenarien wendet man postulierte Handlungsleitlinien auf eine hypothetische Entscheidungssituation an oder versucht, intuitive Präferenzen rational zu begründen. Dabei versteht man besser, von welchen Annahmen diese Leitlinien ausgehen, zu welchen Ergebnissen sie unter welchen Bedingungen führen und welche Fragen sie unbeantwortet lassen. Würden Sie jemanden vor eine Straßenbahn stoßen, wenn Sie damit fünf andere retten könnten? Warum oder warum nicht? Und wenn es sich um ein kleines süßes Baby handelt oder um Hitler persönlich?

Was in der Philosophie interessante Einsichten verspricht, ist in der Diskussion über das autonome Fahren deplaziert, denn das Dilemma aus dem Gedankenexperiment überlebt den Weg in die Realität einer Unfallsituation nicht. Wer es dennoch für eine solche diskutiert, ignoriert gekonnt verletzte Annahmen und ordnet das reale Problem dem künstlichen unter.

Ein Unfall ist ein plötzliches, unvorhergesehenes Ereignis, das sich bei Erkennen der konkreten Gefahr nicht mehr zuverlässig abwehren lässt. Es kommt nicht zum Unfall, wenn etwa ein Hindernis rechtzeitig erkannt wird und Fahrer oder Steuerung in aller Ruhe abbremsen und anhalten. Zum Unfall kommt es, wenn überraschend eine Situation eintritt, welche die Reaktionsmöglichkeiten so weit beschneidet, dass es keinen kontrollierten Ausweg mehr gibt.

Für Entscheidungen nach Luxuskriterien wie der Art und Anzahl möglicher Opfer bleibt in so einer Situation in aller Regel kein Raum mehr, für menschliche Fahrer sowieso nicht, aber auch nicht für Computer. Bestenfalls kann man noch instinktiv oder heuristisch handeln und mit einer Portion Glück in einen glimpflichen Ausgang segeln. Gelingt dies Menschen, feiern wir sie als Helden, wie zum Beispiel die Piloten von US-Airways-Flug 1549 nach ihrer Notlandung im Hudson River. Gelingt es ihnen nicht, bedauern wir sie als tragische Gestalten – oder weisen ihnen Schuld zu, hätten sie das Eintreten der Unfallsituation ohne besondere Kräfte vermeiden können.

Ersetzen wir Menschen durch Algorithmen, so kommen wir in keine grundlegend neue Lage. Die praktische Unfallvermeidung, das praktische Risikomanagement erfolgt vor Eintreten des Trolley-Dilemmas. Deshalb führt das Trolley-Problem in die Irre und wir sind besser bedient, wenn wir uns auf eben dieses Risikomanagement konzentrieren. Ob unsere Bemühungen ausgewogen sind, mag man diskutieren – allerdings auch schon für herkömmliche Autos, deren Hersteller vor allem den Insassenschutz optimieren, weil diese m Gegensatz zum Beispiel zu Fußgängern und Radfahrern in der Umgebung dafür zahlen. Seine Medienkarriere verdankt das Dilemma-Mem ohnehin nur der Tatsache, dass man es ohne nachzudenken leicht nachplappern und sich dabei für sehr intellektuell halten kann.

Zurück zum eigentlichen Thema. Über Ethik wird zunehmend im Zusammenhang mit künstlicher Intelligenz diskutiert; das autonome Fahren ist ein entgleister Spezialfall. Diesen Diskussionen liegt die Ahnung zugrunde, künstliche Intelligenz könne zu fundamentalen Umwälzungen in Technologie und Gesellschaft führen und den Menschen gar eines Tages intellektuell übertreffen, nicht nur in Spielen wie Schach oder Go. Der Phantasie sind naturgemäß keine Grenzen gesetzt und so reichen die eher popkulturell denn wissenschaftlich geprägten Vorstellungen bis zum allmächtigen Skynet. Der Diskussion ist schwer auszuweichen, denn dazu müsste man entweder vage Zukunftsvisionen falsifizieren oder sich der Ethik verweigern und beides ist rhetorisch schwierig.

Doch die ethischen Fragen könnten sich unabhängig von der technischen Entwicklung – wie weit die KI wirklich kommt, ist noch nicht geklärt – als weniger drängend erweisen. Die KI hat ethisch gesehen nämlich einen grundlegenden Nachteil: sie ist kein Mensch. Das macht es viel einfacher, ihr Verhalten zu überwachen und zu steuern, als das bei Menschen, Gruppen und Gesellschaften der Fall ist.

Menschen können allerlei Unheil anrichten und wer sie daran hindern möchte, muss ihnen vielleicht Gewalt antun. Konkrete Ausflüsse abstrakter ethischer Betrachtungen dazu finden wir in Form von Bürgerrechten und Güterabwägungen in Verfassungen, Strafgesetzen, Urteilsbegründungen und politischen Debatten. Komplizierte Fragen stellen sich dort, weil wir es sowohl auf Seiten der Täter oder Verursacher wie auch bei den Opfern und Betroffenen mit Menschen zu tun haben und wir auch dem unanständigsten Verbrecher noch eine Menschenwürde und Menschenrechte zugestehen.

Viele diese Fragen sind jedoch einfach zu beantworten, wenn auf der Täter- beziehungsweise Verursacherseite kein Mensch steht, sondern eine Maschine. Dann führt beispielsweise Notwehr nicht mehr zu Personen-, sondern nur noch zu Sachschaden und alle Abwägungen werden einfacher. Eine Maschine kann man abschalten, beschädigen, zerstören oder ihrer Betriebsmittel berauben, ohne groß über Ethik nachdenken zu müssen.

Mittelbar kann es dann doch wieder kompliziert werden, wenn Nebenwirkungen eintreten und andere Menschen betreffen. Ein medizinisches Gerät zum Beispiel, von dem die Gesundheit anderer abhängt, darf man vielleicht doch nicht einfach kaputtschlagen. Aber eine KI an sich oder eine von ihr gesteuerte Maschine hat erst einmal keine eigenen Rechte. Damit ist sie dem Menschen ethisch gesehen nachgeordnet. Die verbleibenden Probleme sind die alten zwischen den beteiligten Menschen.

Application Layer Snake Oil

TL;DR: The author thinks Snowden’s home security app, Haven, is snake oil regardless of the algorithms it uses. Operational security is at least as hard as cryptography and no app is going to provide it for you.

Bogus cryptography is often being referred to as snake oil—a remedy designed by charlatans to the sole end of selling it to the gullible. Discussions of snake oil traditionally focused on cryptography as such and technical aspects like the choice of algorithms, the competence of their designers and implementers, or the degree of scrutiny a design and its implementation received. As a rule of thumb, a set of algorithms and protocols is widely accepted as probably secure according to current public knowledge, and any poorly motivated deviation from this mainstream raises eyebrows.

However, reasonable choices of encryption algorithms and crypto protocols alone does not guarantee security. The overall application in which they serve as building blocks needs to make sense as well in the light of the threat models this application purports to address. Snake oil is easy to mask at this level. While most low-level snake oil can be spotted by a few simple patterns, the application layer calls for a discussion of security requirements.

Enter Haven, the personal security app released by Freedom of the Press Foundation and Guardian Project and associated in public relations with Edward Snowden. Haven turns a smartphone into a remote sensor that alerts its user over confidential channels about activity in its surroundings. The intended use case is apparently to put the app on a cheap phone and leave this phone wherever one feels surveillance is need; the user’s primary phone will then receive alerts and recordings of sensed activity.

Haven is being touted as “a way to protect their [its users] personal spaces and possessions without compromising their own privacy.” The app allegedly protects its users against “the secret police making people disappear” and against evil maid attacks targeting their devices in their absence. To this end, Haven surveils its surroundings through the smartphone’s sensors for noise, movement, etc. When it detects any activity, the app records information such as photos through the built-in camera and transmits this information confidentially over channels like the Signal messenger and Tor.

Alas, these functions together create a mere securitoy that remains rather ineffective in real applications. The threat model is about the most challenging one can think of short of an alien invasion. A secret police that can make people disappear and get away with it is close to almighty. They will not go through court proceedings to decide who to attack and they will surely not be afraid of journalists reporting on them. Where a secret police makes people disappear there will be no public forum for anyone to report on their atrocities. Just imagine using Haven in North Korea—what would you hope to do, inside the country, after obtaining photos of their secret police?

Besides strongly discouraging your dissemination of any recordings, a secret police can also evade detection through Haven. They might, for example, jam wireless signals before entering your home or hotel room so that your phone has no chance of transmitting messages to you until they have dealt with it. Or they might simply construct a plausible pretense, such as a fire alarm going off and agents-dressed-as-firefighters checking the place. Even if they fail to convince you, you will not be able to react in any meaningful way to the alerts you receive. Even if you were close enough to do anything at all, you would not physically attack agents of a secret police that makes people disappear, would you?

What Haven is trying to sell is the illusion of control where the power differential is clearly in favor of the opponent. Haven sells this illusion to well pampered westerners and exploits their lack of experience with repression. To fall for Haven you have to believe the  premise that repression means a secret police in an otherwise unchanged setting. This premise is false: A secret police making people disappear exists inevitably in a context that limits your access to institutions like courts or media or the amount of support you can expect from them. Secret communication as supported by Haven does not even try to address this problem.

While almost everyone understands the problems with low-level snake oil and how to detect and avoid it, securitoys and application layer snake oil continue to fool (some) journalists and activists. Here are a few warning signs:

  1. Security is the only or primary function of a new product or service. Nothing interesting remains if you remove it.
  2. The product or service is being advertised as a tool to evade repression by states.
  3. The threat model and the security goals are not clearly defined and there is no sound argument relating the threat model, security goals, and security design.
  4. Confidentiality or privacy are being over-emphasized and encryption is the core security function. Advertising includes references to “secure” services like Tor or Signal.
  5. The product or service purports to solve problems of operational security with technology.

When somebody shows you a security tool or approach, take the time to ponder how contact with the enemy would end.

Verbraucherschutz ist auch nur Populismus

Der Deutschlandfunk nahm die Pleiten von Air Berlin und Monarch Airlines zum Anlass, mit Klaus Müller, Vorstand des Verbraucherzentrale Bundesverbands (vzbv), über verfallende Flugtickets zu sprechen. Er fordert eine Pflicht zur Insolvenzversicherung, wie sie seit Jahren für Pauschalreisen gilt, und begründet seine Forderung so:

»Weil hier die Politik und auch die Flugbranche seit Jahren ihre Hausaufgaben nicht gemacht haben. Weil wir nicht wie bei Pauschalreisen zum Beispiel eine Insolvenzversicherung haben. Sprich: Der Kunde, der früh die Tickets schon bezahlt hat, bevor er eine Leistung bekommen hat, ist zurzeit der Depp. Er steht da ohne eine Leistung und verliert sein Geld, seine Urlaubsfreude. Das ist einfach nicht in Ordnung. Das ist Politik- und Marktversagen.«

(DLF: Fluglinien-Pleiten und Verbraucher – Airlines sollten Insolvenzversicherung anbieten)

Das ist populistische Kackscheiße. Versicherungen sind sinnvoll gegen existenzbedrohende Risiken, die sie auf ein Kollektiv umlegen. Deswegen sollte jeder ein Haftpflichtversicherung haben, Hausrat muss man abwägen und Händi-, Fahrrad- oder Reiserücktrittsversicherungen sind sinnlos.

Schäden, für die man anderen ersatzpflichtig ist, kann man leicht versehentlich verursachen, und wenn etwa Menschen verletzt werden oder Gebäude niederbrennen, wird es teuer. Das ist ein klarer Fall für eine Versicherung, die für besonders riskante Fälle wie den Betrieb von Kraftfahrzeugen sogar vorgeschrieben ist. Ebenfalls unverzichtbar ist eine Krankenversicherung, denn Krankheitskosten können schnell das Vermögen übersteigen und sparen lässt sich daran schlecht.

Eine Hausratversicherung ist schon nicht mehr so eindeutig nötig. Wer zu Hause keine Wertsachen hortet und ausreichende liquide Reserven hat, kann selbst dem Totalverlust seines Hausrats, etwa durch einen Brand,  vergleichsweise gelassen entgegensehen. Natürlich wäre so etwas ärgerlich, aber eben doch zu verschmerzen. Für andere mag eine Versicherung attraktiv sein, weil sie weniger Reserven haben oder ihr Hausrat einen höheren Wert.

Komplett unnütz sind Kleinkramversicherungen gegen ärgerliche, aber überschaubare Schäden: Händiverlust, Fahrraddiebstahl, Hochzeitsrücktritt und so weiter. Solche nach oben begrenzten Risiken kann man selbst tragen und man kommt im Mittel auch nicht günstiger davon, wenn man sie versichert. Diese unnützen Versicherungen versprechen den Versicherern jedoch ein gutes Geschäft und man bekommt sie allerorten aufgeschwatzt.

Vor schlechten Geschäften, mit denen uns Versicherer bei ungenügender Gegenleistung Geld aus der Tasche ziehen, sollten uns Verbraucherschützer wie Klaus Müller eigentlich warnen und manchmal tun sie das auch. Die Forderung nach einer Zwangsversicherung einzelner Risiken passt dazu nicht und die vorgebrachten Argumente sind so fadenscheinig, dass man sie leicht gegen die Forderung wenden kann:

»Ich finde, 100.000 Einzelfälle sind schon eine ganze Menge.«

(ebd.)

Das sind sie in der Tat – aber eben auch dann, wenn man ihnen für jeden Flug ein paar Euro extra aus der Tasche zieht, ob sie wollen oder nicht. Politik- und Marktversagen wäre es, mich zum Kauf einer Leistung zu nötigen, die ich nicht will und die auch keinen berechtigten Interessen meiner Mitmenschen dient.

Verdient „cyber“ so viel Aufmerksamkeit?

Millionen Euro
Schäden durch Cybercrime (2016) 51
Jahresetat des BSI (2016) 89
Schäden durch Fahrraddienbstahl (2014) 100
Jahresetat des BSI (2017) 107
Schaden durch NotPetya bei Maersk 170…256
Schaden durch organisierte Kriminalität (2016) >1.000
Schäden durch Ladendiebstahl 2.000
Schäden durch Wirtschaftskriminalität (2011) 4.100
Rundfunkgebühren (2015) 8.131
Verkehrsinfrastrukturinvestitionen (2016) 12.296
Schaden aus Cum-Ex- und Cum-Cum-Betrug (kumuliert) 31.800
Verteidigungshaushalt (2017, inkl. CIR) 37.005
Bürokratiekosten der Wirtschaft pro Jahr 45.140
Unbelegte Cyberschadensdrohung von Bitkom und Verfassungsschutz 50.000
Googles weltweiter Umsatz (2016) 79.450
(89.460 $)
Jährlicher Umsatzverlust durch schlechte Führungskräfte 105.000
Umsatz im Lebensmitteleinzelhandel (2016) 176.000
Bundeshaushalt (2017) 329.100
Bruttoinlandsprodukt (2016) 3.124.364
(3.466.639 $)

Cyberzeilen sind fett markiert. Zu jeder Zahl ist die Quelle verlinkt. Ich aktualisiere die Tabelle ab und zu mit weiteren Angaben.

Re: Offener Brief zu DNA-Analysen in der Forensik

Mahnungen vor dräuenden Gefahren verkaufen sich immer, sind doch vorhergesagte Probleme nie auszuschließen, ohne dass man ein Risiko eingeht und etwas ausprobiert. So lässt sich beliebig lange spekulieren, was alles passieren könnte, wenn man täte, was man wegen der Risiken besser bleiben ließe. Als neuester Gegenstand solcher „kritischen“ Betrachtungen bietet sich die Forderung nach einer Ausweitung der zulässigen DNA-Analysen in der Polizeiarbeit an. Folgerichtig haben Sozialwissenschaftler einen Offenen Brief zu DNA-Analysen in der Forensik verfasst der zur Vorsicht mahnt und seine Autorinnen als unverzichtbare Expertinnen anbietet. Der Tenor: Erweiterte DNA-Analysen seien viel zu kompliziert als dass man einfache Polizisten unbegleitet mit ihren Ergebnissen arbeiten lassen dürfe. Am Ende steht wenig mehr als die Schlussfolgerung, dass es zu Fehlern kommen könne. Dies jedoch ist eine banale Aussage: Fehler sind in der Polizeiarbeit Alltag und das System aus Gesetzgebung, Polizei und Justiz kann damit gut umgehen. Selbstverständlich muss man die Auswirkungen neuer Methoden betrachten, aber zur Panik gibt es keinen Anlass. Unser Rechtsstaat irrt sich recht zuverlässig zugunsten der Verdächtigen und die Forensiker wissen selbst ganz gut, wo die Grenzen der verschiedenen Analyseverfahren liegen. Unschätzbare Risiken können wir jeder Technik unterstellen, das hilft nur niemandem.

 

Manipulativ gefragt

»Fürchten Sie, dass es in nächster Zeit in Deutschland terroristische Anschläge geben wird oder fürchten Sie dies nicht?« Diese Frage (via) ist unmöglich sauber zu beantworten, denn es handelt sich in Wirklichkeit um zwei Fragen:

  1. Erwarten Sie, dass es in nächster Zeit in Deutschland terroristische Anschläge geben wird?
  2. Fürchten Sie sich davor?

Ich erwarte, dass es in nächster Zeit in Deutschland terroristische Anschläge geben wird, wies es sie seit der Erfindung des Terrorismus immer wieder gegeben hat. Der letzte, von dem ich gehört habe, liegt gerade zwei Tage zurück.

Zu fürchten gibt es dennoch wenig. Wir leben in einem funktionierenden Staat, der Bedrohungen für Leib und Leben gering hält. Um gewaltsam aus dem Leben zu scheiden, muss man schon ordentlich Pech haben.

Die Fragestellung macht es allzu leicht, nüchterne Antworten auf die erste Frage einzusammeln und sie später zu aufgeregten Antworten auf die zweite umzudeuten. Aber auch den Expertinnen und Experten bei infratest dimap kann ja mal ein Fehler unterlaufen, nicht wahr?