Archiv der Kategorie: Safety

Crew Resource Management

In this talk, Nickolas Means tells the story of United Airlines Flight 232, which on July 19, 1989 crash-landed in Sioux City after suffering a mid-air engine explosion and consequent loss of hydraulics. Although the crash killed more than a third of the passengers and crew, the fact that the aircraft made it to the airport at all and more than half of the occupants survived is widely attributed to extremely good airmanship and collaboration in the cockpit. Airlines teach their pilots how to work and cooperate effectively under stress and United 232 continues to be cited as a success story for this type of training.

Schnapsidee: Falschfahrerwarnung als Werbegag in der Radio-App

Der Radiosender Antenne Bayern hat sich von Bosch einen Werbegag für seine App bauen lassen und mir stehen die Haare zu Berge. Es handelt sich um eine neue Funktion in der App des Senders, eine Falschfahrerwarnung. Das noble Ziel: „Keine Verkehrstoten mehr durch Falschfahrer“, doch der Weg erscheint fragwürdig.

Die Warnfunktion besteht offenbar aus zwei Teilen. Der eine erkennt Falschfahrten daran, dass sich eine aktive Instanz der App in der falschen Richtung durch eine Autobahnauffahrt bewegt, und meldet dieses Ereignis an einen Clouddienst. Der andere empfängt Warnmeldungen und gibt sie aus. Nach eigenen Angaben hat man dabei auch an den Datenschutz gedacht. Technisch ist das so weit plausibel und den Datenschutz glaube ich einfach mal ohne Prüfung. Wenig Sinn ergibt jedoch das Konzept insgesamt, wenn als übliche Anforderungen an einen Sicherheitsmechanismus erstens Verlässlichkeit verlangt und zweitens die Anpassung der Technik an den Menschen.

Die Verlässlichkeit scheitert daran, dass sie Warnfunktion in einer Radio-App steckt. Erkannt werden nur Falschfahrer, welche die App benutzen und die Funktion aktiviert haben, gewarnt ebenso nur Nutzer der App mit aktivierter Warnfunktion. Laut den Mediadaten für Antenne Bayern hat die App im Monat knapp 300.000 „Unique User“. Das entspricht etwa der Einwohnerzahl von Bayerns drittgrößter Stadt Augsburg oder weniger als 2,5% der bayerischen Bevölkerung. Gehört ein Geisterfahrer nicht zu dieser Minderheit, warnt auch niemand vor ihm. Nach Angaben von Bosch steckt die Funktion noch in einigen anderen Apps, aber das ändert nichts am grundlegenden Problem, dass Entertainment-Apps kein guter Träger für Sicherheitsfunktionen sind.

Selbst wenn die Warnfunktion auf jedem bayerischen Mobiltelefon aktiv wäre, übersähe sie immer noch ausgerechnet ortsunkundige Auswärtige sowie jeden, der das Telefon zu Hause ließe, dessen Akkuladung zur Neige ginge oder der im Funkloch geisterführe. Umgekehrt hätten Bayern auswärts wenig von der Warnfunktion, nähmen sie per App zwar ihren Lieblingssender mit, begegneten jedoch in der Fremde falschfahrenden Saupreißn ohne App. Man müsste schon gewaltiges Glück in einem nicht sehr wahrscheinlichen Unglück haben, um aus der App überhaupt jemals eine gerechtfertigte und spezifische Warnung zu erhalten.

Nicht verlässlich scheint die App auch im Hinblick auf die Abdeckung relevanter Gefahrensituationen. Geisterfahrer im engeren Sinne können überall auftreten und zur Gefahr werden, wo Straßen getrennte Richtungsfahrbahnen haben und hohe Geschwindigkeiten gefahren werden. Laut Beschreibung erfasst die App nur Autobahnen und lässt damit Bundesstraßen und andere autobahnähnliche Schnellstraßen unberücksichtigt. Darüber hinaus würde mich interessieren, wie das System mit ausgedehnten und unkonventionellen Falschfahrten umgeht. Bei mir vor der Haustür schaffte ein betrunkener Lkw-Fahrer vor einem Jahr eine Geisterfahrt von einem Rastplatz über 21 Kilometer und ein Autobahnkreuz, bevor er gestoppt wurde. Wer nur Auffahrten überwacht, müsste sehr großflächig vor der Gefahr warnen, um alle Betroffenen erreichen zu können.

Unklar bleibt aus der kurzen Erläuterung, wie hoch das Risiko von Fehlwarnungen ist. Merkt es die App oder die Cloud dahinter, wenn etwa ein Bauarbeiter Antenne Bayern hört und sich bei der Arbeit falsch herum durch eine Autobahnabfahrt bewegt? Oder ein Autofahrer, der eine Panne hat und mit dem Händi in der Tasche ordnungsgemäß das Warndreieck aufstellt? Und wie steht es um Manipulationsmöglichkeiten? Was passiert, wenn jemand mit aktiver App in der falschen Richtung neben der Abfahrt herläuft? Wie ist der Clouddienst gegen das Einspeisen falscher Daten aus anderen Quellen als der echten App geschützt?

Daneben stellen sich bei einer solchen Funktion Fragen der benutzergerechten Gestaltung. Falls die App verlässlich warnen könnte, so müsste sie den betroffenen Fahrern – dem Geisterfahrer sowie jenen, denen er entgegenkommt – eine wirksame Warnung übermitteln. Da Geisterfahrten selten sind, wird es sich in der Regel um die erste Warnung dieser Art handeln, die der Fahrer erhält, und dann bleibt keine Zeit zum Nachdenken.

Unter diesen Umständen kommt eigentlich nur eine akustische Warnung mit einer direkten Handlungsanweisung in Frage. Vorbilder dafür liefert jedes moderne Flugzeugcockpit in unmittelbaren Gefahrensituationen. So warnt das Ground Proximity Warning System (GPWS) vor bevorstehendem Bodenkontakt und das Traffic Alert and Collision Avoidance System (TCAS) vor Zusammenstößen mit anderen Flugzeugen. Beide Systeme sagen den Piloten in knappen Worten, was sie tun sollen, denn für alles andere ist keine Zeit. Im Falle des TCAS wird die Anweisung zudem mit dem anderen Flugzeug koordiniert, so dass die Piloten des einen Flugzeugs zum Steigen und die anderen zum Sinken aufgefordert werden. Piloten werden zudem darauf trainiert, mit diesen Warnungen richtig umzugehen. Demgegenüber lenkt eine App auf dem Händi mit einer ungewohnten Warnung eher ab als dass sie hülfe und auf eine situationsabhängige Ausweichanweisung hoffen Betroffene wohl vergebens.

Im Auto und erst recht in einer Radio-App muss man sich außerdem noch Gedanken darüber machen, wie man wirklich wichtige Informationen aus dem Geplapper der Radiomoderatoren, des Navigationsgeräts oder des E-Mail-und-Kurznachrichtenvorlesers heraushebt. Vielleicht ist der Sprachkanal dann doch keine gute Wahl und es wäre besser, den entgegenkommenden Geisterfahrer im Head-Up-Display mit einem größer werdenden roten Punkt zu markieren.

In der vorliegenden Form ist die Falschfahrerwarnung in der Radio-App nichts weiter als ein Werbegag und daran änderte sich wenig, machten möglichst viele Menschen in Bayern mit, wie es sich der Sender wünscht. Eine sinnvolle Warnfunktion müsste Falschfahrten überall verlässlich, aber ohne Fehlarme und Manipulationsmöglichkeiten erkennen und in Gefahrensituationen verbal spezifische, umsetzbare Anweisungen zur Gefahrenabwehr geben. Dazu müsste sie zwingend in die Fahrzeugelektronik integriert sein – Hersteller Bosch sieht dies anscheinend als Alternative zum Smartphone vor – und zur Detektion von Falschfahrten auf absehbare Zeit zusätzlich auf Sensoren außerhalb der Fahrzeuge zurückgreifen. Wäre man darauf nicht angewiesen, könnte man gleich das Entwurfsziel ändern und überlegen, wie man Falschfahrer rechtzeitig stoppt, statt vor ihnen zu warnen.

Unterschätzte Risiken: gute Ideen

Auf den ersten Blick eine gute Idee: Am Bahnsteig hängt alle paar Meter eine Trittstufe. Wer, aus welchem Grund auch immer, ins Gleisbett geraten ist, kann sich so leichter auf den Bahnsteig retten.

Bahnsteig-Tritt

Just an dieser Stelle kam mir allerdings ein junger Mann entgegen, der ungeniert die Gleise überquerte, weil ihm der Weg über die Fußgängerbrücke wohl zu anstrengend war. Die gute Idee macht es einfacher, direkt über die Gleise zu laufen und vergrößert damit das Bequemlichkeitsgefälle zwischen der sicheren Brücke und der gefährlichen Abkürzung.

Petition: Tempolimit 130 km/h

Kurze Durchsage:

Bis zum 3. April 2019 könnt Ihr eine aktuelle Petition für ein allgemeines Tempolimit von 130 km/h auf den deutschen Autobahnen unterzeichnen. Mehr als 13.000 36.000 40.000 44.000 52.000 59.000 Menschen haben das bis jetzt bereits getan. Die Bundesregierung lehnt ein solches Tempolimit ab, aber vielleicht wollt Ihr Euch ja nicht völlig widerstandslos regieren lassen. Initiiert und eingereicht wurde diese Petition von der Evangelischen Kirche in Mitteldeutschland.

P.S.: Falls Ihr Werbung machen möchtet, Handzettel und Aushänge zum Ausdrucken und Verteilen gibt es hier.

Nur eine Frage der Zeit?

„Es ist nur eine Frage der Zeit, bis etwas passiert“ – diese Vorhersage liegt immer richtig. Irgendwann wird irgend etwas passieren, worin der der jeweilige Gegenstand verwickelt ist, ganz gleich ob es sich um Atombomben oder um Trinkwasser handelt. Kein Wunder also, dass der Plakettenkonzern TÜV mit einer Variante dieses Spruchs versucht,  sich das neue Geschäftsfeld der Sicherheit von Windkraftanlagen zu erschließen. Gewiss wird es irgendwann einmal zu einem Ereignis kommen, bei dem Menschen durch ein unglückliches Zusammentreffen mit einer Windkraftanlage zu Schaden kommen.

Aus der bloßen Möglichkeit folgt jedoch noch lange nicht die Notwendigkeit, etwas dagegen zu tun. Für sinnvollen Schutz muss man Risiken betrachten und nicht nur bloße Möglichkeiten. Der Unterschied: Risikobetrachtungen berücksichtigen die Häufigkeit bzw. Wahrscheinlichkeit von Ereignissen und deren Schadenshöhe. Auf dieser Grundlage lässt sich diskutieren, wie schwer eine Gefahr wiegt und welcher Aufwand für welche Risikoreduktion angemessen erscheint. Die prinzipielle Möglichkeit hingegen bleibt stets erhalten, so dass mit Ausnahme des Totalausstiegs keine Maßnahme je genug ist.

Fielen beispielsweise Jahr für Jahr im Mittel fünf Windräder um und eins davon erschlüge Menschen, so ließe sich diskutieren, ob wir als Gesellschaft dieses Risiko tragen oder ob wir etwas tun, um es zu reduzieren. Könnte man mit einer Plakettenpflicht erreichen, dass nur noch halb so viele Windräder umfielen und entsprechend seltener Menschen zu Schaden kämen, so handelte es sich vielleicht um einen guten Deal. Jedoch erreichen die tatsächlichen Risiken bei weitem nicht jene, die dieses hypothetische Szenario unterstellt. Die Produkte des Plakettenkonzerns bleiben daher an diese Stelle voraussichtlich nutzlos, denn es gibt kaum ein Potenzial zur Risikoreduktion.

Geht es um Windräder, so liegt alles klar auf der Hand. Alltagserfahrung und gesunder Menschenverstand genügen für eine fundierte Einschätzung.

In der Cybersicherheit zeigt sich eine ähnliche Situation: Mahner drängen die Gesellschaft, mehr für die Cybersicherheit zu tun, um zunehmenden Bedrohungen nicht hilflos ausgeliefert zu sein. Die Einschätzung solcher Forderungen fällt jedoch viel schwerer. Auf der einen Seite hat ein wohlgenährter sicherheitsindustrieller Komplex das Interesse, Gefahren möglichst groß erscheinen zu lassen. Auf der anderen Seite kommt es tatsächlich zu spektakulären Angriffen mit beträchtlichen Schäden. Stehen wir vor der Cyberapokalypse oder werden wir wie im vergangenen Vierteljahrhundert auch in Zukunft vor allem die Segnungen des Internets genießen, ohne große Schäden zu erleiden?

In beide Richtungen lässt sich argumentieren, ohne dass man mit Alltagswissen entscheiden könnte, wer Recht hat. Das Internet ist weit komplexer als ein Windrad oder auch ein ganzes Stromnetz.Zu welchen Angriffen es kommt, hängt nicht nur von Sicherheitslücken ab, sondern auch von den Zielen und Interessen der Angreifer, die solche Lücken ausnutzen – oder eben auch nicht. Informationen über Angriffe bleiben häufig im Verborgenen, so dass niemand weiß, was wirklich passiert. Stattdessen nimmt man gerne die argumentative Abkürzung von bekannten oder vermuteten Verwundbarkeiten zu einem Worst-Case-Szenario eines Angriffs, dessen Eintreten „nur eine Frage der Zeit“ sei.

Tatsächliche Ereignisse wie der der NotPetya-Befall beim Konzern Maersk mit geschätzten 300 Millionen Dollar Schaden liefern scheinbar den Beleg: Man tue zu wenig für die Cybersicherheit und wenn der Markt dies nicht von sich aus ändere, müsse man regulierend eingreifen. Unterschlagen wird dabei freilich, dass gerade Konzerne durchaus ernsthaft in Sicherheit investieren – „Big Tech“ sowieso, aber auch zum Beispiel Siemens, wo man die Wirkung des Stuxnet-Schocks an der Zahl der gemeldeten Verwundbarkeiten pro Jahr ablesen kann.

Dass der Markt beim Thema Sicherheit gänzlich versage, kann man angesichts dessen kaum behaupten. Unternehmen können es sich nicht leisten, ihre Sicherheit zu vernachlässigen. Mit wenigen Ausnahmen können sie es sich jedoch auch nicht leisten, mehr als nötig und wirtschaftlich vertretbar in Sicherheit zu investieren. Allen Eventualitäten vorzubeugen ist nicht realistisch, deshalb werden stets Risiken bleiben und es wird zu Vorfällen kommen. Selbst bei großen Schäden wie im Fall von Maersk kann es am Ende die günstigste Lösung sein, das Risiko zu tragen statt es vorbeugend abzuwehren. Jedenfalls ist es nicht per se falsch, so zu entscheiden, oder zumindest nicht falscher als im Fall des psychisch kranken Germanwings-Piloten, der mit dem von ihm herbeigeführten Absturz einen ähnlich hohen Schaden verursachte und der aufgrund von Sicherheitsmaßnahmen zur Terrorabwehr von seinen Opfern nicht daran gehindert werden konnte.

Mag sein, dass in bestimmten Konstellationen regulierende Eingriffe nötig sind. Für Sicherheit schlechthin gilt dies jedoch nicht, denn wo reale Schäden entstehen, gehen sie mit Anreizen zur Risikoreduktion einher.

(Inspiriert von einer Diskussion auf Google+.)

Was Drohnen wirklich tun

Pessimisten denken angesichts des technischen Fortschritts zuerst an  Schwärme autonomer Killerdrohnen, Optimisten lieber an Retterdrohnen, die in Notsituationen zum Beispiel Schwimmhilfen abwerfen:

Unabhängig davon wette ich gegen jeden vorausgesagten Weltuntergang, schon aus statistischen und spieltheoretischen Gründen. Weltuntergänge kommen statistisch sehr selten vor und falls doch mal einer eintritt, bleibt trotz korrekter Vorhersage der Wettgewinn aus.

So ungefährlich ist Radfahren

Zur Helmdiskussion hatte ich hier lange nichts. Eigentlich lohnt das auch nicht, denn wer an den Nutzen eines Fahrradhelms glauben möchte, lässt sich erfahrungsgemäß von Argumenten nicht umstimmen. Doch heute bin ich über eine Zahl gestolpert, die sogar mich überrascht hat, obwohl sie mit meiner Alltagserfahrung kompatibel ist. Der großbritische nationale Gesundheitsdienst (National Health Service, NHS) macht wie so ziemlich jede Krankenkasse Werbung fürs Radfahren und hat in diesem Zusammenhang eine FAQ zur Gefährlichkeit dieser Betätigung zusammengestellt. Darin heißt es unter anderem:

“Official figures taken from the NTS suggest that the general risk of injury from cycling in the UK is just 1 injury per 19,230 hours of cycling.”

Eine Verletzung auf 19 230 Stunden Radfahren, das heißt selbst ein Fahrradkurier muss gute zehn Jahre jeden Arbeitstag acht Stunden unterwegs sein, um sich einmal zu verletzen*. Wer lediglich jeden Tag eine halbe Stunde zu seinem Büro radelt und abends zurück, der braucht sogar Jahrzehnte, um sich einmal zu verletzen. Dass Radfahren so sicher ist, hätte ich trotz vieler unfallfreier Jahre im Sattel nicht erwartet.

*) Ein Arbeitsjahr in einem Vollzeitjob hat ca. 2000 Stunden einschließlich der Urlaubstage.

Carcinogenic agents classified by evidence

Carcinogenic is a scary word, but what exactly does it mean? The International Agency for Research on Cancer (IARC),  a part of the World Health Organization (WHO), has established a framework. The IACR reviews scientific evidence for and against carcinogenicity claims and places agents in one of the following categories:

  • Group 1 – carcinogenic: Sufficient evidence exists that an agent is carcinogenic in humans. In this group we find, as expected, agents like various forms of radiation (gamma, x-ray, utraviolet), tobacco smoke, alcohol, estrogen-progestogen oral contraceptives, and asbestos.
  • Group 2A – probably carcinogenic: Strong evidence exists that an agent is carcinogenic, yet the evidence rmains insufficient to be sure. More precisely, there is sufficient evidence of carcinogenicity in animals but limited evidence in humans. This group contains, for example, acrylamide and occupational exposure to oxidized bitumens and their emissions during roofing.
  • Group 2B – possibly carcinogenic: Some evidence exists for carcinogenicity of an agent, but it is neither sufficient nor strong. This class comprises agents like chloroform, coffee, DDT, marine diesel fuel, gasoline and gasoline engine exhaust, and certain surgical implants and other foreign bodies.
  • Group 3 – unclassifiable: Evidence is inadequate; the agent may or may not be carcinogenic, we do not know enough to tell. This category contains agents like caffeine, carbon-nanotubes, static or extemely low-frequency electric fields, fluorescent lighting, phenol, polyvinyl chloride, and rock wool.
  • Group 4 – probably not: We have evidence that an agent is not carcinogenic. Perhaps due to publication bias, this group contains only one element, caprolactam.

The IACR publishes classification criteria and lists (by category, alphabetical). Wikipedia also maintains lists by these categories with links to the respective pages.

Keep in mind that this classification represents only the state of evidence regarding cancerogenicity in humans, not your risk of becoming exposed to an agent, a dose-response assessment, or overall health risk from exposure. Hint: everything that kills you quickly and reliably is unlikely to cause you cancer.

The Uncertainty Principle of New Technology

Security, privacy, and safety by design sounds like a good idea. Alas, it is not going to happen, at least not with innovative technology. Collingridge’s dilemma gets in the way: When a technology is new and therefore easy to shape, we do not understand its downsides – and the non-issues to be – well enough to make informed design decisions, and once we understand the problems, changing the now established and deployed technology fundamentally becomes hard. Expressed in terms of the Cognitive Dimensions framework, technology design combines premature commitment with high viscosity later on.

With digital technology evolving at high pace, we are continually facing Collingridge’s dilemma. Big data and Internet-scale machine learning, the Internet of everything, self-driving cars, and many inventions yet to come challenge us to keep things under control without knowing what to aim for. Any technology we never created before is subject to the dilemma.

A tempting but fallacious solution is the (strong) precautionary principle: to take all possible risks seriously and treat whatever we cannot rule out as a problem. This approach is fallacious because it ignores the cost of implementation. Every possible risk is not the same as every likely risk. Trying to prevent everything that might go wrong one will inevitably end up spending too much on some possible but unlikely problems. Besides, Collingridge’s dilemma may apply to the chosen treatments as well.

As an alternative we might try to design for corrigibility so that mistakes can be easily corrected once we learn about them. With respect to the information technology domain this idea seems to echo what David Parnas proposed in his seminal paper On the criteria to be used in decomposing systems into modules (DOI: 10.1145/361598.361623). Parnas argues in this paper that software modules should hide design decisions from their surroundings, so that the inner workings of a module can be modified without affecting dependent modules. Constructs supporting this found their way into modern-day programming paradigms and languages; object-oriented programming is the most abvious application of Parnas‘ idea.

But the dilemma is not that easily solved. First, software design is too narrow a scope. Technology is more than just software and can become quite viscous regardless of how easily the software is changed. Just think of the Internet and its core protocol, IP. Most operating systems come with support for IPv4 and IPv6 and there are many good reasons to move on to the new protocol version. Yet we are still waiting for the day when the Internet will abandon IPv4 in favor of IPv6. The Internet as a system is really hard to change. Nevertheless, modularity helps. When attacks against Internet banking users became widespread starting ca. 10 years ago, for example, banks in Germany managed to update their authorization mechanisms and increase security in relatively short time and with few troubles for their customers.

In their recent paper Cyber Security as Social Experiment (NSPW’14, DOI: 10.1145/2683467.2683469), Wolter Pieters, Dina Hadžiosmanović  and Francien Dechesne argue that experimentation could help us to learn more about the side effects of new technology. Since people are part of any interesting system, this amounts to running social experiments. If we do not care and just deploy a technology, this is an experiment as well, just less controlled and systematic. Particular to cyber security is the challenge of involving adversaries as they are the root of all security threats. The general challenge is to run social experiments responsibly within ethical bounds.

Even with experiments, some negative consequences will likely escape our attention. Some effects take too long before they show or show only after a technology has been deployed at a global scale. Could James Watt have thought of climate change due to the burning of fossil fuel? Probably not. But at least we understand what the meta-problem is.