Kurze Bytes: Die NSA ist dafür bekannt, Metadaten zu untersuchen, um Terroristen im Rahmen ihres SKYNET-Programms zu identifizieren. Ein Experte hat kürzlich einige durchgesickerte Dokumente analysiert und auf mehrere Fehler im Algorithmus des maschinellen Lernens hingewiesen, mit dem festgestellt wird, ob eine Person ein Terrorist ist. Infolgedessen ist es möglich, dass die NSA Tausende von Unschuldigen getötet hatte, die als „Terroristen“eingestuft wurden.
Snowdens Lecks deuteten 2014 an, dass das SKYNET-Programm der NSA Metadaten sammelte, indem es das pakistanische Mobilfunknetz genau im Auge hatte. Nach dem Sammeln der Daten verwendete SKYNET einen maschinellen Lernalgorithmus für die Metadaten der 55 Millionen Menschen, um die Möglichkeit einer terroristischen Person zu bestimmen. Mit den Vorhersagen zum maschinellen Lernen führte die NSA Drohnenangriffe durch.
Nun hat Patrick Ball, der Executive Director der Human Rights Data Analysis Group und ein Datenwissenschaftler, die Methoden der NSA als "völlig Bullshit" und "lächerlich optimistisch" bezeichnet. In einem Gespräch mit Ars erzählte Ball, wie ein Fehler im maschinellen Lernalgorithmus von SKYNET die Ergebnisse sehr gefährlich machen könnte.
Wenn wir einen Blick auf die Lecks der NSA-Dokumente werfen, deuten sie darauf hin, dass das maschinelle Lernprogramm möglicherweise seit 2007 eingesetzt wurde. Ball sagt, dass seitdem Tausende unschuldiger Menschen zu Unrecht als Terroristen bezeichnet und getötet wurden.
SKYNET erfasst Metadaten wie gewählte Nummern und andere Anrufdaten wie Dauer, Zeit, wer wen angerufen hat und wo sich der Benutzer befindet. Überraschenderweise werden Benutzer, die ihr Telefon ausschalten oder SIM-Karten wechseln, gekennzeichnet. SKYNET fasst alle Informationen zusammen und skizziert den Alltag einer Person anhand von mehr als 80 verschiedenen Eigenschaften. Das Programm geht davon aus, dass die Verhalten eines Terroristen ist anders von gewöhnlichen Leuten.
Aus dem Bericht geht hervor, dass die NSA im Jahr 2012 von 120 Millionen Mobiltelefonen in Pakistan 55 Millionen Telefondatensätze analysierte. Die Klassifizierung von SKYNET analysiert dann Metadaten und ordnet jedem Einzelnen basierend auf den Metadaten eine Bewertung zu. Ziel ist es, echten Terroristen eine hohe Punktzahl und den einfachen Leuten eine niedrige Punktzahl zuzuweisen. NSA macht dies mit einem Random-Forest-Algorithmus, der üblicherweise in Big Data-Anwendungen verwendet wird.
"Der Grund, warum sie das tun", erklärt Ball, "liegt daran, dass es weniger falsche Negative gibtMehr falsche Positive, die sie sicher haben werden. Es ist nicht symmetrisch: es gibt so viele Echte Negative, die das Herabsetzen der Schwelle zum Verringern der falschen Negativen um 1 bedeuten, bedeutet das Akzeptieren vieler Tausender zusätzlicher falscher Positive. Daher diese Entscheidung."
Wenn sie die gleichen Datensätze verwenden, um das Modell zu trainieren, wie sie es zum Testen des Modells verwenden, ist ihre Beurteilung der Passform völlig scheiße.
Um das Modell zu testen und zu trainieren, werden Daten von sehr wenigen bekannten Terroristen verwendet. Während die übliche Praxis die Verwendung eines großen Datensatzes ist, liefert diese NSA-Analyse keinen guten Indikator für die Qualität der Methode. Während die Ausfallrate von 0,008% für traditionelle Geschäftsanwendungen als bemerkenswert niedrig angesehen wird, bedeutet die falsch positive Rate der NSA von 0,18%, dass Tausende unschuldiger Unschuldiger als "Terroristen" eingestuft werden könnten.
Sie können den vollständigen Bericht von Ars Technica lesen und Ihre Ansichten in den folgenden Kommentaren teilen.
