NeuralHash Update: Von Erklärungsversuchen, Hackern und der Backdoor, die keine sein soll
20.8.2021
Apples Vice President Craig Federighi spricht zum Kinderporno-Detektor NeuralHash. Ein Hacker hat das System bereits nachgebaut und Kinderschützer gehen gegen Kritiker vor.
Apple hat hohe Wellen geworfen mit seinem Plan, gegen Kinderpornografie und -missbrauch vorzugehen. Und es hat nicht lange gedauert, bis die Welt reagiert hat. Der Aufschrei von unabhängigen Researchern war schnell, laut und wurde öffentlich ignoriert. Apple-intern sieht das anders aus.
Ein Blick auf eine Diskussion, die gerade dabei ist, aus dem Ruder zu laufen.
Apple Neural Hash, Communication Safety in Messages: Worum geht's?
In diesem Beitrag wird von zwei Systemen gesprochen, die beide den Schutz des Kindeswohls im Sinne haben. Trotzdem funktionieren NeuralHash, in seiner Implementation CSAM Detection genannt, und das etwas umständlich benannte «Communication Safety in Messages» komplett unterschiedlich.
NeuralHash / CSAM Detection
Apple und die Kinderschutzorganisation mit dem Namen National Center for Missing and Exploited Children (NCMEC) haben das System CSAM Detection entwickelt. CSAM steht für «Child Sexual Abuse Material», also «Material, das den sexuellen Missbrauch von Kindern zeigt».
Das System scannt Fotos auf deinem iPhone, die du mit der iCloud synchronisieren willst. Es gleicht das Bildmaterial mit dem NCMEC bekannten Bildern ab, die Kinderpornografie zeigen. Dieser Scan passiert vor dem Upload in die iCloud lokal auf dem Endgerät.
Apples NeuralHash scannt die Datenbank des NCMEC und gibt dem Bildmaterial einen neuen Hash, der Bilder versteht und nicht einfach indiziert. So sollen auch Veränderungen in Bildern von Apples NeuralHash erkannt werden und entsprechend kann das System ein Foto auch korrekt identifizieren, wenn es von farbig zu schwarzweiss konvertiert wurde oder eine andere Grösse hat.
Kurz: NeuralHash soll den Inhalt des Bildes verstehen, nicht einfach nur die Daten in der Bilddatei. Es sieht also nicht einfach nur «1024 Pixel Breite, 768 Pixel Höhe, das Pixel ist blau und das ist rot» sondern mehr «ein Bild von einem Strand, Sonnenuntergang, ein Hund im Sand».
Wenn Apple «eine gewisse Anzahl» Treffer auf einem iPhone oder iPad erkennt, dann wird ein Alarm ausgelöst. Die Bilder werden unverschlüsselt an Apple übertragen. Dort werden sie von einem Menschen gesichtet und sollte sich der Verdacht auf Kinderpornografie erhärten, wird das NCMEC eingeschaltet. Diese Organisation alarmiert dann zuständige Behörden.
Neu generiertes Material wird nicht von CSAM Detection erkannt.
CSAM Detection soll vorerst nur in einer kommenden Version von Apples iOS 15 und iPadOS 15 in den USA ausgerollt werden. User haben weder Einblick noch Einfluss auf die Funktionalität von CSAM Detection.
Communications Safety in Messages
Das zweite System, das Apple zum Schutz des Kindeswohls eingeführt hat, heisst Communications Safety in Messages. Es ist ein Tool für Eltern, deren Kinder ein iPhone haben und deren Apple ID mit derjenigen der Eltern verknüpft ist.
Wenn das System eingeschaltet ist, dann werden eingehende und gesendete Bilder gescannt. Communication Safety in Messages erkennt Nacktbilder – sowohl bereits bestehendes Material wie auch neu aufgenommene Bilder – und verpasst diesen einen Filter. Bilder werden also nur verschwommen übertragen.
Dazu werden dem Kind beruhigende Meldungen angezeigt. Es wird informiert, dass das Bild bewusst verschwommen dargestellt wird. Dazu werden Informationen angezeigt, dass das Kind nicht zwingend diese Daten sehen muss und dass es Ressourcen und Informationen gibt, wie sich das Kind davor schützen kann.
Wenn das Kind jünger als 12 Jahre ist, dann gibt Apple Eltern die Option, eine Meldung zu erhalten, sollte Communication Safety in Messages eingreifen.
Craig Federighi gibt Fehler in der Kommunikation zu
Am 13. August 2021 tritt Apples Senior Vice President of Software Engineering, Craig Federighi, vor die Medien. Er gibt zu, dass bei der Kommunikation der obigen beiden Systeme Verwirrung entstanden ist.
Mit den Worten «Wir wünschen uns, dass das Ganze etwas klarer rübergekommen wäre. Wir sind der Sache nach wie vor positiv gegenüber eingestellt und wir sehen, dass es breit missverstanden wurde» beginnt das Video des Wall Street Journal.
Der Fehler liege darin, dass Apple die beiden Features – CSAM Detection und Child Safety in Messages – gleichzeitig vorgestellt habe. Da beide Features das gleiche Ziel haben, seien sie leicht miteinander zu verwechseln.
Apple scannt keine Bilder auf dem iPhone? Apple scannt Bilder auf dem iPhone!
Craig Federighi sagt, dass der Schlüsselsatz «Oh mein Gott, Apple scannt die Bilder auf meinem iPhone» falsch sei. In Tat und Wahrheit würden die Bilder mit einer Datenbank abgeglichen. Sollten die Bilder nach dem Verständnis des Systems NeuralHash identisch sein, wird Alarm geschlagen.
Um es klar auszudrücken: Wir suchen in Tat und Wahrheit nicht nach Kinderpornografie auf iPhones. Das ist die erste Wurzel des Missverständnisses. Was wir tun: Wir finden illegale Kinderpornografie-Bilder, die in der iCloud gespeichert werden.
Böse Zungen würden das jetzt «Apple scannt Bilder auf meinem iPhone» nennen, da CSAM Detection ein Scan ist. Ein Scan der Bilder anschaut. Auf einem iPhone. Der Abgleich mit der Datenbank geschieht vor dem Upload in die iCloud auf deinem Gerät, scannt aber nicht die iCloud. Und auch «finden» ist recht seltsam gewählt, da dem Akt des Findens immer eine Suche vorausgeht. Also sucht Apple auf deinem iPhone nach Kinderpornografie.
NeuralHash hat doch Funktionalität in der Cloud
Ab etwa dem Marker 2:45 im Video erklärt Craig Federighi, dass nicht alle Funktionalität NeuralHashes auf dem iPhone verbaut sei. «Die andere Hälfte» sei in der iCloud. Es sei aber kein Nutzer verpflichtet, die iCloud zu verwenden, fügt der Vice President an.
NeuralHash sei erfunden worden, damit diese Bilder gefunden werden können, ohne dass Apple «Fotos ansieht». Federighi gibt aber Einblick in die Funktionsweise NeuralHashes. Ein erster Scan passiere auf dem Phone, ein zweiter in der Cloud.
«Sehen» ist eine Frage der Definition
Craig Federighi gibt erstmals eine Zahl bekannt: Bevor NeuralHash die Resultate des Scans mit einem Menschen teilt, muss CSAM Detection «Grössenordnung 30» Bilder in deiner iCloud Library entdeckt haben. Das heisst, erst bei den etwa 30 Bildern werden nur diese 30 Bilder unverschlüsselt an Apple übertragen. Dort schaut sich ein Mensch das an und alarmiert, bei Bedarf, das NCMEC. Apple-Mitarbeiter haben keinen Zugriff auf alle anderen Bilder auf deinem iPhone.
Es ist klar, dass Apple «Sehen» und «Einsicht» anders definiert und auch somit den Begriff der Privatsphäreninvasion verzerrt. Apple definiert die beiden Begriffe offenbar so, dass ein Mensch, der bei Apple arbeitet, deine Bilder ansieht und danach sagen kann «Das ist eine herzige Katze». Wenn also ein Mensch erst dann ins Spiel kommt, wenn «Grössenordnung 30» Bilder vom automatischen nicht-menschlichen System erkannt werden und nur diese Bilder unverschlüsselt übermittelt werden, dann spricht Apple weder von «Sehen» noch von «Einsicht».
Privatsphärenaktivisten aber definieren «Sehen» und «Einsicht» so, dass ein Hersteller Zugriff auf Bilder auf deinem iPhone hat. Es reicht für den Tatbestand der Privatsphäreninvasion, wenn ein Hersteller automatisiert Bilder auswertet und sich das Recht nimmt, diese bei Bedarf an einen Menschen zu übermitteln, der die Bilder betrachtet und beurteilt, ob es darauf kriminellen Inhalt zu sehen gibt.
Das «Badewannen-Bild» ist okay
Entwarnung gibt Craig Federighi bei den Fotos, die du von deinem Kind machst, während es aufwächst. Gerade in den frühen Monaten des Lebens werden Babies oft mit wenig oder gar keiner Kleidung fotografiert.
CSAM Detection sichtet diese Bilder zwar, schlägt aber nicht Alarm.
NeuralHash funktioniert so, dass das Bild bereits existieren muss. Es liegt in einer Datenbank des NCMEC und ist von NeuralHash indiziert worden. NeuralHash stuft nicht neu gemachte Bilder als Kinderpornografie ein und schlägt Alarm, wenn du mit deinem Kind in der Badi bist.
«NeuralHash ist keine Backdoor»
Craig Federighi sagt, dass NeuralHash «in keinem Fall» eine Backdoor ins System ist. NeuralHash sei ein Part des Prozesses der Speicherung und des Uploads.
Er verstehe die Charakterisierung NeuralHashes als Backdoor nicht.
Zum Verständnis: Eine Backdoor ist laut Definition eine Hintertür, die ein Hersteller in ein System – in diesem Fall das iPhone – einbauen kann um trotz Verschlüsselung, Pin Code und Face Unlock Zugriff auf Daten zu haben.
Wenn also Apple ein Bild von deinem iPhone ohne dein Zutun an einen Mitarbeiter senden kann, dann müsste das laut Definition eine Backdoor sein. Wenn NeuralHash «Grössenordnung 30» Bilder erkennt, dann erhält Apple Zugriff auf deine Daten. Trotz Verschlüsselung, Pin Code und Face Unlock hat der Konzern Zugriff auf deine Daten.
Dies kann, je nach Definition des Begriffs «Backdoor» Apple-CEO Tim Cooks Aussagen widersprechen.
Wir haben uns wiederholt für starke Verschlüsselung ohne Backdoors ausgesprochen.
Über 60 Organisationen bitten Apple, das nicht zu tun
Das Center for Democracy and Technology (CDT) berichtet am 19. August 2021 über einen offenen Brief an Apple-CEO Tim Cook.
Im Brief stellen sich über 60 zeichnende Organisationen gegen NeuralHash, und – je nach Grad des Missverständnisses – auch gegen Communication Safety in Messages. Im Brief stellen sie im ersten Absatz klar, wie diese Diskussion geführt werden muss.
Obwohl diese Systeme das Ziel haben, Kinder zu schützen und die Verbreitung von Kinderpornografie (CSAM) zu vermindert, sind wir besorgt, dass sie dazu verwendet werden, die Redefreiheit zu zensieren. Dass sie die Privatsphäre und Sicherheit der Menschen auf der ganzen Welt gefährden und desaströse Konsequenzen für Kinder auf der ganzen Welt haben.
Das ist die Gefahr der Technologie, die mit in die Diskussion fliessen muss: Anekdotisch versus systemisch. Anekdotisch geht CSAM Detection gegen Kinderpornografie vor. Systemisch kann das System aber auch zur Detektion von Homosexuellen in Polen, zur Aufspürung von Uiguren in China oder auch zur Früherkennung von Hautkrebs eingesetzt werden.
Sofern die künstliche Intelligenz NeuralHashes ein Modell von etwas aufbauen kann, kann es eingesetzt werden, irgendetwas zu finden und Meldung zu erstatten. Seien das rote Autos – aus welchen Gründen auch immer – oder Frauen im Iran ohne Hijab.
NeuralHash ist frei verfügbar, existiert bereits in iOS 14.3
Ein Hacker, die sich Asuhariet Ygvar nennt, hat NeuralHash «nachgebaut». In einem Reddit Post beschreibt sie, was sie getan hat.
Glaubt es oder nicht, aber der Algorithmus existiert bereits in iOS 14.3 oder sogar noch früher. Er ist versteckt unter verschleierten Class Names. Nach einigem Graben und etwas Reverse Engineering auf den versteckten APIs habe ich es geschafft, das Model zu exportieren.
Das NeuralHash-Model im iPhone-Code ist in MobileNetV3 geschrieben, einem Computer Vision Model aus dem Hause Google. Asuhariet Ygvar hat das Model nach ONNX exportiert und den ganzen NeuralHash-Algorithmus in der Programmiersprache Python nachgeschrieben.
Damit hat NeuralHash die Apple-Plattform verlassen und läuft jetzt auch als Linux-Port.
NeuralHash2ONNX ist auf GitHub frei verfügbar und kann frei konfiguriert werden. Zynisch gesagt: China hat jetzt seinen Uiguren-Detektor.
Damit deckt Asuhariet Ygvar eine weitere Gefahr des Systems auf: Die Idee. Klar, Apple mag sich grösste Mühe geben, dass sie die einzigen sind, die die Konfiguration des Systems vornehmen können. Sie haben menschliches Review eingeführt, damit Fehlalarme möglichst vermieden werden können und das NCMEC gilt generell als vertrauensvoll.
Doch die Idee alleine hat ausgereicht um jemanden dazu zu bringen, das System nachzubauen. Es ist davon auszugehen, dass Asuhariet Ygvar nicht die einzige Person ist, die das tun wird oder getan hat. Denn Apple hat mit der Vorstellung NeuralHashes bewiesen, dass es machbar ist. Das alleine kann Menschen dazu inspirieren, sich zu denken «Wenn Apple das kann, dann können wir das auch».
Asuhariet Ygvar ist übrigens ein Pseudonym. Der Name stammt aus dem Manga/Anime «Rotte no Omocha!».
Erste künstlich generierte False Positives
Die Veröffentlichung Asuhariet Ygvars hat Hackern dieser Welt ein neues Spielzeug gegeben. Das GitHub-Repo ist am 16. August 2021 veröffentlicht worden. Zwei Tage später hat Cory Cornelius zwei Bilder gepostet, die laut ihm dasselbe Hash generieren. Ein Hash ist eine Nummer, die klar anzeigen soll, was im Bild zu sehen ist. Craig Federighi beschreibt ein Hash als «von Menschen nicht lesbares Kauderwelsch». Es ist die Abstraktion eines Bildes in das, was ein Neural Network in ihm sieht. Sprich, wenn NeuralHash auf ein Bild schaut, dann interpretiert es das Bild nach vorgegebenen Parametern und baut darauf basierend eine Zahl auf.
Diese Zahl sagt dem Network, was auf dem Bild ist.
NCMEC lässt NeuralHash auf seine Kinderpornografie-Datenbank sehen, NeuralHash baut darauf diese Zahlen auf und diese werden auf dein Smartphone geladen, wo sie mit den Hashes deiner Bilder abgeglichen werden.
Cory Cornelius fragt, ob die Hashes dieser zwei Bilder identisch sind, oder ob nur er identische Hashes erhält.
$ python3 nnhash.py NeuralHash/model.onnx neuralhash_128x96_seed1.dat beagle360.png
59a34eabe31910abfb06f308
$ python3 nnhash.py NeuralHash/model.onnx neuralhash_128x96_seed1.dat collision.png
59a34eabe31910abfb06f308
Das ist natürlich ungünstig. Aber Apple sagt, dass eine Kollision wie sie Cory Cornelius aufzeigt und von Asuhariet Ygvar bestätigt wird, ein Fall in einer Billion sei.
Das NCMEC reagiert auf Kritik… und macht sich unbeliebt
Die harte Kritik, die Apple erhalten hat, hat in Cupertino Spuren hinterlassen. In einem Memo an seine Mitarbeiter hat Sebastien Marineau-Mes, einer der Software Vice Presidents Apples, seinen Mitarbeitern nicht nur Mut machen wollen, sondern auch das weitere Vorgehen in Causa NeuralHash erklärt. Nicht nur sei der Schutz des Kindeswohls «eine sehr wichtige Mission», sondern auch:
Wir wissen, dass einige Menschen Missverständnisse haben, und mehr als nur einige sind besorgt über die Implikationen, aber wir werden weiterhin die Features erklären, sodass die Menschen verstehen, was wir gebaut haben.
Angehängt an dieses interne Memo, das dem Apple-Magazin 9to5Mac vorliegt, ist ein Memo aus dem Hause des National Center for Missing and Exploited Children. Es ist von Marita Rodriguez, Executive Director of Strategic Partnerships, geschrieben. Im Memo will sie Apple Mut zusprechen. Sie reagiert auch auf die ersten Stimmen der Kritiker und giesst Öl ins Feuer:
Ich weiss, es war ein langer Tag und viele von euch haben wahrscheinlich in den letzten 24 Stunden nicht geschlafen. Wir wissen, dass die kommenden Tage mit den kreischenden Stimmen der Minderheit gefüllt sein werden. Unsere Stimmen werden lauter sein.
Mit der Veröffentlichung dieses Memos, und davon war auszugehen, hat sich das NCMEC keinen grossen Gefallen getan. Es ist die Zeile der «kreischenden Stimmen», die für Unmut und für Unverständnis sorgt.
Reddit User u/classycatman fasst das recht gut zusammen:
Der Apparat, den Apple gebaut hat, nutzt 'für die Kinder' als Entschuldigung um ein Framework zu bauen, aber das Framework kann adaptiert werden. Wenn jemand denkt, dass Apple nicht nachgeben würde, wenn sie 'ihr sucht jetzt nach folgenden Bildern oder der Markt China bleibt für euch zu' hören, der soll sich an Folgendes erinnern: Apple hat vor ein paar Jahren behauptet 'What happens on your iPhone stays on your iPhone' und diese Woche haben sie scheinbar 'Ausser dort, wo wir Ausnahmen machen' hinzugefügt.
Journalist. Autor. Hacker. Ich bin Geschichtenerzähler und suche Grenzen, Geheimnisse und Tabus. Ich dokumentiere die Welt, schwarz auf weiss. Nicht, weil ich kann, sondern weil ich nicht anders kann.
