Von Oluwapelumi Bankole, Forscher, Informationssysteme & Cybersecurity, University of Nevada, Las Vegas
Jeden Morgen wachen Millionen Amerikaner in Häusern voller vernetzter Geräte auf. Der Thermostat weiß, wann Sie gehen. Die Türklingelkamera überwacht Ihre Straße. Das Krankenhaus in der Nähe betreibt Infusionspumpen, Patientenmonitore und HVAC-Systeme, die über dieselbe Kategorie von Netzwerken kommunizieren wie Ihr intelligenter Kühlschrank. Und fast keines dieser Geräte ist ausreichend geschützt.
Wir haben eine außergewöhnliche Infrastruktur vernetzter Maschinen aufgebaut und verteidigen sie mit Werkzeugen, die für eine andere Ära konzipiert wurden.
Dies ist kein Problem der Sensibilisierung. Cybersecurity ist eine oberste Bundesprioritä. Die Cybersecurity and Infrastructure Security Agency (CISA) veröffentlicht wöchentlich Warnhinweise. Milliarden von Dollar fließen in Unternehmens-Firewalls, Endpoint-Schutz und Sicherheitsoperationszentren. Und dennoch wächst die Angriffsfläche weiter. Bis 2024 beherbergt allein das US-Stromnetz über 2,3 Millionen vernetzte IoT-Geräte, von denen viele veraltete Firmware ohne Patch-Plan und ohne Überwachung verwenden.
Die Lücke liegt nicht zwischen dem, was wir wissen, und dem, was wir befürchten. Die Lücke liegt zwischen den Sicherheitssystemen, die wir aufgebaut haben, und den Umgebungen, in denen diese Systeme tatsächlich arbeiten müssen.
Das Labor sieht überhaupt nicht wie die reale Welt aus
Intrusion Detection-Systeme, die Software, die entwickelt wurde, um bösartige Aktivitäten in einem Netzwerk zu kennzeichnen, haben sich im letzten Jahrzehnt dramatisch verbessert. Machine Learning- und Deep Learning-Modelle können jetzt Angriffsmuster mit bemerkenswerter Genauigkeit in Forschungsumgebungen identifizieren. Transformer-Architekturen, die aus der natürlichen Sprachverarbeitung übernommen wurden, Long Short-Term Memory-Netzwerke, die auf sequenziellen Verkehrsdaten trainiert wurden, Ensemble-Modelle, die mehrere Klassifikatoren kombinieren: Die akademische Literatur ist voll von Systemen, die 98 oder 99 Prozent Genauigkeit erreichen.
Diese Zahlen sind oft irreführend.
Die Genauigkeitszahl stammt typischerweise aus einem Labordatensatz, der unter kontrollierten Bedingungen gesammelt wurde, mit relativ sauberen Verkehrsverteilungen und auf derselben Art von Daten getestet wurde, auf denen das Modell trainiert wurde. Echte IoT-Netzwerke sehen nicht so aus. Sie sind unordentlich, heterogen und ändern sich ständig. Geräte von einem Dutzend Herstellern senden Daten in unterschiedlichen Formaten. Verkehrsmuster ändern sich, wenn jemand ein neues Gerät installiert, eine Routine ändert oder einfach für eine Woche wegfährt. Und kritisch sind tatsächliche Angriffe seltene Ereignisse in einem Meer normalen Verkehrs.
Wenn ein Modell auf einem Datensatz trainiert wird, bei dem Angriffe 40 Prozent der Datensätze ausmachen, und dann in einem Netzwerk eingesetzt wird, in dem Angriffe 0,1 Prozent des realen Verkehrs ausmachen, ändert sich das Verhalten des Modells vollständig. Es hat nie gelernt, wie echte Seltenheit aussieht. Das Ergebnis ist ein System, das genau die Bedrohungen verfehlt, für die es gebaut wurde, während es genug Fehlalarme erzeugt, um die Analysten zu überfordern, die sie überprüfen müssen.
Das Klassen-Ungleichgewicht-Problem ist keine Fußnote
In der Forschungsgemeinschaft hat die Diskrepanz zwischen Trainingsdaten und realen Bedingungen einen technischen Namen: Klassenungleichgewicht. Es ist gut verstanden, aktiv untersucht und von den Organisationen, die diese Systeme einsetzen, konsequent unterschätzt.
Hier ist das Kernproblem. Ein Netzwerk-Intrusion-Detection-System muss jedes Paket oder jeden Verkehrsfluss als entweder normal oder bösartig klassifizieren. In Wirklichkeit ist die überwiegende Mehrheit des Verkehrs normal. Angriffsverkehr ist die Minderheitsklasse und macht manchmal weniger als ein Prozent aller beobachteten Ereignisse aus. Standard-Machine-Learning-Modelle, die zur Maximierung der Gesamtgenauigkeit optimiert sind, lernen schnell, dass die beste Strategie darin besteht, fast alles als normal zu klassifizieren. Diese Strategie erzeugt hervorragende Genauigkeitswerte. Sie erzeugt katastrophale reale Ergebnisse.
Ein System, das 80 Prozent der Angriffe verpasst, weil es darauf trainiert wurde, die Mehrheitsklasse zu bevorzugen, ist kein Sicherheitssystem. Es ist ein Compliance-Kontrollkästchen.
Die Forschung zu Techniken wie Adaptive SMOTE, die synthetische Beispiele von Minderheitsklassen-Angriffen generiert, um Modellen zu helfen, zu lernen, wie seltene Bedrohungen aussehen, hat echte Erfolge gezeigt. Aber diese Ansätze müssen durchdacht implementiert, gegen Datensätze getestet werden, die tatsächlich Einsatzbedingungen widerspiegeln, und anhand der richtigen Metriken bewertet werden. Recall, der Prozentsatz der tatsächlichen Angriffe, die das System tatsächlich erfasst, ist weitaus wichtiger als die Gesamtgenauigkeit, wenn die Folgen einer verpassten Erkennung eine Ransomware-Infektion in einem Krankenhaus oder eine falsche Dateninjektion in das Steuerungssystem eines Versorgungsunternehmens sind.
Das mehrdimensionale Problem, das niemand lösen will
Es gibt ein verwandtes Problem, das noch weniger Aufmerksamkeit erhält: wie wir entscheiden, ob ein Intrusion Detection-System gut genug ist, um eingesetzt zu werden.
Die meisten Bewertungen wählen ein oder zwei Metriken aus und optimieren für sie. Genauigkeit ist üblich. F1-Score ist in akademischen Arbeiten beliebt. Aber eine reale IoT-Bereitstellung erfordert einen gleichzeitigen Kompromiss zwischen mindestens vier konkurrierenden Dimensionen: Erkennungsgenauigkeit, Recheneffizienz, Falsch-Positiv-Rate und Anpassungsfähigkeit an neue Angriffstypen.
Ein System, das 99 Prozent der bekannten Angriffe erkennt, aber mehr Rechenleistung verbraucht als das IoT-Gerät, das es schützt, ist kein einsetzbares System. Ein System, das effizient läuft, aber zehn Fehlalarme für jede echte Bedrohung generiert, erzeugt eine so schwere Alarm-Müdigkeit, dass Analysten aufhören zu untersuchen. Ein System, das für die heutige Angriffsklassifizierung optimiert ist, aber sich nicht anpassen kann, wenn Gegner ihre Taktiken ändern, ist ein System mit einem bekannten Ablaufdatum.
Das Fehlen eines gemeinsamen, mehrdimensionalen Bewertungsrahmens bedeutet, dass Organisationen, die Intrusion Detection-Systeme kaufen oder einsetzen, keine sinnvollen Vergleiche anstellen können. Ein Anbieter kann branchenführende Erkennungsraten beanspruchen, während er stillschweigend für eine Metrik optimiert, die in einer Demo gut aussieht und in der Produktion versagt.
Was sich ändern muss
Der Weg nach vorne erfordert die Schließung der Distanz zwischen dem, was Forscher bauen, und dem, was Betreiber tatsächlich einsetzen.
Erstens muss die Forschungsgemeinschaft Intrusion Detection-Systeme gegen realistische Verkehrsverteilungen bewerten, nicht nur gegen ausgewogene Benchmark-Datensätze. Tests gegen CIC-IDS2017 oder NSL-KDD mit Standardkonfigurationen erzeugen Zahlen, die im Wesentlichen fiktiv sind, wenn sie mit dem verglichen werden, wie ein echtes Krankenhaus-Netzwerk oder Smart Grid aussieht.
Zweitens müssen Organisationen, die diese Systeme einsetzen, mehrdimensionale Leistungsnachweise vor dem Kauf verlangen. Die Erkennungsrate allein reicht nicht aus. Fragen Sie nach Falsch-Negativ-Raten bei seltenen Angriffskategorien. Fragen Sie nach Leistungsdaten unter eingeschränkten Rechenbudgets. Fragen Sie, wie das System sechs Monate nach der Bereitstellung funktioniert, wenn sich die Verkehrsmuster geändert haben.
Drittens, und am dringendsten, müssen die für den Schutz kritischer Infrastrukturen verantwortlichen Bundesbehörden Mindestbewertungsstandards für KI-gesteuerte Intrusion Detection festlegen. CISA und NIST haben hervorragende Frameworks erstellt. Die Übersetzung dieser Frameworks in spezifische, testbare Leistungskriterien für IoT-Sicherheitssysteme ist der nächste Schritt.
Die vernetzten Geräte werden nicht verschwinden. Die Angreifer, die sie untersuchen, werden auch nirgendwo hingehen. Die Frage ist, ob die Systeme, die wir zu ihrem Schutz bauen, tatsächlich für die Welt gebaut sind, in der diese Systeme arbeiten werden, oder für die Welt, in der wir uns gewünscht hätten zu leben, als wir die Trainingsdaten geschrieben haben.
Oluwapelumi Bankole ist ein Forscher für Informationssysteme und Cybersecurity an der University of Nevada, Las Vegas, wo sich seine Arbeit auf KI-gesteuerte Intrusion Detection für IoT- und Cloud-Netzwerke konzentriert. Er hat einen Doppel-Master in Management-Informationssystemen und Cybersecurity.
