Einführung
Wir freuen uns, unseren neuen Universal Internet DataSet vorstellen zu können, der auf einer neuen Scanning-Technologie basiert, die wir in den letzten zwei Jahren entwickelt haben. Wir haben mehrere grundlegende Änderungen an unserer Vorgehensweise beim Scannen des Internets vorgenommen, was zu einer optimalen Sichtbarkeit des Internets führt. Unsere neue Scanning-Funktion erkennt mehr als 33 % mehr Dienste als zuvor und 97 % mehr Dienste als die der Konkurrenz.
Die beste Sichtbarkeit bedeutet ein noch besseres Attack Surface Management. Censys Die Attack Surface Management (ASM)-Plattform nutzt diese Daten intern bereits seit etwa einem Jahr, und für aktuelle ASM-Kunden besteht kein Handlungsbedarf. Da wir jedoch erhebliche Änderungen an unserem Scan-Ansatz vorgenommen haben, geben wir einen neu strukturierten Datensatz für Unternehmenskunden frei. In diesem Beitrag erläutern wir, warum wir Änderungen an der Art und Weise des Scannens vorgenommen haben, welche Auswirkungen dies auf unsere Daten hat, welche Vorteile sich für unsere Kunden ergeben und wie Unternehmenskunden auf den neuen Datensatz zugreifen können.
Was gibt es Neues?
Wir haben mehrere grundlegende Änderungen an der Art und Weise vorgenommen, wie wir Internet-Scans durchführen, und zwar sowohl auf der Grundlage von Peer-Review-Forschungsergebnissen als auch auf der Grundlage unserer eigenen Scan-Erfahrungen.
- Automatische Protokoll-Erkennung. Jüngste Untersuchungen von USENIX Security zeigen, dass die meisten Dienste nicht über die ihnen zugewiesenen Ports laufen. Schockierenderweise laufen nur 3,0 % der HTTP- und 6,4 % der TLS-Dienste über die Ports 80 bzw. 443. Außerdem haben Izhikevich et al. gezeigt, dass die Dienste an nicht standardisierten Ports in der Regel weniger sicher sind.
Izhikevich et al. haben kürzlich gezeigt, dass der Einsatz von Protokollen wesentlich diffuser ist als bisher angenommen. Die meisten Protokolle laufen über Tausende oder Zehntausende von Ports und nicht über den ihnen zugewiesenen Port.
Trotzdem suchen die meisten Scanner nur nach dem von der IANA zugewiesenen Protokoll an jedem Port.
Wir haben eine automatische Protokollerkennung für jeden gescannten Port hinzugefügt, die es uns ermöglicht, anhand der erhaltenen Antwort fast immer zu erkennen, welches Protokoll ausgeführt wird. Sobald wir das Protokoll identifiziert haben, führen wir einen vollständigen Protokoll-Handshake mit dem Dienst durch, um alle Einzelheiten des Dienstes zu erfassen. Von allen Diensten, die wir sehen, ist Censys in der Lage, 97 % von ihnen zu erkennen, unabhängig davon, auf welchem Port sie laufen. Dadurch erhalten die Kunden von Censys alle Details zu den Protokollen und Diensten, die auf Nicht-Standard-Ports laufen. Heute stammen mehr als 66 % unserer Scan-Ergebnisse von unerwarteten Diensten auf Nicht-Standard-Ports.
- Mehrperspektivisches Scannen. Das Scannen aus einer einzigen Perspektive schränkt die Sichtbarkeit des Scanners ein. Wir haben kürzlich damit begonnen, von drei Dienstanbietern in den USA, Europa und Asien aus zu scannen. Kürzlich durchgeführte Untersuchungen, an denen wir mitgewirkt haben, haben gezeigt, dass drei geografische Perspektiven eine Sichtbarkeit des Internets von über 99 % ermöglichen:
Auf der Grundlage der jüngsten Forschungen von Gan et al. haben wir begonnen, aus drei Perspektiven zu scannen, was uns eine 99%ige Abdeckung der Internet-Hosts ermöglicht.
- Kontinuierliche Aktualisierung und erhöhte Scan-Häufigkeit. Unsere Scandaten liefern die aktuellsten und neuesten Informationen über das Internet, so dass unsere Kunden keine Zeit mit der Untersuchung veralteter Daten verschwenden müssen. Dies ist besonders wichtig in Cloud-Umgebungen, in denen IP-Adressen häufig den Besitzer wechseln und wochenalte Daten veraltete Eigentumsverhältnisse bedeuten. Während unser nächster Konkurrent seine Dienste im Durchschnitt alle 10 Tage aktualisiert, werden die Dienste mit unserem neuen Datensatz im Durchschnitt in weniger als 48 Stunden aktualisiert.
- Verbesserter Dienst- und Gerätekontext: Wir haben unsere Erkennung von Software und Betriebssystemen verbessert und arbeiten an der Erkennung von IoT-Geräten, um mehr Kontext zu den Geräten und Diensten in unseren Scanergebnissen zu liefern. Außerdem haben wir das Standardformat Common Platform Enumeration (CPE) für Software und Betriebssysteme übernommen, um die Korrelation mit anderen Datensätzen, die den CPE-Standard verwenden, zu erleichtern. Außerdem sind wir dazu übergegangen, Recog für die Identifizierung von Diensten zu verwenden, zu denen wir in Zukunft Geräte-Fingerabdrücke beisteuern werden.
Was bedeutet das für Censys Data?
Werfen wir einen Blick auf unsere Benchmarking-Statistiken, aus denen hervorgeht, wie wir im Vergleich zu unseren engsten Mitbewerbern in Bezug auf Umfang, Tiefe und Häufigkeit des Scannens abschneiden:
Wie können Unternehmenskunden auf den neuen Datensatz zugreifen?
Wir haben den neuen Datensatz bereits intern für unsere SolarWinds-Untersuchung verwendet und freuen uns darauf, den Datensatz per Download und Google BigQuery mit unseren Unternehmenskunden zu teilen. Wir planen, den Datensatz in der Search UI und API im zweiten Quartal dieses Jahres für alle verfügbar zu machen. Im Laufe des Jahres werden wir weitere Features und Funktionen hinzufügen. Insbesondere planen wir, neue Möglichkeiten für den Zugriff auf unsere historischen Daten über API und UI bereitzustellen.
Freuen Sie sich auf ein aufregendes Jahr, in dem wir den Stand der Internet-Scanning-Technologie vorantreiben und unserer Community und unseren Kunden wichtige neue Funktionen zur Verfügung stellen werden!
Referenzen
Über den Ursprung des Scannens: Der Einfluss des Standorts auf Internet-weite Scans
Gerry Wan, Liz Izhikevich, David Adrian, Katsunari Yoshioka, Ralph Holz, Christian Rossow, Zakir Durumeric; ACM Internet Measurement Conference (IMC), Oktober 2020
LZR: Unerwartete Internetdienste identifizieren
Liz Izhikevich, Renata Teixeira, Zakir Durumeric; USENIX Security Symposium, August 2021
