Eine Nachricht von Censys Mitbegründer Zakir Durumeric.
Als Censys Search im Jahr 2015 an den Start ging, haben wir Internet-Hosts modelliert, indem wir wöchentliche ZMap- und ZGrab-Scans von 11 Protokollen auf 14 Ports zusammengefügt haben. Seitdem ist Censys erheblich gewachsen. Wir wurden aus der University of Michigan ausgegliedert, haben Risikokapital von Google Ventures, Greylock und Decibel erhalten und die Censys Attack Surface Management (ASM)-Plattform eingeführt. Außerdem haben wir unsere Internet-Datenerfassung drastisch verbessert.
Heute scannen wir kontinuierlich über 3.500 Ports, führen eine automatische Protokollerkennung durch und scannen von mehreren Tier-1-ISPs. Außerdem sorgen wir mit 24-stündigen Aktualisierungen bekannter Dienste für ein Höchstmaß an Vertrauen in unsere Daten.
Wir stellen diese Daten mit dem offiziellen Start von Censys Search 2 .0 der Öffentlichkeit zur Verfügung, das unter https://search.censys.io direkt zugänglich ist. Censys Search 2.0 wird wie sein Vorgänger sowohl ein kostenloses Community-Tier als auch ein kostenpflichtiges Professional-Tier anbieten. Im Folgenden beschreiben wir die aufregendsten und wichtigsten Änderungen an unserer Datenerfassungsinfrastruktur und unserer neuen Suchmaschine.
Verbesserte Funktionen zum Scannen und zur Datenerfassung
Kontinuierliche Host-Erkennung. Censys 2.0 wird von einer neuen kontinuierlichen Scan-Engine angetrieben, die beliebten Ports, Protokollen und Netzwerken Vorrang vor anderen einräumt. Wir scannen die Top 3.500 Ports im gesamten IPv4-Adressraum alle 10 Tage und die Top 100 Ports jeden Tag. Außerdem scannen wir jeden Tag beliebte Cloud-Anbieter (z. B. AWS und GCP) auf der Suche nach neuen Diensten. Alle Nutzer haben Zugriff auf alle Scan-Ergebnisse.
Tägliche Datenaktualisierung. Internet-Dienste ändern sich ständig - viel schneller, als wir sie in unseren regelmäßigen Diensterkennungs-Scans sehen können (die Iteration durch 3.500 Ports auf 3,7 Milliarden Adressen dauert ein wenig Zeit!) Um sicherzustellen, dass die Ergebnisse auf dem neuesten Stand sind, aktualisieren wir die Daten über bekannte Dienste täglich. Mit diesem Verfahren liegt die durchschnittliche Beobachtungszeit für Dienste* innerhalb von 16 Stunden.
Automatische Protokoll-Erkennung. Neuere Untersuchungen haben gezeigt, dass eine erstaunliche Anzahl von Diensten auf unerwarteten Ports läuft und dass Dienste auf unerwarteten Ports tendenziell mehr Sicherheitsprobleme haben. Censys erkennt Protokolle auf unerwarteten Ports und führt nach der Identifizierung einen vollständigen Protokoll-Handshake durch. Heute werden die meisten von Censys katalogisierten Dienste auf nicht standardisierten Ports gefunden.
Mehrperspektivisches Scannen. Beim zustandslosen Scannen besteht die Gefahr eines unwiderruflichen Datenverlusts im Falle eines Paketverlusts, und die Gesamtsichtbarkeit hängt vom Internet-Provider ab. Censys arbeitet mit drei Tier-1-ISPs (NTT, Telia und Hurricane Electric) zusammen und scannt diese, was uns eine Abdeckung von fast 99 % der abgehörten Hosts und Schutz vor Paketverlusten bietet. Wir freuen uns darauf, noch in diesem Jahr ein weiteres Rechenzentrum in Europa und zwei weitere Tier-1-Service-Provider hinzuzufügen.
Neue Funktionen Search 2.0
Das Erscheinungsbild der Benutzeroberfläche von Censys Search 2.0 sollte Ihnen bekannt vorkommen, aber es gibt ein paar große Unterschiede, die eine größere Flexibilität bei der Suche und Interaktion mit unseren Daten ermöglichen:
Vereinfachtes Datenmodell. Wir führen ein neues Datenmodell für IPv4-Hosts ein, das der Komplexität Rechnung trägt, dass jeder Dienst auf jedem Port erscheinen kann. Das neue Schema ist einfacher und hoffentlich leichter zu benutzen, aber es erfordert eine Aktualisierung Ihrer bestehenden Suchen, um die neuen Feldnamen abzufragen. Weitere Informationen über das Datenmodell finden Sie hier.
Verbesserter Dienst- und Gerätekontext. Wir haben unsere Erkennung von Software, Betriebssystemen und IoT-Geräten verbessert. Außerdem haben wir unsere Software-, Betriebssystem- und Gerätekennzeichnung in das CPE-Format migriert, um die Interoperabilität mit Tools und Datensätzen von Drittanbietern zu verbessern.
Censys Search Sprache. Wir haben eine neue Such-DSL entwickelt, die mehr Flexibilität bei der Abfrage von Ports und Protokollen ermöglicht - insbesondere bei mehreren Ports und Protokollen. So können Sie beispielsweise nach einem Banner für ein beliebiges Protokoll an einem beliebigen Port, nach TLS-Daten an einem beliebigen Port oder nach einer Dienstkonfiguration für einen bestimmten Port und ein bestimmtes Protokoll suchen. Weitere Informationen und Beispiele finden Sie in unserem Support Center.
Host-Verlauf. Wir haben damit begonnen, den Verlauf von Diensten auf einzelnen Hosts zu verfolgen, der sowohl über die Web-UI als auch über unsere REST-API zugänglich ist. Community-Benutzer können den Verlauf der letzten Woche sehen; der vollständige Verlauf ist für zahlende Benutzer verfügbar.
Schnelle Abfrage-API. Wir führen eine neue Schnellabfrage-API ein, mit der Benutzer Hosts und Zertifikate massenweise abfragen können. Die API ist für alle Benutzer verfügbar.
Gemeinschaft, Forschung und kostenpflichtiger Zugang
Censys Search 2.0, einschließlich des Zugriffs auf alle unsere aktuellen Scandaten, wird für Community-Nutzer kostenlos verfügbar sein. Über die bestehenden Funktionen von Pro Search hinaus werden zahlende Nutzer zusätzlich in der Lage sein, die vollständige Historie von Hosts abzurufen sowie Hochgeschwindigkeits-API-Abfragen durchzuführen. Auf unserer Website finden Sie weitere Informationen über den kommerziellen Zugang sowie herunterladbare Datensätze.
Wir werden auch weiterhin die nicht-kommerzielle Forschung unterstützen und stellen alle Forscher auf das neue Universal Internet Dataset um, das Search 2.0 zugrunde liegt. Darüber hinaus werden wir allen Studenten, Lehrkräften und nichtkommerziellen Forschern kostenlose Censys Pro Search Konten zur Verfügung stellen.
Funktionen, die verschwinden
Im Rahmen des Upgrades werden einige Funktionen entfernt, auf die wir Sie aufmerksam machen möchten:
- ZTag-Bibliothek. Als wir Censys ins Leben riefen, entwickelten wir eine interne Bibliothek für Dienstkennzeichnungen, ZTag. Parallel dazu entwickelten H.D. Moore et al. bei Rapid7 Recog. In unserer neuen Datenpipeline sind wir von ZTag auf Recog umgestiegen und verwerfen ZTag. Wir werden in Zukunft Fingerabdrücke zu Recog beisteuern, und wir ermutigen die Gemeinschaft, dasselbe zu tun.
- Regex-Suchen. Censys unterstützte ursprünglich die Suche nach regulären Ausdrücken in Scan-Daten. Da diese Funktion nur selten genutzt wurde und Kompatibilitätsprobleme mit Elasticsearch-Indizes auftraten, beschränken wir diese Funktion auf kommerzielle Nutzer, um sicherzustellen, dass wir diese rechenintensiven Anfragen angemessen bedienen können.
- Felder für TLS-Sicherheitslücken. Als wir Censys auf den Markt brachten, waren wir daran interessiert, eine Reihe von TLS-Schwachstellen zu verfolgen, die in den vergangenen Jahren weitgehend behoben wurden. Censys führt keine Scans mehr durch, um auf Export-Grade-Chiffren oder SSLv3 zu prüfen. Wir werden in Zukunft wahrscheinlich umfassendere TLS-Schwachstellenprüfungen einführen.
* Die durchschnittlichen Beobachtungspunkte für Dienste schließen Pseudodienste wie Honeypots und Middleboxes, die alle Ports abhören, aus.
