Introduction
Nous sommes ravis de lancer notre nouvel ensemble de données universel sur l'internet, basé sur la nouvelle technologie de numérisation que nous avons développée au cours des deux dernières années. Nous avons apporté plusieurs changements fondamentaux à notre approche de l'analyse de l'internet, ce qui nous a permis d'obtenir la meilleure visibilité de l'internet. Notre nouvelle capacité de balayage permet de voir plus de 33 % de services en plus qu'auparavant et 97 % de services en plus par rapport à nos concurrents.
La meilleure visibilité signifie une gestion de la surface d'attaque encore meilleure. Censys La plateforme ASM (Attack Surface Management) utilise ces données en interne depuis environ un an, et aucune action n'est nécessaire pour les clients actuels d'ASM. Cependant, comme nous avons apporté des changements significatifs à notre approche de l'analyse, nous mettons à la disposition des entreprises clientes un ensemble de données nouvellement structuré. Dans ce billet, nous expliquons pourquoi nous avons modifié notre méthode de numérisation, l'impact sur nos données, les avantages pour nos clients et la manière dont les entreprises clientes peuvent accéder au nouveau jeu de données.
Quoi de neuf ?
Nous avons apporté plusieurs modifications fondamentales à la manière dont nous effectuons les analyses de l'Internet, sur la base d'études évaluées par des pairs et de notre propre expérience en matière d'analyse.
Découverte automatique du protocole . Des recherches récentes menées par USENIX Security montrent que la plupart des services ne fonctionnent pas sur les ports qui leur sont attribués. Il est choquant de constater que seuls 3,0 % des services HTTP et 6,4 % des services TLS fonctionnent respectivement sur les ports 80 et 443. En outre, Izhikevich et al. ont montré que les services fonctionnant sur des ports non standard sont généralement moins sûrs.
Izhikevich et al. ont récemment montré que le déploiement des protocoles est beaucoup plus diffus qu'on ne le pensait. La plupart des protocoles sont exécutés sur des milliers ou des dizaines de milliers de ports plutôt que sur le port qui leur est attribué.
Malgré cela, la plupart des scanners ne recherchent que le protocole attribué par l'IANA sur chaque port.
Nous avons ajouté la détection automatique du protocole pour chaque port que nous analysons, ce qui nous permet de détecter presque toujours le protocole en cours d'exécution sur la base de la réponse que nous recevons. Une fois le protocole identifié, nous procédons à un échange de protocole complet avec le service afin d'en recueillir tous les détails. Sur l'ensemble des services que nous voyons, Censys a la capacité de voir 97% d'entre eux indépendamment du port sur lequel ils fonctionnent. Les clients de Censys disposent ainsi de tous les détails concernant les protocoles et les services fonctionnant sur des ports non standard. Aujourd'hui, plus de 66 % des résultats de nos analyses proviennent de services inattendus sur des ports non standard.
Numérisation multi-perspectives . La numérisation à partir d'une seule perspective limite la visibilité du scanner. Nous avons récemment commencé à scanner à partir de trois fournisseurs de services aux États-Unis, en Europe et en Asie. Une étude récente à laquelle nous avons participé a montré que trois perspectives géographiques permettaient une visibilité de plus de 99 % de l'internet :
Sur la base des recherches récentes de Gan et al, nous avons commencé à scanner à partir de trois points de vue, ce qui nous permet de couvrir 99 % des hôtes Internet.
Rafraîchissement continu et augmentation de la fréquence de balayage . Nos données de balayage fournissent les informations les plus récentes sur l'internet, de sorte que nos clients ne perdent pas de temps à mener des enquêtes sur des données périmées. Cela est particulièrement important dans les environnements en nuage où les adresses IP changent fréquemment de mains et où des données vieilles d'une semaine sont synonymes de propriété périmée. Alors que notre concurrent le plus proche rafraîchit ses services en moyenne tous les 10 jours, notre nouvel ensemble de données rafraîchit les services en moyenne en moins de 48 heures.
Amélioration du contexte des services et des appareils : Nous avons amélioré notre détection des logiciels et des systèmes d'exploitation, et nous travaillons sur la détection des appareils IoT pour fournir plus de contexte sur les appareils et les services dans nos résultats d'analyse. Nous avons également adopté le format standard Common Platform Enumeration (CPE) pour les logiciels et les systèmes d'exploitation afin de faciliter la corrélation avec d'autres ensembles de données utilisant la norme CPE. Nous avons également décidé d'utiliser Recog pour l'identification de nos services, auxquels nous fournirons des empreintes digitales d'appareils à l'avenir.
Qu'est-ce que cela signifie pour Censys Data ?
Examinons nos statistiques d'évaluation comparative qui montrent comment nous nous situons par rapport à nos concurrents les plus proches en ce qui concerne l'étendue, la profondeur et la fréquence du balayage :
Comment les entreprises clientes peuvent-elles accéder au nouvel ensemble de données ?
Nous avons déjà utilisé le nouveau jeu de données en interne pour notre enquête SolarWinds , et nous sommes ravis de partager le jeu de données via le téléchargement et Google BigQuery avec nos clients Entreprise. Nous prévoyons de mettre le jeu de données à la disposition de tous dans l'interface utilisateur de recherche et l'API au deuxième trimestre de cette année. Nous continuerons à ajouter des caractéristiques et des fonctionnalités supplémentaires tout au long de l'année. Nous prévoyons notamment de proposer de nouveaux moyens d'accéder à nos données historiques via l'API et l'interface utilisateur.
Préparez-vous à une année passionnante au cours de laquelle nous ferons progresser la technologie du balayage Internet et offrirons de nouvelles fonctionnalités à notre communauté et à nos clients !
Références
L'origine du balayage : L'impact de la localisation sur les balayages à l'échelle de l'internet
Gerry Wan, Liz Izhikevich, David Adrian, Katsunari Yoshioka, Ralph Holz, Christian Rossow, Zakir Durumeric ; ACM Internet Measurement Conference (IMC), octobre 2020
LZR : Identifier les services Internet inattendus
Liz Izhikevich, Renata Teixeira, Zakir Durumeric ; USENIX Security Symposium, août 2021
