Un message de Zakir Durumeric, cofondateur de Censys .
Lorsque Censys Search a été lancé en 2015, nous avons modélisé des hôtes Internet en assemblant des scans hebdomadaires ZMap et ZGrab de 11 protocoles sur 14 ports. Depuis, Censys s'est considérablement développé. Nous nous sommes détachés de l'Université du Michigan, en levant du capital-risque auprès de Google Ventures, Greylock et Decibel, et nous avons lancé la plateforme de gestion de la surface d'attaque (ASM)Censys . Nous avons également amélioré de façon spectaculaire notre collecte de données sur l'internet.
Aujourd'hui, nous analysons en permanence plus de 3 500 ports, nous effectuons une détection automatique des protocoles et nous analysons les données de plusieurs fournisseurs d'accès Internet de niveau 1. Nous garantissons également la plus grande confiance dans nos données en actualisant 24 heures sur 24 les services connus.
Nous mettons ces données à la disposition du public avec le lancement officiel de Censys Search 2.0, qui est directement accessible à l'adresse suivante : https://search.censys.io. Censys Search 2.0, comme son prédécesseur, proposera un volet communautaire gratuit et un volet professionnel payant. Nous décrivons ci-dessous les changements les plus intéressants et les plus importants apportés à notre infrastructure de collecte de données et à notre nouveau moteur de recherche.
Fonctionnalités améliorées d'analyse et de collecte de données
Continuous Host Discovery. Censys La version 2.0 est dotée d'un nouveau moteur de balayage continu qui donne la priorité aux ports, protocoles et réseaux les plus populaires. Nous analysons les 3 500 premiers ports de l'espace d'adressage IPv4 tous les 10 jours et les 100 premiers ports tous les jours. Nous analysons également les fournisseurs de services en nuage les plus populaires (par exemple, AWS et GCP) tous les jours à la recherche de nouveaux services. Tous les utilisateurs auront accès à tous les résultats des analyses.
Actualisation quotidienne des données. Les services Internet changent constamment - beaucoup plus rapidement que nous ne pouvons les voir dans nos analyses régulières de découverte de services (itérer à travers 3 500 ports sur 3,7 milliards d'adresses prend un peu de temps !) Pour garantir la mise à jour des résultats, nous actualisons quotidiennement les données relatives aux services connus. Grâce à ce processus, le temps d'observation moyen des services* est inférieur à 16 heures.
Détection automatique des protocoles. Des recherches récentes ont montré qu'un nombre stupéfiant de services s'exécutent sur des ports inattendus et que les services sur des ports inattendus ont tendance à avoir plus de problèmes de sécurité. Censys détecte les protocoles sur des ports inattendus et complète une poignée de main de protocole complète après l'identification. Aujourd'hui, la majorité des services répertoriés par Censys se trouvent sur des ports non standard.
Balayage multi-perspectives. L'analyse sans état est vulnérable à la perte irrévocable de données en cas de chute de paquets, et la visibilité globale dépend du fournisseur d'accès à Internet. Censys se connecte à trois fournisseurs d'accès à Internet de niveau 1 (NTT, Telia et Hurricane Electric) et les analyse, ce qui nous donne une couverture de près de 99 % des hôtes à l'écoute et une protection contre la chute de paquets. Nous sommes impatients d'ajouter un centre de données supplémentaire en Europe et deux autres fournisseurs de services de niveau 1 dans le courant de l'année.
Nouvelles fonctionnalités de Search 2.0
L'apparence de l'interface utilisateur de Censys Search 2.0 devrait être familière, mais il y a quelques grandes différences qui permettent une plus grande flexibilité dans la recherche et l'interaction avec nos données :
Modèle de données simplifié. Nous introduisons un nouveau modèle de données pour les hôtes IPv4 qui tient compte du fait que tout service peut apparaître sur n'importe quel port. Le nouveau schéma est plus simple et, nous l'espérons, plus facile à utiliser, mais il nécessitera la mise à jour de vos recherches existantes pour interroger les nouveaux noms de champs. De plus amples informations sur le modèle de données sont disponibles ici.
Amélioration du contexte des services et des appareils. Nous avons amélioré notre détection des logiciels, des systèmes d'exploitation et des appareils IoT. Nous avons également migré notre étiquetage des logiciels, des systèmes d'exploitation et des appareils vers le format CPE pour améliorer l'interopérabilité avec les outils et les ensembles de données tiers.
Censys Langage de recherche. Nous avons développé un nouveau langage de recherche qui permet une plus grande flexibilité dans les requêtes à travers les ports et les protocoles, en particulier à travers plusieurs ports et protocoles. Par exemple, vous pouvez rechercher une bannière sur n'importe quel protocole sur n'importe quel port, des données TLS sur n'importe quel port ou une configuration de service sur un port et un protocole spécifiques. Pour plus d'informations et d'exemples, consultez notre Centre d'assistance.
Historique des hôtes. Nous avons commencé à suivre l'historique des services sur les hôtes individuels, qui est accessible via l'interface Web ainsi que notre API REST. Les utilisateurs de la communauté peuvent consulter l'historique de la semaine écoulée ; l'historique complet est disponible pour les utilisateurs payants.
API de consultation rapide. Nous introduisons une nouvelle API de consultation rapide qui permet aux utilisateurs de consulter des hôtes et des certificats en masse. L'API est disponible pour tous les utilisateurs.
Communauté, recherche et accès payant
Censys Search 2.0, qui comprend l'accès à toutes nos données d'analyse actuelles, sera disponible gratuitement pour les utilisateurs de la communauté. En plus des fonctionnalités existantes de Pro Search, les utilisateurs payants seront en mesure de consulter l'historique complet des hôtes et d'effectuer des recherches API à grande vitesse. Consultez notre site web pour plus d'informations sur l'accès commercial ainsi que sur les ensembles de données téléchargeables.
Nous continuerons à soutenir la recherche non commerciale et nous sommes en train de faire passer tous les chercheurs au nouveau jeu de données Internet universel qui alimente Search 2.0. En outre, nous fournirons à tous les étudiants, professeurs et chercheurs non commerciaux des comptes gratuits Censys Pro Search.
Fonctionnalités qui disparaissent
Dans le cadre de cette mise à jour, nous avons supprimé quelques fonctionnalités sur lesquelles nous souhaitons attirer votre attention :
- Bibliothèque ZTag. Lorsque nous avons lancé Censys, nous avons développé une bibliothèque d'étiquetage de service interne, ZTag. Parallèlement, H.D. Moore et al. de Rapid7 ont développé Recog. Nous avons migré de ZTag à Recog dans notre nouveau pipeline de données et supprimons ZTag. Nous contribuerons à l'avenir aux empreintes digitales dans Recog et nous encourageons la communauté à faire de même.
- Recherches par expressions régulières. Censys permettait à l'origine d'effectuer des recherches par expressions régulières dans les données d'analyse. Cette fonctionnalité étant rarement utilisée et présentant des problèmes de compatibilité avec les index Elasticsearch, nous la réservons aux utilisateurs commerciaux afin de pouvoir répondre de manière appropriée à ces demandes coûteuses en termes de calcul.
- Champs pour les vulnérabilités TLS. Lorsque nous avons lancé Censys, nous souhaitions suivre un certain nombre de vulnérabilités TLS qui ont été largement corrigées au cours des années qui ont suivi. Censys n'effectue plus de scans pour vérifier les algorithmes de chiffrement de niveau export ou SSLv3. Nous introduirons probablement des tests de vulnérabilité TLS plus complets à l'avenir.
* La moyenne des points d'observation pour les services exclut les pseudo-services tels que les pots de miel et les boîtes intermédiaires qui écoutent sur tous les ports.
