À Georgia Tech, le professeur Alberto Dainotti et le docteur Zachary Bischof enseignent un nouveau cours de troisième cycle sur la science des données Internet. L'objectif est de permettre aux étudiants de se familiariser avec la recherche de pointe sur les réseaux, en mettant l'accent sur les techniques de mesure de l'internet et les ensembles de données, afin qu'ils puissent ensuite effectuer de nouvelles analyses et réaliser un projet final de leur propre conception.
L'un de ces projets, mené par Manasvini Sethuraman, a consisté à comparer l'ensemble de données Censys avec les données du recensement Internet ANT (Analysis of Network Traffic). Bien que ces projets analysent tous deux l'espace d'adresses IPV4, une différence essentielle réside dans le fait que le recensement Internet ANT s'appuie sur des pings ICMP, tandis que l'approche de Censysutilise les protocoles de la couche transport (TCP/UDP). Cette différence de méthodologie crée des perspectives distinctes en termes de "vivacité" de l'internet.
Figure 1 : Carte des pannes au niveau national de l'IODA, du 26 février au 2 mars 2024
Le projet de Manasvini a particulièrement intéressé Alberto et Zachary en raison de son intérêt pour la détection des pannes d'Internet. La plateforme de détection des pannes de leur laboratoire, IODA (Internet Outage Detection and Analysis at http://ioda.live), fournit un tableau de bord public de la connectivité Internet dans le monde (figure 1) et donne un aperçu d'événements tels que les intempéries ou les fermetures ordonnées par le gouvernement dans des pays comme l'Iran. En ligne depuis 2016, IODA est largement utilisé par un large éventail d'utilisateurs, notamment des organisations de défense des droits de l'homme (par exemple, Amnesty International, Freedom House), des agences gouvernementales et des organisations intergouvernementales (par exemple, la FCC américaine, les Nations unies), des journalistes et des chercheurs de l'industrie et du monde universitaire. La plateforme comprend plusieurs "signaux de connectivité" pour détecter les pannes d'Internet, dont l'un - le signal de sondage actif - repose sur des pings ICMP pour mesurer la connectivité et identifier les pannes. L'intégration de techniques de sondage supplémentaires, telles que celles exploitées par Censys, pourrait permettre à l'IODA de découvrir davantage d'hôtes. Cependant, il n'était pas clair dans quelle mesure ces hôtes supplémentaires amélioreraient la détection des pannes par IODA. Ce projet a donc pour but de répondre à cette question :
Peut-on améliorer la détection des pannes de IODA en s'appuyant sur Censys?
IODA’s Active Probing signal is able to detect outages by leveraging the methodology of Trinocular. The main idea of Trinocular is to use Bayesian inference to determine the connectivity status at the granularity of a /24 block of IP addresses. This method requires the average availability (measured as the ratio between the number of responding hosts and the total number of hosts in the /24 block) be at least 0.3 to accurately and quickly detect Internet outages using very few probes. For blocks with low availability (<0.3), outage detection requires additional probing and can be much slower. Having a larger number of responsive hosts in a /24 makes outage detection faster and more reliable.
Malheureusement, certains réseaux rejettent tout trafic ICMP entrant, d'autres contiennent un nombre important d'hôtes qui ignorent toutes les sondes ICMP. Dans de tels cas, IODA est actuellement incapable de détecter les pannes. L'intégration de Censys' TCP/UDP probing techniques pourrait aider à résoudre ce problème. Cependant, avant d'investir beaucoup de temps et de ressources dans la modification des systèmes de sondage actifs de IODA, nous voulions d'abord avoir une idée des avantages potentiels. En comparant neuf instantanés des deux ensembles de données sur deux ans, nous avons constaté que des millions de blocs /24 étaient identifiés de manière unique par chaque technique (figure 2), ce qui indique que la combinaison des deux techniques présente des avantages potentiels significatifs.
Figure 2 : Comparaison de la couverture des blocs /24 entre ANT et Censys.
Amélioration de la couverture des blocs /24
Pour savoir si les sondes TCP/UDP pouvaient améliorer la couverture des blocs, nous avons comparé la disponibilité moyenne de chaque bloc /24 en utilisant uniquement ICMP par rapport à l'utilisation des sondes ICMP et TCP/UDP. Nous avons constaté une réduction significative du nombre de blocs /24 dont la disponibilité est inférieure à 0,3 (1,8 million contre 2,3 millions avec ICMP uniquement), comme le montre la figure 3. Lorsque la disponibilité d'un bloc est plus élevée, son état de connectivité peut être déterminé de manière plus fiable et plus rapide avec moins de sondes. En outre, 328,5K blocs /24 n'ont été trouvés que dans l'ensemble de données Censys , c'est-à-dire que ces blocs n'ont pu être découverts que par le biais de sondes TCP/UDP. Parmi ceux-ci, 106k pourraient probablement être surveillés de manière fiable pour la détection des pannes. Globalement, l'ajout de sondes TCP/UDP pourrait réduire le nombre de blocs /24 non fiables d'environ 800 000, ce qui représente environ 5 % de tous les blocs /24 en IPv4.
Figure 3 : Disponibilité des blocs, comparaison entre ICMP et ICMP + TCP + UDP
Améliorer la couverture de l'AS
Nous avons ensuite mis en correspondance les blocs /24 avec les systèmes autonomes (AS) correspondants. Au niveau de l'AS, nous avons ensuite comparé la disponibilité des blocs /24 en moyenne. Tout d'abord, avec les sondes TCP/UDP, nous avons trouvé de nombreux AS qui n'étaient pas visibles par les sondes ICMP (1,8K ou 2% des AS assignés). Deuxièmement, nous avons également constaté que la fraction de blocs fiables au sein d'un AS augmentait lors de l'ajout de sondes TCP/UDP (figure 4). En analysant la distribution géographique des AS nouvellement découverts, nous avons constaté qu'un grand nombre de ces blocs et AS précédemment non surveillés étaient situés dans des régions qui sont souvent sous-représentées de manière critique dans la recherche sur l'internet, y compris de nombreuses régions du Sud.
Figure 4 : CDF des AS en fonction du nombre d'AS fiables (disponibilité >0.3) /24 au sein de l'AS
Conclusion
Dans le cadre de nos travaux, nous avons exploité les données du site Censys pour démontrer qu'il est possible d'améliorer la couverture des blocs /24 pour la détection des pannes en complétant les sondes ICMP par des techniques de sondage TCP/UDP. Bien que certaines de ces améliorations puissent sembler un faible pourcentage (5 % des blocs d'adresses IPv4, 2 % des AS), elles concernent un ensemble extrêmement vaste (c'est-à-dire l'ensemble de l'internet) et restent significatives. La détection des pannes pour ces adresses et ces réseaux pourrait potentiellement représenter des millions d'utilisateurs de l'internet. Notre équipe de recherche estime que les résultats de cette analyse indiquent un potentiel prometteur et prévoit d'incorporer les techniques de balayage Censys dans le signal Active Probing de l'IODA.
