An der Georgia Tech unterrichten Prof. Alberto Dainotti und Dr. Zachary Bischof einen neu entwickelten Graduiertenkurs über Internet Data Science. Ziel des Kurses ist es, dass die Studierenden die Spitzenforschung im Bereich der Vernetzung kennenlernen, wobei der Schwerpunkt auf Internet-Messverfahren und Datensätzen liegt, so dass sie anschließend neuartige Analysen durchführen und ein Abschlussprojekt nach eigenem Entwurf durchführen können.
Eines dieser Projekte, das von Manasvini Sethuraman durchgeführt wurde, konzentrierte sich auf den Vergleich des Datensatzes Censys mit den Daten des ANT (Analysis of Network Traffic) Internet Census. Während beide Projekte den IPV4-Adressraum abfragen, besteht ein wesentlicher Unterschied darin, dass die ANT-Internet-Zählung auf ICMP-Pings beruht, während CensysProtokolle der Transportschicht (TCP/UDP) verwendet. Dieser Unterschied in der Methodik schafft unterschiedliche Perspektiven in Bezug auf die "Lebendigkeit" des Internets.
Abbildung 1: IODAs Karte der Ausfälle auf Länderebene, 26. Februar bis 2. März 2024
Das Projekt von Manasvini war für Alberto und Zachary aufgrund seiner Bedeutung für die Erkennung von Internetausfällen von besonderem Interesse. Die Ausfallerkennungsplattform ihres Labors, IODA (Internet Outage Detection and Analysis at http://ioda.live), bietet ein öffentliches Dashboard der weltweiten Internetkonnektivität (Abbildung 1) und gibt Einblick in Ereignisse wie Unwetter oder staatlich angeordnete Abschaltungen in Ländern wie dem Iran. IODA ist seit 2016 online und wird von einer Vielzahl von Nutzern verwendet, darunter Menschenrechtsorganisationen (z. B. Amnesty International, Freedom House), Regierungsbehörden und zwischenstaatliche Organisationen (z. B. US FCC, Vereinte Nationen), Journalisten und Forscher aus Industrie und Wissenschaft. Die Plattform umfasst mehrere "Konnektivitätssignale" zur Erkennung von Internetausfällen, von denen eines - das Active-Probing-Signal - auf ICMP-Pings beruht, um die Konnektivität zu messen und Ausfälle zu erkennen. Durch die Einbeziehung zusätzlicher Sondierungstechniken, wie sie z. B. von Censys genutzt werden, könnte IODA möglicherweise mehr Hosts entdecken. Es war jedoch unklar, inwieweit diese zusätzlichen Hosts die Erkennung von Ausfällen durch IODA verbessern würden. In diesem Projekt wurde daher versucht, diese Frage zu beantworten:
Können wir die Ausfallerkennung von IODA durch die Nutzung von Censys verbessern?
IODA’s Active Probing signal is able to detect outages by leveraging the methodology of Trinocular. The main idea of Trinocular is to use Bayesian inference to determine the connectivity status at the granularity of a /24 block of IP addresses. This method requires the average availability (measured as the ratio between the number of responding hosts and the total number of hosts in the /24 block) be at least 0.3 to accurately and quickly detect Internet outages using very few probes. For blocks with low availability (<0.3), outage detection requires additional probing and can be much slower. Having a larger number of responsive hosts in a /24 makes outage detection faster and more reliable.
Leider wird in einigen Netzen jeglicher eingehender ICMP-Verkehr verworfen, in anderen gibt es eine beträchtliche Anzahl von Hosts, die alle ICMP-Probes ignorieren. In solchen Fällen ist IODA derzeit nicht in der Lage, Ausfälle zu erkennen. Die Einbeziehung von Censys' TCP/UDP-Sondierungstechniken könnte helfen, dieses Problem zu lösen. Bevor wir jedoch viel Zeit und Ressourcen in die Modifizierung der aktiven Prüfsysteme von IODA investieren, wollten wir uns zunächst ein Bild von den möglichen Vorteilen machen. Beim Vergleich von neun Snapshots aus beiden Datensätzen über zwei Jahre hinweg stellten wir fest, dass Millionen von /24-Blöcken von jeder Technik eindeutig identifiziert wurden (Abbildung 2), was auf erhebliche potenzielle Vorteile der Kombination beider Techniken hindeutet.
Abbildung 2: Vergleich der /24-Blockabdeckung von ANT und Censys.
Verbesserung der /24-Blockabdeckung
Um herauszufinden, ob TCP/UDP-Sonden die Blockabdeckung verbessern könnten, verglichen wir die durchschnittliche Verfügbarkeit jedes /24-Blocks nur mit ICMP und mit ICMP- und TCP/UDP-Sonden. Wir stellten fest, dass die Anzahl der /24-Blöcke mit einer Verfügbarkeit von weniger als 0,3 (1,8 Mio. gegenüber 2,3 Mio. bei ausschließlicher Verwendung von ICMP) deutlich zurückging (siehe Abbildung 3). Wenn die Verfügbarkeit eines Blocks höher ist, kann sein Konnektivitätsstatus mit weniger Tests zuverlässiger und schneller ermittelt werden. Außerdem wurden 328,5K /24-Blöcke nur im Censys -Datensatz gefunden, d. h. diese Blöcke konnten nur über TCP/UDP-Sonden ermittelt werden. Von diesen Blöcken konnten wahrscheinlich 106k zuverlässig für die Erkennung von Ausfällen überwacht werden. Insgesamt kann durch das Hinzufügen von TCP/UDP-Sonden die Zahl der unzuverlässigen /24-Blöcke um etwa 800k reduziert werden, was etwa ~5% aller /24-Blöcke in IPv4 entspricht.
Abbildung 3: Blockverfügbarkeit im Vergleich zwischen ICMP und ICMP + TCP + UDP
Verbesserung der AS-Deckung
Anschließend haben wir die /24-Blöcke den entsprechenden autonomen Systemen (AS) zugeordnet. Auf AS-Ebene verglichen wir dann die durchschnittliche Verfügbarkeit von /24-Blöcken. Erstens fanden wir mit TCP/UDP-Sonden viele AS, die durch ICMP-Sonden nicht sichtbar waren (1,8K oder 2 % der zugewiesenen AS). Zweitens stellten wir fest, dass der Anteil der zuverlässigen Blöcke innerhalb einer AS zunahm, wenn TCP/UDP-Sonden hinzugefügt wurden (Abbildung 4). Bei der Analyse der geografischen Verteilung der neu entdeckten AS fanden wir heraus, dass viele dieser zuvor nicht überwachten Blöcke und AS in Regionen liegen, die in der Internetforschung oft stark unterrepräsentiert sind, darunter viele Regionen im globalen Süden.
Abbildung 4: CDF der AS im Vergleich zur Anzahl der zuverlässigen (Verfügbarkeit >0,3) /24s innerhalb der AS
Schlussfolgerung
In unserer Arbeit haben wir die Daten von Censys genutzt, um das Potenzial zur Verbesserung der Abdeckung von /24-Blöcken für die Erkennung von Ausfällen zu demonstrieren, indem wir ICMP-Sonden mit TCP/UDP-Sondierungstechniken ergänzten. Obwohl einige dieser Verbesserungen wie ein kleiner Prozentsatz erscheinen mögen (z. B. 5 % der IPv4-Adressblöcke, 2 % der AS), sind sie aus einer extrem großen Menge (d. h. aus dem gesamten Internet) und dennoch signifikant. Die Erkennung von Ausfällen bei diesen Adressen und Netzen könnte potenziell Millionen von Internetnutzern betreffen. Unser Forschungsteam ist der Ansicht, dass die Ergebnisse dieser Analyse auf ein vielversprechendes Potenzial hindeuten und plant, die Scan-Techniken von Censys in das Active-Probing-Signal von IODA einzubinden.
