En Georgia Tech, el profesor Alberto Dainotti y el Dr. Zachary Bischof imparten un curso de postgrado de reciente creación sobre Ciencia de Datos de Internet . Su objetivo es que los estudiantes conozcan la investigación puntera sobre redes, con especial atención a las técnicas de medición y los conjuntos de datos de Internet, para que luego puedan realizar análisis novedosos y ejecutar un proyecto final de diseño propio.
Uno de estos proyectos, realizado por Manasvini Sethuraman, se centró en comparar el conjunto de datos Censys con los datos del Censo de Internet ANT (Análisis del Tráfico de Red). Aunque ambos proyectos exploran el espacio de direcciones IPV4, una diferencia clave es que el Censo de Internet ANT se basa en pings ICMP, mientras que el enfoque de Censysutiliza protocolos de la capa de transporte (TCP/UDP). Esta diferencia de metodología crea perspectivas distintas en cuanto a la "viveza" de Internet.
Figura 1: Mapa de cortes de IODA por países, del 26 de febrero al 2 de marzo de 2024
El proyecto de Manasvini interesó especialmente a Alberto y Zachary por su relevancia en la detección de cortes de Internet. La plataforma de detección de cortes de su laboratorio, IODA (Internet Outage Detection and Analysis en http://ioda.live), ofrece un panel público de la conectividad a Internet en todo el mundo (Figura 1) y proporciona información sobre eventos como condiciones meteorológicas adversas o cortes ordenados por el gobierno en países como Irán. En línea desde 2016, IODA es utilizada en gran medida por un amplio conjunto de usuarios, incluidas organizaciones de derechos humanos (por ejemplo, Amnistía Internacional, Freedom House), agencias gubernamentales y organizaciones intergubernamentales (por ejemplo, US FCC, Naciones Unidas), periodistas e investigadores de la industria y el mundo académico. La plataforma incluye varias "señales de conectividad" para detectar cortes de Internet, una de las cuales -la señal de sondeo activo- se basa en pings ICMP para medir la conectividad e identificar los cortes. La incorporación de otras técnicas de sondeo, como las de Censys, podría permitir a IODA descubrir más hosts. Sin embargo, no estaba claro hasta qué punto estos hosts adicionales mejorarían la detección de cortes de IODA. Por ello, este proyecto se propuso responder a esta pregunta:
¿Podemos mejorar la detección de interrupciones de IODA aprovechando Censys?
IODA’s Active Probing signal is able to detect outages by leveraging the methodology of Trinocular. The main idea of Trinocular is to use Bayesian inference to determine the connectivity status at the granularity of a /24 block of IP addresses. This method requires the average availability (measured as the ratio between the number of responding hosts and the total number of hosts in the /24 block) be at least 0.3 to accurately and quickly detect Internet outages using very few probes. For blocks with low availability (<0.3), outage detection requires additional probing and can be much slower. Having a larger number of responsive hosts in a /24 makes outage detection faster and more reliable.
Desafortunadamente, algunas redes descartan cualquier tráfico ICMP entrante, otras contienen un número significativo de hosts que ignoran todas las sondas ICMP. En estos casos, IODA no puede detectar cortes. La incorporación de técnicas de sondeo TCP/UDP en Censyspodría ayudar a resolver este problema. Sin embargo, antes de invertir una cantidad significativa de tiempo y recursos en modificar los sistemas de sondeo activos de IODA, queríamos hacernos una idea de los beneficios potenciales. Comparando nueve instantáneas de ambos conjuntos de datos a lo largo de dos años, descubrimos que cada técnica identificaba de forma única millones de bloques /24 (Figura 2), lo que indica que la combinación de ambas técnicas puede reportar importantes beneficios.
Figura 2: Comparación de la cobertura de bloques /24 de ANT y Censys.
Mejora de la cobertura en bloque /24
Para saber si las sondas TCP/UDP podían mejorar la cobertura de bloques, comparamos la disponibilidad media de cada bloque /24 utilizando sólo ICMP frente al uso de sondas ICMP y TCP/UDP. Como se muestra en la Figura 3, se produjo una reducción significativa del número de bloques /24 con una disponibilidad inferior a 0,3 (1,8 millones frente a 2,3 millones sólo con ICMP). Cuando la disponibilidad de un bloque es mayor, su estado de conectividad puede determinarse de forma más fiable y rápida con menos sondas. Además, sólo se encontraron 328,5K bloques /24 en el conjunto de datos Censys , es decir, estos bloques sólo pudieron descubrirse mediante sondas TCP/UDP. De ellos, 106.000 podrían controlarse de forma fiable para detectar cortes. En general, la adición de sondas TCP/UDP tiene el potencial de reducir el número de bloques /24 no fiables en unos 800.000, lo que representa aproximadamente el 5% de todos los bloques /24 en IPv4.
Figura 3: Disponibilidad en bloque, comparando ICMP frente a ICMP + TCP + UDP
Mejora de la cobertura AS
A continuación, asignamos los bloques /24 a sus correspondientes sistemas autónomos (AS). A nivel de AS, comparamos la disponibilidad de los bloques /24 por término medio. En primer lugar, con las sondas TCP/UDP, encontramos muchos AS que no eran visibles a través de las sondas ICMP (1,8K o el 2% de los AS asignados). En segundo lugar, también descubrimos que la fracción de bloques fiables dentro de un AS aumentaba al añadir sondas TCP/UDP (Figura 4). Al analizar la distribución geográfica de los nuevos AS descubiertos, descubrimos que muchos de estos bloques y AS no supervisados anteriormente se encontraban en regiones que suelen estar críticamente subrepresentadas en la investigación de Internet, incluidas muchas regiones del Sur Global.
Figura 4: CDF de AS frente al número de /24 fiables (disponibilidad >0,3) dentro del AS
Conclusión
En nuestro trabajo, aprovechamos los datos de Censys para demostrar su potencial para mejorar la cobertura de bloques /24 para la detección de interrupciones complementando las sondas ICMP con técnicas de sondeo TCP/UDP. Aunque algunas de estas mejoras puedan parecer un pequeño porcentaje (es decir, el 5% de los bloques de direcciones IPv4, el 2% de las AS), se refieren a un conjunto extremadamente grande (es decir, toda Internet) y siguen siendo significativas. Permitir la detección de cortes para estas direcciones y redes podría representar potencialmente a millones de usuarios de Internet. Nuestro equipo de investigación cree que los resultados de este análisis indican que existe un potencial prometedor y planean incorporar técnicas de escaneo de Censys a la señal de sondeo activo de IODA.
