Introducción
Estamos muy contentos de lanzar nuestro nuevo Conjunto Universal de Datos de Internet basado en la nueva tecnología de escaneado que hemos estado desarrollando durante los dos últimos años. Hemos introducido varios cambios fundamentales en la forma de abordar el escaneado de Internet, lo que ha dado como resultado la mejor visibilidad de Internet. Nuestra nueva capacidad de escaneado ve más de un 33% más de servicios que antes y un 97% más de servicios que la competencia.
La mejor visibilidad significa una gestión de la superficie de ataque aún mejor. Censys La plataforma Attack Surface Management (ASM) ha estado utilizando internamente estos datos durante aproximadamente un año, y no es necesario que los clientes actuales de ASM tomen ninguna medida. Sin embargo, debido a que hemos realizado cambios significativos en nuestro enfoque de escaneo, estamos liberando un conjunto de datos recién estructurado para los clientes Enterprise. En esta entrada, explicamos por qué hemos realizado cambios en nuestra forma de escanear, el impacto en nuestros datos, los beneficios para nuestros clientes y cómo los clientes empresariales pueden acceder al nuevo conjunto de datos.
¿Qué hay de nuevo?
Hemos introducido varios cambios fundamentales en nuestra forma de escanear Internet basándonos tanto en investigaciones revisadas por expertos como en nuestras propias experiencias de escaneado.
Descubrimiento automático de protocolos . Una investigación reciente de USENIX Security muestra que la mayoría de los servicios no viven en sus puertos asignados. Sorprendentemente, sólo el 3,0% de los servicios HTTP y el 6,4% de los TLS se ejecutan en los puertos 80 y 443, respectivamente. Además, Izhikevich et al. han demostrado que los servicios en puertos no estándar suelen ser menos seguros.
Izhikevich et al. han demostrado recientemente que el despliegue de protocolos es mucho más difuso de lo que se creía. La mayoría de los protocolos se ejecutan a través de miles o decenas de miles de puertos en lugar de en el puerto asignado.
A pesar de ello, la mayoría de los escáneres sólo buscan el protocolo asignado por IANA en cada puerto.
Hemos añadido detección automática de protocolo para cada puerto que escaneamos, lo que nos permite detectar casi siempre qué protocolo se está ejecutando en función de la respuesta que recibimos. Una vez que hemos identificado el protocolo, completamos un protocolo completo con el servicio para recopilar todos los detalles del servicio. Sobre todos los servicios que vemos, Censys tiene la capacidad de ver el 97% de ellos independientemente del puerto en el que se estén ejecutando. Esto proporciona a los clientes de Censys todos los detalles de los protocolos y servicios que se ejecutan en puertos no estándar. En la actualidad, más del 66% de los resultados de nuestros análisis proceden de servicios inesperados en puertos no estándar.
Escaneado multiperspectiva . Escanear desde una única perspectiva limita la visibilidad del escáner. Recientemente hemos empezado a escanear desde tres proveedores de servicios en Estados Unidos, Europa y Asia. Una investigación reciente que ayudamos a realizar demostró que 3 perspectivas geográficas proporcionan más del 99% de visibilidad de Internet:
Basándonos en las recientes investigaciones de Gan et al., hemos empezado a escanear desde tres perspectivas, lo que nos proporciona una cobertura del 99% de los hosts de Internet.
Actualización continua y mayor frecuencia de escaneado. Nuestros datos de escaneado proporcionan la información más actual y actualizada sobre Internet para que nuestros clientes no pierdan tiempo realizando investigaciones sobre datos obsoletos. Esto es especialmente importante en los entornos de nube, donde las direcciones IP cambian de manos con frecuencia y los datos de hace una semana suponen una propiedad obsoleta. Mientras que nuestro competidor más cercano actualiza los servicios cada 10 días de media, nuestro nuevo conjunto de datos actualiza los servicios en menos de 48 horas de media.
Contexto mejorado de servicios y dispositivos: Hemos mejorado nuestra detección de Software y Sistemas Operativos, y estamos trabajando en la detección de dispositivos IoT para proporcionar más contexto sobre los dispositivos y servicios en nuestros resultados de escaneo. También hemos adoptado el formato estándar Common Platform Enumeration (CPE) para software y sistemas operativos a fin de facilitar la correlación con otros conjuntos de datos que utilizan el estándar CPE. También hemos pasado a utilizar Recog para la identificación de nuestros servicios, a la que contribuiremos con huellas dactilares de dispositivos en el futuro.
¿Qué significa esto para Censys Data?
Veamos nuestras estadísticas de evaluación comparativa de la competencia, que muestran cómo nos comparamos con nuestros competidores más cercanos en amplitud, profundidad y frecuencia de escaneado:
¿Cómo pueden acceder las empresas al nuevo conjunto de datos?
Ya hemos estado utilizando el nuevo conjunto de datos internamente para nuestra investigación SolarWinds , y estamos muy contentos de compartir el conjunto de datos a través de descarga y Google BigQuery con nuestros clientes Enterprise. Tenemos previsto poner el conjunto de datos a disposición de todo el mundo en la interfaz de usuario y la API de búsqueda en el segundo trimestre de este año. Seguiremos añadiendo características y funciones adicionales a lo largo del año. En particular, tenemos previsto ofrecer nuevas formas de acceder a nuestros datos históricos a través de la API y la interfaz de usuario.
Prepárese para un año apasionante en el que avanzaremos en la tecnología de escaneado por Internet y ofreceremos nuevas e importantes funciones a nuestra comunidad y nuestros clientes.
Referencias
Sobre el origen del escaneado: El impacto de la ubicación en los escaneos a través de Internet
Gerry Wan, Liz Izhikevich, David Adrian, Katsunari Yoshioka, Ralph Holz, Christian Rossow, Zakir Durumeric; ACM Internet Measurement Conference (IMC), octubre de 2020.
LZR: Identificación de servicios de Internet inesperados
Liz Izhikevich, Renata Teixeira, Zakir Durumeric; USENIX Security Symposium, agosto de 2021
