Un mensaje del cofundador de Censys , Zakir Durumeric.
Cuando se lanzó Censys Search en 2015, modelamos hosts de Internet cosiendo escaneos semanales de ZMap y ZGrab de 11 protocolos en 14 puertos. Desde entonces, Censys ha crecido considerablemente. Hemos salido de la Universidad de Michigan, recaudando capital de riesgo de Google Ventures, Greylock y Decibel, y hemos lanzado la plataformaCensys Attack Surface Management (ASM). También hemos mejorado notablemente nuestra recopilación de datos de Internet.
En la actualidad, escaneamos continuamente más de 2.500 puertos, realizamos la detección automática de protocolos y escaneamos desde múltiples ISP de primer nivel. También garantizamos la máxima confianza en nuestros datos con actualizaciones de 24 horas de los servicios conocidos.
Ponemos estos datos a disposición del público con el lanzamiento de la versión beta de Censys Search 2.0, a la que se puede acceder directamente en: https://search.censys.io. Censys Al igual que su predecesor, Search 2.0 ofrecerá un nivel comunitario gratuito y un nivel profesional de pago. A continuación describimos los cambios más interesantes e importantes de nuestra infraestructura de recopilación de datos y nuestro nuevo motor de búsqueda.
Funciones mejoradas de exploración y recopilación de datos
Descubrimiento continuo de hosts. Censys 2.0 cuenta con un nuevo motor de escaneo continuo que prioriza los puertos, protocolos y redes más populares sobre los demás. Escaneamos los 2.500 puertos principales en todo el espacio de direcciones IPv4 cada 10 días y los 100 puertos principales cada día. También escaneamos proveedores de nube populares (por ejemplo, AWS y GCP) todos los días en busca de nuevos servicios. Todos los usuarios tendrán acceso a los resultados de los análisis.
Actualización diaria de datos. Los servicios de Internet cambian constantemente, mucho más rápido de lo que podemos verlos en nuestras exploraciones regulares de descubrimiento de servicios (iterar a través de 2.500 puertos en 3.700 millones de direcciones lleva un poco de tiempo). Para garantizar la actualización de los resultados, actualizamos diariamente los datos sobre los servicios conocidos. Con este proceso, el tiempo medio de observación de los servicios* no supera las 16 horas.
Detección automática de protocolos. Investigaciones recientes han demostrado que un número asombroso de servicios se ejecutan en puertos inesperados, y que los servicios en puertos inesperados tienden a tener más problemas de seguridad. Censys detecta protocolos en puertos inesperados y completa un protocolo completo handshake después de la identificación. Actualmente, la mayoría de los servicios catalogados por Censys se encuentran en puertos no estándar.
Exploración multiperspectiva. El escaneado sin estado es vulnerable a la pérdida irrevocable de datos en caso de caída de paquetes, y la visibilidad global depende del proveedor de Internet. Censys se asocia con tres proveedores de servicios de Internet de primer nivel (NTT, Telia y Hurricane Electric) y escanea desde ellos, lo que nos proporciona una cobertura de casi el 99% de los hosts a la escucha y protección contra la caída de paquetes. Estamos impacientes por añadir un centro de datos adicional en Europa y dos proveedores de servicios Tier-1 más a finales de este año.
Nuevas funciones de Búsqueda 2.0
La apariencia de la interfaz de usuario de Censys Search 2.0 debería resultarle familiar, pero hay algunas grandes diferencias que permiten una mayor flexibilidad a la hora de buscar e interactuar con nuestros datos:
Modelo de datos simplificado. Estamos introduciendo un nuevo modelo de datos para hosts IPv4 que tiene en cuenta la complejidad de que cualquier servicio pueda aparecer en cualquier puerto. El nuevo esquema es más simple y esperamos que más fácil de usar, pero requerirá la actualización de sus búsquedas existentes para consultar los nuevos nombres de campo. [más información]
Contexto mejorado de servicios y dispositivos. Hemos mejorado nuestra detección de software, sistemas operativos y dispositivos IoT. También hemos migrado nuestro etiquetado de software, SO y dispositivos al formato CPE para mejorar la interoperabilidad con herramientas y conjuntos de datos de terceros.
Censys Lenguaje de búsqueda. Hemos desarrollado un nuevo DSL de búsqueda que permite una mayor flexibilidad en la consulta a través de puertos y protocolos, en particular a través de múltiples puertos y protocolos. Por ejemplo, puede buscar un banner en cualquier protocolo de cualquier puerto, datos TLS en cualquier puerto o la configuración de un servicio en un puerto y protocolo específicos. [más información]
Historial de hosts. Hemos empezado a hacer un seguimiento del historial de servicios en hosts individuales, al que se puede acceder a través de la interfaz de usuario web y de nuestra API REST. Los usuarios de la comunidad pueden ver el historial de la última semana; el historial completo está disponible para los usuarios de pago.
API de búsqueda rápida. Estamos introduciendo una nueva API de búsqueda rápida que permite a los usuarios buscar hosts y certificados en masa. La API está disponible para todos los usuarios.
Comunidad, investigación y acceso de pago
Censys La Búsqueda 2.0, que incluye el acceso a todos nuestros datos de escaneado actuales, estará disponible de forma gratuita para los usuarios de la comunidad. Además de las funciones existentes de Pro Search, los usuarios de pago podrán consultar el historial completo de hosts y realizar búsquedas de API de alta velocidad. Consulte nuestro sitio web para obtener más información sobre el acceso comercial y los conjuntos de datos descargables.
Seguiremos apoyando la investigación no comercial, y estamos pasando a todos los investigadores al nuevo Conjunto Universal de Datos de Internet que impulsa la Búsqueda 2.0. Además, proporcionaremos a todos los estudiantes, profesores e investigadores no comerciales cuentas gratuitas de Censys Pro Search.
Funciones que desaparecen
Como parte de la actualización, hay algunas funciones que estamos eliminando y sobre las que queremos llamar su atención:
- Biblioteca ZTag. Cuando pusimos en marcha Censys, desarrollamos una biblioteca interna de etiquetado de servicios, ZTag. Paralelamente, H.D. Moore et al. de Rapid7 desarrollaron Recog. Hemos migrado de ZTag a Recog en nuestra nueva canalización de datos y estamos dejando de utilizar ZTag. En el futuro contribuiremos con huellas dactilares a Recog, y animamos a la comunidad a hacer lo mismo.
- Búsquedas de expresiones regulares. Censys admitía originalmente búsquedas de expresiones regulares en los datos escaneados. Dado que esta función se utilizaba con poca frecuencia y presentaba problemas de compatibilidad con los índices de Elasticsearch, la hemos restringido a los usuarios comerciales para garantizar que podamos atender adecuadamente estas solicitudes de alto coste computacional.
- Campos para vulnerabilidades TLS. Cuando lanzamos Censys, estábamos interesados en rastrear una serie de vulnerabilidades TLS de primera línea que se han rectificado en gran medida en los años transcurridos desde entonces. Censys ya no realiza escaneos para comprobar cifrados de grado de exportación o SSLv3. Es probable que en el futuro introduzcamos pruebas de vulnerabilidad TLS más exhaustivas.
* La media de puntos de observación de los servicios excluye los pseudoservicios como los honeypots y los middleboxes que escuchan en todos los puertos.
