Herramientas para capturar y convertir la web

GrabzIt Web Scraper API, Datos como servicio!

A través de la API de Web Scraper de GrabzIt podemos proporcionarle a su aplicación datos raspados como un servicio web que le permite intrecuperar información raspada into su solicitud. los intGrabación de datos into su aplicación se logra a través de un controlador de devolución de llamada, que es un script o aplicación en una URL de acceso público que procesa los datos enviados desde GrabzIt's Web Scraper. Los archivos completos se publican en este controlador de devolución de llamada secuencialmente, por lo que, por ejemplo, podría comenzar con una serie de imágenes antes de terminar con un JSON archivo, los datos en el archivo JSON podrían analizarse fácilmente utilizando los métodos auxiliares en la biblioteca del cliente. Esta API también permite que su aplicación controle automáticamente cuándo se inician y se detienen los raspados, además de solicitar que se reenvíen los resultados.

Para comenzar primero crear un rasguño a continuación, elija Opción de URL de devolución de llamada desde la pestaña Opciones de exportación e ingrese la URL a su controlador de devolución de llamada, por ejemplo http://www.example.com/handler/

Si tiene algún problema con su controlador de devolución de llamada, elija el modo de depuración en la pestaña Opciones de Scrape. Esto generará la respuesta devuelta por el controlador de devolución de llamada into los registros.

Callback Handler

Para procesar datos raspados dentro de su controlador de devolución de llamada, elija las opciones JSON o XML en la pestaña Exportar, ya que esto devuelve los datos en un formato que puede leer fácilmente cualquier lenguaje orientado a objetos.

Para los datos que no son datos JSON o XML, sus opciones de procesamiento son limitadas ya que los datos no son muy legibles por máquina, por lo que la mejor opción puede ser save el archivo al disco o en una base de datos.

Para ayudar a intproceso de integración GrabzIt proporciona las siguientes API de scraper para los siguientes idiomas. Sin embargo, como nuestro código es de código abierto y está disponible en GitHub no hay ninguna razón por la que no pueda crear uno para un lenguaje de programación que no esté incluido aquí o puede solicitarnos que lo hagamos crea una biblioteca para ti. Si lo haces, ¿por qué no compartirlo con el mundo?

API ASP.NET Scraper API PHP Scraper API de Python Scraper

Si bien el controlador de devolución de llamada es la mejor manera de acercarse intGrabando el raspador web de GrabzIt con su aplicación también puede integrate a través de Amazon S3, Dropbox, FTP y WebDav.