Herramientas para capturar y convertir la web

GrabzIt Web Scraper API, Datos como servicio!

A trav√©s de la API de Web Scraper de GrabzIt podemos proporcionarle a su aplicaci√≥n datos raspados como un servicio web que le permite intrecuperar informaci√≥n raspada into su solicitud. los intGrabaci√≥n de datos into su aplicaci√≥n se logra a trav√©s de un controlador de devoluci√≥n de llamada, que es un script o aplicaci√≥n en una URL de acceso p√ļblico que procesa los datos enviados desde GrabzIt's Web Scraper. Los archivos completos se publican en este controlador de devoluci√≥n de llamada secuencialmente, por lo que, por ejemplo, podr√≠a comenzar con una serie de im√°genes antes de terminar con un JSON archivo, los datos en el archivo JSON podr√≠an analizarse f√°cilmente utilizando los m√©todos auxiliares en la biblioteca del cliente. Esta API tambi√©n permite que su aplicaci√≥n controle autom√°ticamente cu√°ndo se inician y se detienen los raspados, adem√°s de solicitar que se reenv√≠en los resultados.

Para comenzar primero crear un rasgu√Īo a continuaci√≥n, elija Opci√≥n de URL de devoluci√≥n de llamada desde la pesta√Īa Opciones de exportaci√≥n e ingrese la URL a su controlador de devoluci√≥n de llamada, por ejemplo http://www.example.com/handler/

Si tiene alg√ļn problema con su controlador de devoluci√≥n de llamada, elija el modo de depuraci√≥n en la pesta√Īa Opciones de Scrape. Esto generar√° la respuesta devuelta por el controlador de devoluci√≥n de llamada into los registros.

Callback Handler

Para procesar datos raspados dentro de su controlador de devoluci√≥n de llamada, elija las opciones JSON o XML en la pesta√Īa Exportar, ya que esto devuelve los datos en un formato que puede leer f√°cilmente cualquier lenguaje orientado a objetos.

Para los datos que no son datos JSON o XML, sus opciones de procesamiento son limitadas ya que los datos no son muy legibles por máquina, por lo que la mejor opción puede ser save el archivo al disco o en una base de datos.

Para ayudar a intproceso de integraci√≥n GrabzIt proporciona las siguientes API de scraper para los siguientes idiomas. Sin embargo, como nuestro c√≥digo es de c√≥digo abierto y est√° disponible en GitHub no hay ninguna raz√≥n por la que no pueda crear uno para un lenguaje de programaci√≥n que no est√© incluido aqu√≠ o puede solicitarnos que lo hagamos crea una biblioteca para ti. Si lo haces, ¬Ņpor qu√© no compartirlo con el mundo?

API ASP.NET Scraper API PHP Scraper API de Python Scraper

Si bien el controlador de devolución de llamada es la mejor manera de acercarse intGrabando el raspador web de GrabzIt con su aplicación también puede integrate a través de Amazon S3, Dropbox, FTP y WebDav.