Si alguna vez ha intentado iniciar sesión en un sitio web, hay muchas posibilidades de que se le pida que ingrese algunos caracteres que no son fáciles de leer. Los caracteres ilegibles se llaman CAPTCHA. Son un poco molestos para los usuarios y a menudo vuelven locos a las personas que usan web scraping, ya que son difíciles de tratar scraping bots.
Hoy vamos a hablar sobre 5 cosas que necesitas saber sobre ayudarte a solver CAPTCHA en el web scraping
1. ¿Qué es CAPTCHA?
Según Wikipedia, CAPTCHA (Turing test pública completamente automatizada para distinguir a computadoras y humanos) es un tipo de prueba de challenge-response que se usa en la computación para determinar si el usuario es humano o no.
Se usa comúnmente en Internet, particularmente al comprar productos en línea o iniciar sesión en un website.
2. ¿Cómo funciona CAPTCHA?
La tecnología CAPTCHA se basa en la Turing Test, que se utiliza para probar si una máquina puede pensar como los humanos. El objetivo de CAPTCHA es hacer preguntas o hacer desafíos que las computadoras no pueden enfrentar. Por lo general, muestra una cadena distorsionada de caracteres o números aleatorios. Funciona porque un humano que mira una imagen distorsionada puede leer las palabras sin ningún desafío, mientras que una herramienta de scraping no las reconoce fácilmente. Incluso el sistema automatizado más sofisticado, que ha sido programado para escanear una imagen de una página de texto impreso y leer las palabras en la imagen, todavía tiene dificultades para leer las palabras cuando las palabras se oscurecen o distorsionan demasiado..
3. ¿Cuáles son los tipos comunes de CAPTCHA?
CAPTCHA viene en varios tamaños y de diferentes tipos. Los tipos más comunes de CAPTCHA son CAPTCHA basado en texto, CAPTCHA basado en imágenes y CAPTCHA basado en audio.
Una prueba CAPTCHA basada en texto se compone de dos partes simples: una secuencia de letras o números generados aleatoriamente que aparecen como una imagen distorsionada, y un cuadro de texto. Para pasar la prueba y demostrar su identidad humana, simplemente escriba los caracteres que ve en la imagen en el cuadro de texto.
Simplemente mostrar los personajes no es tan difícil para los bots. Para aumentar la dificultad, hay CAPTCHA matemático, que implica un problema matemático básico con números fáciles de leer y CAPTCHA 3D, que muestra los caracteres con efecto 3D.
CAPTCHA basado en imágenes generalmente proporciona a los usuarios imágenes de objetos, animales, personas o paisajes, en lugar de texto distorsionado, para distinguir a un humano de un programa de computadora. Los usuarios deben seleccionar las imágenes correctas que deben identificar o arrastrar un bloque a una imagen para completarla.
CAPTCHA basado en audio utiliza palabras o números aleatorios extraídos de grabaciones, los combina e incluso les agrega algo de ruido. Los usuarios deben ingresar las palabras o números en la grabación. Los CAPTCHA de sonido son más difíciles de manejar en comparación con el contenido y los CAPTCHA de imagen, ya que no es fácil dejar que un scraping bot aprenda a escuchar.
4. ¿Por qué los sitios web aplican CAPTCHA?
Hoy en día, la informática se ha generalizado, y las tareas y servicios computarizados son comunes, por lo que el aumento de los niveles de seguridad ha sido más importante. El desarrollo de CAPTCHA para computadoras es garantizar que se trate con humanos en situaciones donde la interacción humana es esencial para la seguridad, por ejemplo, iniciar sesión en un sitio web o pagar en Internet.
CAPTCHA también bloquea los spammers y los bots que intentan recolectar automáticamente datos en línea, intentan registrarse automáticamente o hacer uso de sitios web, blogs o foros. Protege a los sitios web de ser invadidos por spam, registros fraudulentos y otros comportamientos ilegales.
5. Cómo tratar CAPTCHA para el web scraping
CAPTCHA puede descomponer fácilmente los rastreadores que configuró una vez que se muestran en el proceso de extracción, por lo que lidiar con él es bastante esencial para el web scraping. La mejor manera de lidiar con CAPTCHA es hacer todo lo posible para evitar encontrarlo :). Nunca trata de scrapear un sitio web demasiado, sino que actúa más como un humano. (Tenemos otro artículo que habla sobre cómo evitar bloqueos durante el scraping y puede consultarlo aquí).
Pero todavía hay muchos CAPTCHA que no se pueden evitar, como el CAPTCHA en la página de inicio de sesión. En Octoparse, puedes resolver manualmente el CAPTCHA tan fácilmente como lo hace normalmente cuando navega por un sitio. (Mira un ejemplo aquí.)
Para las personas que codifican sus propios scrapers, hay muchos solucionadores CAPTCHA que pueden integrarse en su sistema de scraping. Por ejemplo, Death by CAPTCHA y Bypass CAPTCHA permiten a los usuarios conectar el servicio a través de API para darse cuenta de la resolución de CAPTCHA automáticamente durante el proceso de scraping. Estas herramientas de resolución de CAPTCHA pueden tratar con CAPTCHA de texto normal e incluso reCAPTCHA.
CAPTCHA puede ser un dolor para web scraping. Pero no te preocupes. Con cada generación de CAPTCHA, hay cada generación de bots. CAPTCHA se ha vuelto vencible con el surgimiento de herramientas de scraping y solucionadores CAPTCHA. Puedes disfrutar del web scraping sin inconvenientes con la ayuda de estas herramientas.
