Diferencias

Muestra las diferencias entre dos versiones de la página.

--- informatica:programacion:python:web_scraping [2021/05/22 12:14] – [Descargar ficheros] tempwin
+++ informatica:programacion:python:web_scraping [2022/01/15 16:26] (actual) – [Recursos] tempwin
@@ Línea 110: / Línea 110: @@
 import requests
-res = requests.get("https://example.org/fichero")
+# Con la petición vamos a personalizar la cabecera HTTP para
+# que el servidor "crea" que estamos utilizando un navegador web
+headers = {
+    "user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36"
+}
+url = "https://example.org/page"
+res = requests.get(url, headers=headers)
 # 'res' es el objeto con la respuesta
@@ Línea 130: / Línea 138: @@
   * [[https://lxml.de/|lxml]]
   * [[https://www.crummy.com/software/BeautifulSoup/|Beautiful Soup]]
+Hay una tercera posibilidad que es **Scrapy**, que es ya todo un framework para navegar por páginas, extraer información y moverse por las diferentes páginas de un mismo sitio.
+La ventaja de Beautiful Soup frente a lxml es poder movernos por elementos sin conocer su id o clase, solo con tener un punto de partida. Ejemplos de esto es el método ''find_next_sibling()''
 Es necesario instalar BeautifulSoup: ''pip install beautifulsoup4''
@@ Línea 251: / Línea 263: @@
   * [[https://towardsdatascience.com/everything-you-need-to-know-about-web-scraping-6541b241f27e|Everything you Need to Know About Web Scraping]]
+  * [[https://automatetheboringstuff.com/2e/chapter12/|Automate the Boring Stuff with Python: WEB SCRAPING]]
+  * [[https://toscrape.com/|Web Scraping Sandbox]]