python爬虫-urllib 最后更新时间：2021年08月05日 #### urllib.request 打开和读取 URL。 ##### Request 创建请求(request)对象，构建user-agent。 示例： ```python import urllib.request url = "https://www.baidu.com" headers = {'User-Agent':'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'} #头部信息 req = urllib.request.Request(url = url,headers = headers) ``` ##### urlopen 获取响应对象。即模拟浏览器发起请求。 示例： ```python res = urllib.request.urlopen(req) ``` ##### read 获取相应对象内容。 示例： ```python html = res.read() ``` #### urllib.parse url解析。 ##### urlencode 对字典进行url解析，将键值转换为十六进制。 示例： ```python import urllib.parse k = {"kw":"练习"} zhi = urllib.parse.urlencode(k) print(zhi) # ==> kw=%E7%BB%83%E4%B9%A0 ``` ##### qupote 对字字符进行url解析，将键值转换为十六进制。 示例： ```python import urllib.parse k = "练习" zhi = urllib.parse.quote(k) print(zhi) # ==> %E7%BB%83%E4%B9%A0 ```
Comments | NOTHING