Python数据抓取爬虫代理防封封IP技巧!

 时间:2024-10-13 10:55:15

1、划重点,小编我用的是Python3哦,所以要导入urllib的request,然后我们调用ProxyHand造婷用痃ler,它可以接收代理IP的参数。代理可以根据自己需要选择,当然免费的也是有的,但是可用率可想而知的。(飞猪IP)

Python数据抓取爬虫代理防封封IP技巧!

2、接着把IP地址以字典的形式放入其中,这个IP常挢傣捅地址是我乱写的,只是用来举例。设置键为http,当然有樱厮吞簌些是https的,然后后面就是IP地址以及端口号(9000),具体看你的IP地址是什么类型的,不同IP端口号可能不同根据你在飞猪提取的端口为准。

Python数据抓取爬虫代理防封封IP技巧!

3、接着再用build_opener()来构建一个opener对象。

Python数据抓取爬虫代理防封封IP技巧!

4、然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open(),这里就相当于我们自己重写。

Python数据抓取爬虫代理防封封IP技巧!

5、当然了,如果我们使用install_opener(),就可以把之前自定义的opener设置成全局的。

Python数据抓取爬虫代理防封封IP技巧!

6、设置成全局之后,如果我们再使用urlopen来发送请求,那么发送请求使用的IP地址就是代理IP,而不是本机的IP地址了。

Python数据抓取爬虫代理防封封IP技巧!

7、最后再来说说使用代理遇到的错误,提示目标计算机积极拒绝,这就说明可能是代理IP无效,或者端口号错误,这就需要使用有效的IP才行哦。(这边现在是乱填写的IP地址)可选择飞猪的代理IP。

Python数据抓取爬虫代理防封封IP技巧!
  • 绝地求生印度服版使用攻略#校园分享#
  • 使命召唤手游改装芯片在哪用
  • 明日之后如何获得普通肥料包 肥料包如何获得
  • 王牌竞速神剑号蓝图怎么获得
  • 第五人格好友列表在哪里?怎样邀请好友进行游戏
  • 热门搜索
    奶酪是什么 复试一般问什么问题 三月初三是什么日子 闻鸡起舞是什么意思 night是什么意思 主语谓语宾语是什么 艾美手表什么档次 co2是什么 一丝不苟的苟是什么意思 什么是专升本