python爬虫如何使用代理IP

作为一名数据采集者，我们都是知道，一个网站要是频繁访问都会被封IP ，那要怎么解决这个问题呢？不可能一直频繁的更换设备，不光数据不能同步，这些设备的成本也是无法预计的，所以这个时候就需要代理 IP 了。以亿牛云 (https://www.16yun.cn/) 代理为例，代理 IP 在 python 的使用 .

成都创新互联专注为客户提供全方位的互联网综合服务，包含不限于成都网站制作、网站建设、桐柏网络推广、小程序开发、桐柏网络营销、桐柏企业策划、桐柏品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们最大的嘉奖；成都创新互联为所有大学生创业者提供桐柏建站搭建服务，24小时服务热线：028-86922220，官方网址：www.cdcxhl.com

                                                            

亿牛云官网提供了两种模式的代理使用方式

1. 优质 API 代理：通过 api 连接获取代理信息，返回的是 ip 和端口。     

2. 动态转发隧道代理：接入固定代理服务器，动态转发请求，无须切换 IP ，连接上代理服务器后，每一个请求都是一个随机 IP ，按照每秒的请求量进行收费。

 1 先获取 api 连接

在后台直接把代理连接拷贝到程序里面

import requests

# 生成的 API 链接

url = 'http://http://ip.16yun.cn:817/myip/pl/111bad2b-7bc5-4903b-82d1-9a700fa132685/?s=gduffcpucm&u=dadada12

resp = requests.get(url=url)

if resp.status_code == 200:

    data_json = resp.text

    for d in data_json['msg']:

        port = d['port']

        ip = d['ip']

        full_ip = ip + ':' + port

        print(full_ip)

程序配置好后直接启动程序就可以获取代理ip ，然后把代理 ip 拼到请求参数里面就可以进行数据采集了。

分享标题：python爬虫如何使用代理IP
链接URL：http://mswzjz.cn/article/iipcis.html