入坑python，你的第一个python爬虫应该去爬代理IP才是，在学习 Python 爬虫的时候，要伪装浏览器，自己写一个爬虫去免费代理IP上爬取大量代理IP，建立自己的代理IP池。爬数据的时候，记得戴上马甲，别用自己的IP裸爬。对于封IP的网站，需要很多的代理IP，去买代理IP。

一、那么如何处理python爬虫ip被封?

简单来讲，你通过代码向服务器发送的请求与浏览器向服务器发送的请求不一样，所以你可以通过浏览器获取数据，但是无法通过代码。

首先建议你打开浏览器的开发者工具，推荐使用Chrome浏览器。选中Network一栏之后重新通过浏览器向服务器发送一次请求，然后，你就可以看到你刚才通过浏览器访问服务器资源的流程和数据流向。其中，数据流向包括：

浏览器向服务器发送的请求头

浏览器向服务器发送的请求体

(可能)服务器向浏览器发送的重定向地址及浏览器重新向新的地址发送请求

服务器返回的响应头

服务器返回的响应体---

你面临的问题很可能是在模拟浏览器发送请求这一步(1、2)。检查代码，修复之。

至于解决方案，既然你可以通过浏览器访问，说明你的IP并没有被服务器禁封，加上你提到用了requests库，我猜测你通过requests.Session()来获取了一个对象或者指定了headers中的Cookie字段来发送请求。这两种方法，服务器都会认为你的多次请求来自同一个客户端，自然访问过快之后，服务器会向此客户端弹验证码(服务器端通过Session确认某一个用户，客户端通过Cookie[中的某一条]告诉服务器自己是某Session对应的用户)。

所以，你可以尝试切换一个新的requests.Session()对象来发送请求。更甚之，你可以通过代理IP，使用代理IP需要注意的是，最好选择高匿的IP，并在使用前校验有效性。python爬虫代理有免费的ip代理、付费的、自己扫的、动态拨号vps等，如果是趟过付费IP代理这趟浑水的，会发现市面上的ip代理鱼龙混杂，普遍存在以下问题：

1、ip可用率低，因为是从网上扫的量，IP时长和质量均无法保证。

2、ip池夸大，吹嘘自己有几百万的量，实际上只有十几万到二三十万，因为重复使用的原因，造成ip可用率不高。那如果遇到大客户怎么办呢?只能找更大的ip代理供应商寻求合作，赚取差价，那么作为终端客户，又被人掳羊毛了。

3、性价比低，虽然有些价格卖得很低，但是可用率同样很低，不稳定，掉线等问题，实际上付出的时间成本远远高于金钱成本。

4.本身没有资源，如果说第一种还算有自己的量，遇到问题可能也有工程师解决，那么这一种纯代理商就更加没有保障了，赚取不菲的中间差价外，不需要付出任何成本，也会有拿钱跑路的风险，遇到问题也只能找上级代理ip商寻求解决。

二、那么怎样选择优质的python爬虫代理ip供应商呢?

寻找能够模拟使用状况免费测试的，譬如我一天用100W，你能给我100W的量进行测试，测试还很稳定。尽量与755800这样的源头厂商合作，这样价格谈下来是最有优势的，可以签合同走对公账户，这样也是最有保障的，而且一般量大的爬虫代理提供商，因为主要为企业用户服务，基本不会开发自己的软件，而是提供API，最大化适应客户的需求。

python爬虫代理ip服务商哪家好，这里推荐755800代理IP。755800代理IP在python爬虫代理ip方面做得非常好，可以更好地服务于各类项目，吸引了很多人去使用。

python爬虫代理服务器租用：http://www.755800.com

海外服务器免费测试：http://www.755800.com/