Python 爬虫闯关（第三关）
第三关开始上难度了，本关的难点在于题中所谓的「两层认证」，涉及到 cookie 的处理。
闯关地址是：
http://www.heibanke.com/lesson/crawler_ex02/
刚进入页面时没看懂是怎么玩，以为到这就结束了，抱着试试看的态度注册了下。
注册登录后，发现是一个记账点之类的，网页还没有跳转到题目网页，还不知道怎么玩。
重新从题目地址进入后，发现可以玩了：
页面提示 比上一关多了两层保护。
题目中提到了两层保护，是哪两层呢？
首先，多了账号登陆一层，还有一层是什么呢？重新登陆，打开 firebug 记录一下整个流程：
从动图中我们可以看到整个流程分为 4 步，依次点击 4 个步骤，分析记录请求标头、请求正文、响应标头、cookies 等是否有值，值为多少，值的来源与请求顺序之间的关系。
为了下文描述方便，我们约定两个变量：
URL=
http://www.heibanke.com/lesson/crawler_ex02/LOGIN_URL=
http://www.heibanke.com/accounts/login/?next=/lesson/crawler_ex02/
第 1 步
首先访问 URL，浏览器会向 URL 发出 GET 请求，得到一个 302 的重定向的响应，响应标头中包含了一个 Location 字段，告诉浏览器新的访问地址 LOGIN_URL。
如果之前用同样的浏览器闯过第一关或第二关，此请求的请求标头仍然会带上 cookie，但并无实际作用，可忽略；
第 2 步
浏览器向 LOGIN_URL 发出新的 GET 请求。我们注意到请求和响应中带了一个 cookie，其中都有一个 csrftoken 字段，其值为 708NMR2acyRWlblKw0rBqSjayL70TJDT。
如果仔细观察，第一步请求头的 cookie 中也有这么一个字段，我们将其记下，此 csrftoken 都将作为以后访问过程中的依据之一。我们将此返回的 cookie 记为 c1；
第 3 步
首先我们这里已经注册过了，直接填写登录信息，浏览器会再向 LOGIN_URL 发出 POST 请求，得到一个向第一步中 URL 的 重定向的 302 响应。
请求标头和请求正文中都附带上第二步中的 cookie c1，另外，我们发现请求正文参数中除了 username 和 password 字段外，还有一个 csrfmiddlewaretoken 字段，该字段的值就是 c1 中 csrftoken 的值。
返回的响应标头中附带了两个新的 cookie，其中一个中同样包含了 csrftoken 字段，值为 nmQXET2BHzNbhCksAur9XtLjEiYnfTC4，后面猜数字就会用到。我们将此返回的 cookies 记为 c2；
登录成功后，发现还是第二关的猜数字游戏。只不过，这次猜数字之前需要先进行登录，获取 cookie。
第 4 步
页面填写昵称和数字，点击提交，浏览器向 URL 提交 POST 请求，请求标头附带的是第 3 步的 cookie c2，请求正文是昵称密码和 cookie c2 中的 csrftoken 对应的值。
后面的步骤就和第二关差不多了，只不过需要带上 cookie 和 csrftoken。
整个流程涉及两次 cookie 的获取，这就是题目所谓的两层保护。
由于第 1 步返回结果中除了 Location 字段没有其他有价值的信息，所以在已知新的地址的情况下可省略第 1 步，直接从第 2 步开始。
运行：
使用 selenium 实现方式好像不涉及验证之类的问题，因为完全是模拟的人类登录浏览器的过程。
运行成功页面：
总结
这关主要考察了登录过程的模拟，涉及到 cookie 和 post 数据的处理。登录模拟重点在于过程的分析，post 数据中各字段意义的分析。仅仅一个猜数字的网站就这么复杂，要是其他更复杂的网络，要顺利模拟登录必须知道每个字段的来源、关联、意义，那会更加困难！