一个全世界最大成人网站的爬虫
声明：本项目旨在学习Scrapy爬虫框架和MongoDB数据库，不可使用于商业和个人其他意图。若使用不当，均由个人承担。
声明：本项目旨在学习Scrapy爬虫框架和MongoDB数据库，不可使用于商业和个人其他意图。若使用不当，均由个人承担。
首先科普下PornHub是个啥东东？
PornHub是全球最大的成人网站，这个网站是07年搞起来的。在10年的时候被一个神秘组织 - MindGeek 收购。该组织据说收购了多个色情网站，可谓是全球最大的色情联盟。具体坐标未知。
并且PornHub是据我所知，成人网站中第一个上 Https 协议的,而且是全链路 Https 。还有一个牛逼的数据：Pornhub的日访客数量达到了7500万以上。根据Alexa的网站排名，Pornhub在所有网站中排在第38位，紧随eBay之后。
同时PornHub也是一个极其创新的网站，从之前的联系多名歌手打造具有PornHub特色的音乐平台到前短时间的“熊猫事件”，各种天马行空的创新也是不少公司应该学习的地方。
以上的数据也就足以证明PornHub是全球最大的、安全的成人网站。
PornHubBot
PornHubBot是基于Scrapy框架爬取PornHub.com数据的项目，并将数据存储在MongoDB。
项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接
项目爬的是PornHub.com，结构简单，速度飞快
爬取PornHub视频的速度可以达到500万/天以上。具体视个人网络情况,因为我是家庭网络，所以相对慢一点。
10个线程同时请求，可达到如上速度。若个人网络环境更好，可启动更多线程来请求，具体配置方法见 [启动前配置]
具体的源代码，点击《阅读全文》
环境、架构
开发语言: Python2.7
开发环境: MacOS系统、4G内存
数据库: MongoDB
1、主要使用 scrapy 爬虫框架
2、从Cookie池和UA池中随机抽取一个加入到Spider
3、start_requests 根据 PorbHub 的分类，启动了5个Request，同时对五个分类进行爬取。
4、支持分页爬取数据，并加入到待爬队列。
使用说明
启动前配置
安装MongoDB,并启动，不需要配置
安装Scrapy
安装Python的依赖模块：pymongo、json、requests
根据自己需要修改 Scrapy 中关于间隔时间、启动Requests线程数等的配置
启动
python PornHub/quickstart.py
运行截图
数据库说明
数据库中保存数据的表是 PhRes。
以下是字段说明:
video_title:视频的标题,并作为唯一标识.
link_url:视频调转到PornHub的链接
image_url:视频的封面链接
video_duration:视频的时长，以 s 为单位
quality_480p: 视频480p的 mp4 下载地址
到这里就下载了部分信息，至于后续可以做什么呢，当然是做分析了。
总结
如“声明”，本项目旨在介绍Scrapy爬虫框架和MongoDB数据库，项目简单、易懂。
切勿使用在商业、个人其他意图中。若使用不当，均由个人承担责任。
后台回复：pornhub，获取本文项目地址
[ 完 ]
今日留言主题
有没有好的礼物推荐下？
今日赠送书籍
本书简介以零基础讲解为宗旨，旨在帮助读者掌握 Python 语言的基础知识，以及如何使用Python 语言实现编程，了解其开发技巧，并通过实战案例熟悉开发过程及问题的解决方法。
延伸阅读
Python
23个Python爬虫开源项目代码：微信、淘宝、豆瓣、知乎、微博等。我要做马来人 2000字谏言，给那些想学Python的人，建议收藏后细看！ 一篇文章看懂大数据分析就业前景及职能定位 给急着找工作的人一些建议，别在被骗了！
格局
首先科普下PornHub是个啥东东？
PornHub是全球最大的成人网站，这个网站是07年搞起来的。在10年的时候被一个神秘组织 - MindGeek 收购。该组织据说收购了多个色情网站，可谓是全球最大的色情联盟。具体坐标未知。
并且PornHub是据我所知，成人网站中第一个上 Https 协议的,而且是全链路 Https 。还有一个牛逼的数据：Pornhub的日访客数量达到了7500万以上。根据Alexa的网站排名，Pornhub在所有网站中排在第38位，紧随eBay之后。
同时PornHub也是一个极其创新的网站，从之前的联系多名歌手打造具有PornHub特色的音乐平台到前短时间的“熊猫事件”，各种天马行空的创新也是不少公司应该学习的地方。
以上的数据也就足以证明PornHub是全球最大的、安全的成人网站。
PornHubBot
PornHubBot是基于Scrapy框架爬取PornHub.com数据的项目，并将数据存储在MongoDB。
项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接
项目爬的是PornHub.com，结构简单，速度飞快
爬取PornHub视频的速度可以达到500万/天以上。具体视个人网络情况,因为我是家庭网络，所以相对慢一点。
10个线程同时请求，可达到如上速度。若个人网络环境更好，可启动更多线程来请求，具体配置方法见 [启动前配置]
具体的源代码，点击《阅读全文》
环境、架构
开发语言: Python2.7
开发环境: MacOS系统、4G内存
数据库: MongoDB
1、主要使用 scrapy 爬虫框架
2、从Cookie池和UA池中随机抽取一个加入到Spider
3、start_requests 根据 PorbHub 的分类，启动了5个Request，同时对五个分类进行爬取。
4、支持分页爬取数据，并加入到待爬队列。
使用说明
启动前配置
安装MongoDB,并启动，不需要配置
安装Scrapy
安装Python的依赖模块：pymongo、json、requests
根据自己需要修改 Scrapy 中关于间隔时间、启动Requests线程数等的配置
启动
python PornHub/quickstart.py
运行截图
数据库说明
数据库中保存数据的表是 PhRes。
以下是字段说明:
video_title:视频的标题,并作为唯一标识.
link_url:视频调转到PornHub的链接
image_url:视频的封面链接
video_duration:视频的时长，以 s 为单位
quality_480p: 视频480p的 mp4 下载地址
到这里就下载了部分信息，至于后续可以做什么呢，当然是做分析了。
总结
如“声明”，本项目旨在介绍Scrapy爬虫框架和MongoDB数据库，项目简单、易懂。
切勿使用在商业、个人其他意图中。若使用不当，均由个人承担责任。
后台回复：pornhub，获取本文项目地址