查看原文
其他

Python分析《权力的游戏》最终季...... | 附源码

热爱技术分享的 Python大本营 2019-04-25


译者 | 刘畅

编辑 | 琥珀

出品 | AI科技大本营(id:rgznai100)


【导读】《权力的游戏》最终季已于近日开播,对于全世界翘首以待的粉丝们来说,其最大的魅力就在于“无法预知的人物命运”。那些在魔幻时代的洪流中不断沉浮的人们,将会迎来怎样的结局?近日,来自 Medium 上的一位名叫 Rocky Kev 的小哥哥利用 Python 通过《权力的游戏》粉丝网站收集最喜爱演员的照片。结果是怎样的是其次的,关键是过程,用他的话来讲,“非常 enjoy!”


文中,他主要分享了一些关于 Python 库的使用,包括:通过 Selenium 库实现 Web 自动化,并通过 BeautifulSoup 库进行 Web 抓取,生成 CSV 模块的报告,类似于采用 Python 工具模拟整个 Pandas/Data Science 方面的功能。


他还指出,读者不需要任何的 Python 经验,他已经详细解释了这些代码。而他自己也不是一名 Python专家,仅仅学习了几周的 Python 知识,就写出了这些代码。在他看来,“Python 是一种通用的编程语言,它具有严格的类型、解释,并且因其易读性和优异的设计原则而出名。”


如简单对比下 JavaScrip 与 Python 语法区别:


  • Python使用缩进和大括号。

  • Python 使用基于类的继承,因此它更像 C 语言,而 JavaScript 可以模拟类。


  • Python 也是一种强类型,没有类型混合。例如,如果同时添加一个字符串和一个 Int类型的数据,它就会报错。


同样,他也为大家提前奉献了自己常用的 Python 免费资源,比如 Automata the Boring Stuff、Python for Beginners,以及 Dataquest.io data science等,都可以在网上搜集到。


本篇将主要分为三部分,以下内容选自该博客:


一、Web自动化


使用 Python 最酷的事情之一就是实现 Web 自动化。例如,你可以使用如下思路来编写一个 Python 脚本:


1、打开浏览器

2、自动访问特定网站

3、登录该站点

4、转到该网站的另一页面

5、查找最新的博文

6、打开那篇博文

7、提交评论 “写得好,鼓掌”

8、最后退出网站


这个过程看似不难,花 20 秒就可以搞定,但如果让一遍一遍这样做,谁都会被逼疯。例如,如果你的网站还在开发中,里面有 100 篇博客,你想给每篇博客发表评论来测试该功能。那就会需要花 100 篇博文 * 20 秒 = 大约 33 分钟。如果有多个测试阶段,那是不是要多次测试该功能?


不过,Web 自动化同样也可以应用在:

  • 自动化创建网站账户。

  • 在线课程中,从头到尾自动化监控。

  • 仅使用单个脚本就能在网站上推送 100 个评论的功能。


我们将做什么?


对于这一部分,我们将自动化登录美剧《权力的游戏》的粉丝网站。如果我们单独去登录如 westeros.org、winteriscoming.net 等粉丝网站,非常浪费时间。使用如下所示的模板,你可以自动登录各类粉丝网站。


代码


安装 Python3、Selenium 和 Firefox Web 等程序才可以开始使用。

教程:如何使用 Python 自动化表单提交:

https://rockykev.com/how-to-automate-form-submissions-logins/

## Game of Thrones easy login script
##
## Description: This code logs into all of your fan sites automatically

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
import time


driver = webdriver.Firefox()
driver.implicitly_wait(5)
## implicity_wait makes the bot wait 5 seconds before every action
## so the site content can load up

# Define the functions

def login_to_westeros (username, userpass):

## Open the login page
    driver.get('https://asoiaf.westeros.org/index.php?/login/')    

## Log the details
print(username + " is logging into westeros.")

## Find the fields and log into the account.
textfield_username = driver.find_element_by_id('auth')
textfield_username.clear()
textfield_username.send_keys(username)

textfield_email = driver.find_element_by_id('password')
textfield_email.clear()
textfield_email.send_keys(userpass)

submit_button = driver.find_element_by_id('elSignIn_submit')
submit_button.click()

## Log the details
    print(username + " is logged in! -> westeros")




def login_to_reddit_freefolk (username, userpass):

## Open the login page
    driver.get('https://www.reddit.com/login/?dest=https%3A%2F%2Fwww.reddit.com%2Fr%2Ffreefolk')    

## Log the details
print(username + " is logging into /r/freefolk.")

## Find the fields and log into the account.
textfield_username = driver.find_element_by_id('loginUsername')
textfield_username.clear()
textfield_username.send_keys(username)
textfield_email = driver.find_element_by_id('loginPassword')
textfield_email.clear()
textfield_email.send_keys(userpass)

submit_button = driver.find_element_by_class_name('AnimatedForm__submitButton')
submit_button.click()

## Log the details
    print(username + " is logged in! -> /r/freefolk.")


## Define the user and email combo.

login_to_westeros("gameofthronesfan86", PASSWORDHERE)

time.sleep(2)
driver.execute_script("window.open('');")
Window_List = driver.window_handles
driver.switch_to_window(Window_List[-1])

login_to_reddit_freefolk("MyManMance", PASSWORDHERE)

time.sleep(2)
driver.execute_script("window.open('');")
Window_List = driver.window_handles
driver.switch_to_window(Window_List[-1])


## wait for 2 seconds
time.sleep(2)


print("task complete")


代码分解


首先,我们需要导入 Selenium 库来解决复杂的问题。还可以导入时间库,在每次操作后,将等待数秒。添加允许页面加载的等待时间。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
import time


什么是 Selenium?


Selenium 是我们用于 Web 自动化的 Python 库。Selenium 开发了一个 API,可以让第三方开发 Web 驱动程序与浏览器通信。这样,Selenium 团队可以专注于代码库维护更新,而另一个团队可以专注于中间件。


例如:

  • Chromiun 团队为 Selenium 创建了自主的网络驱动程序 chromedriver

  • Firefox 团队为 Selenium 创建了自主的网络驱动程序 geckodriver

  • Opera 团队为 Selenium 创建了自主的网络驱动程序 operadriver

driver = webdriver.Firefox()driver.get('https://www.hbo.com/game-of-thrones')driver.close()


以上代码表达的意思是:将 Firefox 设置为首选浏览器,将此链接传递给 Firefox,关闭 Firefox。


登录网站


为了便于阅读,作者写了一个单独的函数来登录每个站点。

def login_to_westeros (username, userpass):

## Log in
    driver.get('https://asoiaf.westeros.org/index.php?/login/')    

## Log the details
print(username + " is logging into westeros.")

## 2)
Look for the login box on the page
textfield_username = driver.find_element_by_id('auth')
textfield_username.clear()
textfield_username.send_keys(username)

textfield_email = driver.find_element_by_id('password')
textfield_email.clear()
textfield_email.send_keys(userpass)

submit_button = driver.find_element_by_id('elSignIn_submit')
submit_button.click()

## Log the details
    print(username + " is logged in! -> westeros")


如果更进一步分析代码,每个函数都有以下功能:


1、访问指定页面

driver.get('https://asoiaf.westeros.org/index.php?/login/')


2、查找登录框

*如果有请清除文本

*提交变量

textfield_username = driver.find_element_by_id('auth')
textfield_username.clear()
textfield_username.send_keys(username)


3、查找密码框

*如果有请清除文本

*提交变量

textfield_email = driver.find_element_by_id('password')
textfield_email.clear()
textfield_email.send_keys(userpass)


4、查找提交按钮,然后单击

submit_button = driver.find_element_by_id('elSignIn_submit')
submit_button.click()


注释:每个网站都有不同的方法来查找用户名/密码和提交按钮。需要读者做一些搜索工作。


如何找到任何网站的登录框和密码框?


Selenium 库有一堆方便的方法来查找网页上的元素。可以提供一些函数:


  • find_element_by_id

  • find_element_by_name

  • find_element_by_xpath

  • find_element_by_class_name


有关整个的函数列表,请访问 Selenium Python 文档去查找。


以 asoiaf.westeros.com 为例:



运行代码


以下运行代码时的一小段 demo(截图)



二、Web Scrapping


接下来,将探讨 Web Scrapping,它可以帮助你自动的获取 Web 内容。

整个过程是这样的:首先使用 Python 访问网页;接着使用 BeautifulSoup 解析该网页;然后设置代码获取特定数据。我们将获取网页上的图像。


Web Scrapping 也可以应用于:


  • 获取网页上的所有链接;

  • 获取论坛中所有帖子的标题;

  • 下载网站中的所有网站。


挑战


我们的目标是抓取网页中的图片,虽然网页链接、正文和标题的抓取非常简单,但是对于图像内容的抓取要复杂得多。


作为 Web 开发人员,在单个网页上显示原图像会降低网页访问速度。一般是仅使用缩略图,而仅在单机缩略图时才加载完整图像。


举个例子:如果我们的网页有20张1M的图像。访问者登录后,必须下载20M的图像。更常用的方法是制作20张10kb的缩略图,这样有效负载就仅为200kb,也就是1/100。


那么这与网络抓取图像有什么关系呢?


上述例子意味着写一个适用于每个网站的通用代码非常困难。每个网站实现将缩略图转换为全尺寸图像的方法不同,这就导致很难创建一个通用的模型。


过程案例


本教程的目标是收集我们最喜爱演员的照片。为了收集这些照片,先利用 Python 进行网页内容抓取,然后通过 BeautifulSoup 库访问网页并从中获取图像的 tag。


注释:在许多网站条款和条件中,禁止任意形式的数据抓取。此外,请注意你正在占用其网站资源,你应该一次一个请求,而不是并行打开大量连接请求,逼停网站。

# Import the libraries needed
import requests
import time
from bs4 import BeautifulSoup

# The URL to scrape
url = 'https://www.popsugar.com/celebrity/Kit-Harington-Rose-Leslie-Cutest-Pictures-42389549?stream_view=1#photo-42389576'
#url = 'https://www.bing.com/images/search?q=jon+snow&FORM=HDRSC2'

# Connecting
response = requests.get(url)

# Grab the HTML and using Beautiful
soup = BeautifulSoup (response.text, 'html.parser')

#A loop code to run through each link, and download it
for i in range(len(soup.findAll('img'))):

tag = soup.findAll('img')[i]
link = tag['src']

#skip it if it doesn't start with http
    if "http" in full_link: 
        print("grabbed url: " + link)

filename = str(i) + '.jpg'
        print("Download: " + filename)

r = requests.get(link)
open(filename, 'wb').write(r.content)

    else:
        print("grabbed url: " + link)
print("skip")


time.sleep(1)
Breaking down the code


使用 Python 访问网页


首先导入所需的库,然后将网页链接存到变量中。


  • Requesets 库用于执行各种 HTTP 请求。

  • Time 库用于在每个请求后等待一秒钟。

  • BeautifulSoup 库用于更轻松地搜索 DOM 树。


使用 BeautifulSoup 解析网页


接下来,将 URL 地址推送给 BeautifulSoup。


寻找内容


最后,使用 FOR 循环来获取内容。


以 FOR 循环开始,BeautifulSoup 能快速过滤,并找到所有的 img 标签,然后存储在临时数组中。使用 len 函数查询数组的长度。

#A loop code to run through each link, and download it
for i in range(len(soup.findAll('img'))):


代码中会有51个内容。

For i in range(50):


接下来,我们将返回 soup 对象,然后开始内容过滤。

tag = soup.findAll('img')[i]
link = tag['src']


需要记住的是,For循环中,[i]代表一个数字。


因此,我们可以通过索引号来寻找到每一个存储下来的 img 内容。采用soup.findALL('img')[i] 的使用方法将其传递给 tag 变量。

<img src="smiley.gif" alt="Smiley face" height="42" width="42">


下一步是 src 变量。


下载内容


到循环的最后一步,下载内容。这里面的代码设计解释一下:


1、IF语句实际上是用于测试站点,有时候抓取的图像是根网站的一部分,且是不想要的内容。所以如果使用IF语句可以忽略。

2、只抓取 .jpg 格式的图片。

3、添加打印命令,如果你想获取网页所有的链接或特定内容,也是可以的。

其中采用的是 requests.get(link)和open(filename,'wb').write(r.content) 代码。

r = requests.get(link)
open(filename, 'wb').write(r.content)


原理:

1、Requests 获取链接。

2、Open 是 Python 的一个内置函数,可以打开或者创建文件,并给它写的权限,并将链接的内容写入文件。

#skip it if it doesn't start with http
    if "http" in full_link: 
        print("grabbed url: " + link)

filename = str(i) + '.jpg'
        print("Download: " + filename)

r = requests.get(link)
open(filename, 'wb').write(r.content)

    else:
        print("grabbed url: " + link)
print("skip")


time.sleep(1)


Web Scraping 有很多有用的函数。以上的代码在抓取网站的图像时,需要修改后才能使用。


三、生成报告和数据


收集数据很容易,但解释数据很困难。这就是为什么现在对数据科学家的需求急剧增加。数据科学家通常使用 R 和 Python 等语言进行解释。


接下来,我们将使用 CSV 模块。如果我们面对的是一个巨大的数据集,比如50,000 行或更多,那就需要使用 Pandas 库。


我们需要做的是下载 CSV 库,让 Python 解释数据,根据问题查询,然后打印出答案。



对比 Python 与表格函数


你可能会有疑问:“当我可以轻松使用像= SUM或= COUNT这样的表格函数,或者过滤掉我不需要手动操作的行时,为什么要使用 Python 呢?”


与第1部分和第2部分中的所有其他自动化技巧一样,你绝对可以手动执行此操作。但想象一下,如果你每天必须生成一份新的报告。


过程案例


每年,《权力的游戏》的新闻网站 Winteriscoming.net 都会举办疯狂三月的活动。访问者将投票选出他们最喜欢的角色,获胜者将向上移动并与另一个人竞争。经过 6 轮投票,宣布获胜者。



由于 2019 年投票仍在进行中,我们抓取了 2018 年 6 轮的数据并将其编译成 CSV 文件。此外,还添加了一些额外的背景数据(比如它们来自哪里),使报告内容更有趣。



不过,基于这个报告,有些问题需要考虑:


  • 问题1:谁赢得了人气投票?


最简单的方式就是用公式把每行的数据相加,如=sum(E2:J2)


然后排序,就能得到获胜者了。



Python方法如下,

## Include the code from above

# Push the data to a dictionary
total_score = {}

# Pass each character and their final score into total_score dictionary
for row in file_data:
total = (int(row[4]) +
int(row[5]) +
int(row[6]) +
int(row[7]) +
int(row[8]) +
int(row[9]) )

total_score[row[0]] = total

# Dictionaries aren't sortable by default, we'll have to borrow from these two classes.
# https://stackoverflow.com/questions/613183/how-do-i-sort-a-dictionary-by-value
from operator import itemgetter
from collections import OrderedDict

sorted_score = OrderedDict(sorted(total_score.items(), key=itemgetter(1) ,reverse=True))

# We get the name of the winner and their score
winner = list(sorted_score)[0] #jon snow
winner_score = sorted_score[winner] #score

print(winner + " with " + str(winner_score))

## RESULT => Jon Snow with 12959


代码步骤是:

1、使用循环获取每行数据

2、对每一个循环,使用公式=sum(E:J)相加

3、引入两个类来对字典排序

4、输出获胜者


为了帮助理解循环,下面是代码流程图:



  • 问题2:谁在平均票数之上?


排名高的人,显然会得到更高的票数。


因此,下一步事情就是计总和,然后根据参与的轮数进行划分。


Python方法如下,

## OLD CODE FROM QUESTION 1
# Pass each character and their final score into total_score dictionary
for row in file_data:
total = (int(row[4]) +
int(row[5]) +
int(row[6]) +
int(row[7]) +
int(row[8]) +
int(row[9]) )

total_score[row[0]] = total

## NEW CODE
# Pass each character and their final score into total_score dictionary
for row in file_data:
total = (int(row[4]) +
int(row[5]) +
int(row[6]) +
int(row[7]) +
int(row[8]) +
int(row[9]) )

# NEW LINE - divide by how many rounds
new_total = total / int(row[2])

total_score[row[0]] = new_total

# RESULT => Davos Seaworth with 2247.6666666666665


仅仅需要添加一行代码,就可以回答这个问题。


  • 问题3:谁是最受欢迎的维斯特洛人?


这个问题,对于表格函数很复杂,需要先求和,然后进行过滤,然后再排序得到。



Python方法:

## OLD CODE FROM QUESTION 1
# Pass each character and their final score into total_score dictionary
for row in file_data:
total = (int(row[4]) +
int(row[5]) +
int(row[6]) +
int(row[7]) +
int(row[8]) +
int(row[9]) )

# NEW LINE - divide by how many rounds
new_total = total / int(row[2])

total_score[row[0]] = new_total

## NEW CODE
# Pass each character and their final score into total_score dictionary
for row in file_data:

# Add IF-THEN statement
  if (row[3] == 'other'):
total = (int(row[4]) +
int(row[5]) +
int(row[6]) +
int(row[7]) +
int(row[8]) +
int(row[9]) )
  else:
total = 0

total_score[row[0]] = total

# RESULT => Missandei with 4811


问题2仅添加了一行代码。

问题3添加一个IF-ELSE语句。

import csv

# Import the data
f_csv = open('winter-is-coming-2018.csv')
headers = next(f_csv)
f_reader = csv.reader(f_csv)
file_data = list(f_reader)

# Make all blank cells into zeroes
# https://stackoverflow.com/questions/2862709/replacing-empty-csv-column-values-with-a-zero
for row in file_data:
  for i, x in enumerate(row):
    if len(x)< 1:
x = row[i] = 0


以上的代码流程是:

1、导入csv模块

2、导入csv文件,并转换成名为file_data的列表。

  • Python读取文件的方式是将数据传递给对象

  • 然后删除头部

  • 将对象传递给读者,最后是列表

  • 注意:实际上,Python3中有一种更简洁的方法

3、为了可以使数据相加,作者将空白处填为了0

  • 有了这样的设置,就可以遍历数据然后回答上述问题。


总结


第一部分介绍了如何使用 Selenium 库进行 Web 自动化,第二部分介绍了如何使用 BeautifulSoup 抓取 Web 数据,第三部分介绍了使用 CSV 模块生成报告。当然,这几个部分之间都有内在联系,需要读者深刻领会。


当然,学习到最后,你是否学会快速收集《权力的游戏》里最喜爱演员的照片了呢?营长先行奉上,欢迎留言互动。


马王  Jason Momoa

原文地址:

https://medium.freecodecamp.org/how-i-used-Python-to-analyze-game-of-thrones-503a96028ce6


(本文为Python大本营转载文章,转载请联系原作者)


福利

扫码添加小助手,回复:1,加入Python技术交流群,共享Python学习资料,定时更新。


推荐阅读:




❤点击“阅读原文”,查看更多精彩文章。

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存