【翻译】《利用Python进行数据分析·第2版》第7章（下） 数据清洗和准备

作者：SeanCheney   Python爱好者社区专栏作者

简书专栏：https://www.jianshu.com/u/130f76596b02

前文传送门：

7.3 字符串操作

Python能够成为流行的数据处理语言，部分原因是其简单易用的字符串和文本处理功能。大部分文本运算都直接做成了字符串对象的内置方法。对于更为复杂的模式匹配和文本操作，则可能需要用到正则表达式。pandas对此进行了加强，它使你能够对整组数据应用字符串表达式和正则表达式，而且能处理烦人的缺失数据。

字符串对象方法

对于许多字符串处理和脚本应用，内置的字符串方法已经能够满足要求了。例如，以逗号分隔的字符串可以用split拆分成数段：

In [134]: val = 'a,b,  guido' In [135]: val.split(',') Out[135]: ['a', 'b', '  guido']

split常常与strip一起使用，以去除空白符（包括换行符）：

In [136]: pieces = [x.strip() for x in val.split(',')] In [137]: pieces Out[137]: ['a', 'b', 'guido']

利用加法，可以将这些子字符串以双冒号分隔符的形式连接起来：

In [138]: first, second, third = pieces In [139]: first + '::' + second + '::' + third Out[139]: 'a::b::guido'

但这种方式并不是很实用。一种更快更符合Python风格的方式是，向字符串"::"的join方法传入一个列表或元组：

In [140]: '::'.join(pieces) Out[140]: 'a::b::guido'

其它方法关注的是子串定位。检测子串的最佳方式是利用Python的in关键字，还可以使用index和find：

In [141]: 'guido' in val Out[141]: True In [142]: val.index(',') Out[142]: 1 In [143]: val.find(':') Out[143]: -1

注意find和index的区别：如果找不到字符串，index将会引发一个异常（而不是返回－1）：

In [144]: val.index(':') --------------------------------------------------------------------------- ValueError                                Traceback (most recent call last) <ipython-input-144-280f8b2856ce> in <module>() ----> 1 val.index(':') ValueError: substring not found

与此相关，count可以返回指定子串的出现次数：

In [145]: val.count(',') Out[145]: 2

replace用于将指定模式替换为另一个模式。通过传入空字符串，它也常常用于删除模式：

In [146]: val.replace(',', '::') Out[146]: 'a::b::  guido' In [147]: val.replace(',', '') Out[147]: 'ab  guido'

表7-3列出了Python内置的字符串方法。

这些运算大部分都能使用正则表达式实现（马上就会看到）。

casefold将字符转换为小写，并将任何特定区域的变量字符组合转换成一个通用的可比较形式。

正则表达式

正则表达式提供了一种灵活的在文本中搜索或匹配（通常比前者复杂）字符串模式的方式。正则表达式，常称作regex，是根据正则表达式语言编写的字符串。Python内置的re模块负责对字符串应用正则表达式。我将通过一些例子说明其使用方法。

笔记：正则表达式的编写技巧可以自成一章，超出了本书的范围。从网上和其它书可以找到许多非常不错的教程和参考资料。

re模块的函数可以分为三个大类：模式匹配、替换以及拆分。当然，它们之间是相辅相成的。一个regex描述了需要在文本中定位的一个模式，它可以用于许多目的。我们先来看一个简单的例子：假设我想要拆分一个字符串，分隔符为数量不定的一组空白符（制表符、空格、换行符等）。描述一个或多个空白符的regex是\s+：

In [148]: import re In [149]: text = "foo    bar\t baz  \tqux" In [150]: re.split('\s+', text) Out[150]: ['foo', 'bar', 'baz', 'qux']

调用re.split('\s+',text)时，正则表达式会先被编译，然后再在text上调用其split方法。你可以用re.compile自己编译regex以得到一个可重用的regex对象：

In [151]: regex = re.compile('\s+') In [152]: regex.split(text) Out[152]: ['foo', 'bar', 'baz', 'qux']

如果只希望得到匹配regex的所有模式，则可以使用findall方法：

In [153]: regex.findall(text) Out[153]: ['    ', '\t ', '  \t']

笔记：如果想避免正则表达式中不需要的转义（\），则可以使用原始字符串字面量如r'C:\x'（也可以编写其等价式'C:\x'）。

如果打算对许多字符串应用同一条正则表达式，强烈建议通过re.compile创建regex对象。这样将可以节省大量的CPU时间。

match和search跟findall功能类似。findall返回的是字符串中所有的匹配项，而search则只返回第一个匹配项。match更加严格，它只匹配字符串的首部。来看一个小例子，假设我们有一段文本以及一条能够识别大部分电子邮件地址的正则表达式：

text = """Dave [e-mail] Steve [e-mail] Rob [e-mail] Ryan [e-mail] """ pattern = r'[A-Z0-9._%+-]+@[A-Z0-9.-]+\.[A-Z]{2,4}' # re.IGNORECASE makes the regex case-insensitive regex = re.compile(pattern, flags=re.IGNORECASE)

对text使用findall将得到一组电子邮件地址：

In [155]: regex.findall(text) Out[155]: ['[e-mail]', '[e-mail]', '[e-mail]', '[e-mail]']

search返回的是文本中第一个电子邮件地址（以特殊的匹配项对象形式返回）。对于上面那个regex，匹配项对象只能告诉我们模式在原字符串中的起始和结束位置：

In [156]: m = regex.search(text) In [157]: m Out[157]: <_sre.SRE_Match object; span=(5, 20), match='[e-mail]'> In [158]: text[m.start():m.end()] Out[158]: '[e-mail]'

regex.match则将返回None，因为它只匹配出现在字符串开头的模式：

In [159]: print(regex.match(text)) None

相关的，sub方法可以将匹配到的模式替换为指定字符串，并返回所得到的新字符串：

In [160]: print(regex.sub('REDACTED', text)) Dave REDACTED Steve REDACTED Rob REDACTED Ryan REDACTED

假设你不仅想要找出电子邮件地址，还想将各个地址分成3个部分：用户名、域名以及域后缀。要实现此功能，只需将待分段的模式的各部分用圆括号包起来即可：

In [161]: pattern = r'([A-Z0-9._%+-]+)@([A-Z0-9.-]+)\.([A-Z]{2,4})' In [162]: regex = re.compile(pattern, flags=re.IGNORECASE)

由这种修改过的正则表达式所产生的匹配项对象，可以通过其groups方法返回一个由模式各段组成的元组：

In [163]: m = regex.match('[e-mail]') In [164]: m.groups() Out[164]: ('wesm', 'bright', 'net')

对于带有分组功能的模式，findall会返回一个元组列表：

In [165]: regex.findall(text) Out[165]: [('dave', 'google', 'com'), ('steve', 'gmail', 'com'), ('rob', 'gmail', 'com'), ('ryan', 'yahoo', 'com')]

sub还能通过诸如\1、\2之类的特殊符号访问各匹配项中的分组。符号\1对应第一个匹配的组，\2对应第二个匹配的组，以此类推：

In [166]: print(regex.sub(r'Username: \1, Domain: \2, Suffix: \3', text)) Dave Username: dave, Domain: google, Suffix: com Steve Username: steve, Domain: gmail, Suffix: com Rob Username: rob, Domain: gmail, Suffix: com Ryan Username: ryan, Domain: yahoo, Suffix: com

Python中还有许多的正则表达式，但大部分都超出了本书的范围。表7-4是一个简要概括。

pandas的矢量化字符串函数

清理待分析的散乱数据时，常常需要做一些字符串规整化工作。更为复杂的情况是，含有字符串的列有时还含有缺失数据：

In [167]: data = {'Dave': '[e-mail]', 'Steve': '[e-mail]',   .....:         'Rob': '[e-mail]', 'Wes': np.nan} In [168]: data = pd.Series(data) In [169]: data Out[169]: Dave     [e-mail] Rob        [e-mail] Steve    [e-mail] Wes                  NaN dtype: object In [170]: data.isnull() Out[170]: Dave     False Rob      False Steve    False Wes       True dtype: bool

通过data.map，所有字符串和正则表达式方法都能被应用于（传入lambda表达式或其他函数）各个值，但是如果存在NA（null）就会报错。为了解决这个问题，Series有一些能够跳过NA值的面向数组方法，进行字符串操作。通过Series的str属性即可访问这些方法。例如，我们可以通过str.contains检查各个电子邮件地址是否含有"gmail"：

In [171]: data.str.contains('gmail') Out[171]: Dave     False Rob       True Steve     True Wes        NaN dtype: object

也可以使用正则表达式，还可以加上任意re选项（如IGNORECASE）：

In [172]: pattern Out[172]: '([A-Z0-9._%+-]+)@([A-Z0-9.-]+)\\.([A-Z]{2,4})' In [173]: data.str.findall(pattern, flags=re.IGNORECASE) Out[173]: Dave     [(dave, google, com)] Rob        [(rob, gmail, com)] Steve    [(steve, gmail, com)] Wes                        NaN dtype: object

有两个办法可以实现矢量化的元素获取操作：要么使用str.get，要么在str属性上使用索引：

In [174]: matches = data.str.match(pattern, flags=re.IGNORECASE) In [175]: matches Out[175]: Dave     True Rob      True Steve    True Wes       NaN dtype: object

要访问嵌入列表中的元素，我们可以传递索引到这两个函数中：

In [176]: matches.str.get(1) Out[176]: Dave    NaN Rob     NaN Steve   NaN Wes     NaN dtype: float64 In [177]: matches.str[0] Out[177]: Dave    NaN Rob     NaN Steve   NaN Wes     NaN dtype: float64

你可以利用这种方法对字符串进行截取：

In [178]: data.str[:5] Out[178]: Dave     dave@ Rob      rob@g Steve    steve Wes        NaN dtype: object

表7-5介绍了更多的pandas字符串方法。

表7-5 部分矢量化字符串方法

7.4 总结

高效的数据准备可以让你将更多的时间用于数据分析，花较少的时间用于准备工作，这样就可以极大地提高生产力。我们在本章中学习了许多工具，但覆盖并不全面。下一章，我们会学习pandas的聚合与分组。

赞赏作者

Python爱好者社区历史文章大合集：

福利：文末扫码立刻关注公众号，“Python爱好者社区”，开始学习Python课程：

关注后在公众号内回复“课程”即可获取：

小编的Python入门视频课程！！！

崔老师爬虫实战案例免费学习视频。

丘老师数据科学入门指导免费学习视频。

陈老师数据分析报告制作免费学习视频。

玩转大数据分析！Spark2.X+Python 精华实战课程免费学习视频。

丘老师Python网络爬虫实战免费学习视频。