查看原文
其他

日期数据处理

爬虫俱乐部 Stata and Python数据分析 2022-03-15

本文作者:任   哲,中南财经政法大学经济学院

本文编辑:赵冰洁

技术总编:余术玲

前言

我们都知道Stata里把变量划分为三类:数值型,字符型和日期型。数值型变量和字符型变量的处理相信大家都很熟悉,但处理日期型的变量时可能你就有些摸不到头脑了。数据中的日期有时候是数值型,有些时候又成了字符型,再加上格式千变万化,让你咬牙切齿又无可奈何。不过正如哲学中所说,要通过现象看本质,所谓千变万化,不过是不同的表现形式而已,只要我们抓住本质,处理日期的问题就能迎刃而解。

下面,我们将一起探寻日期型变量的奥秘。

1.日期型变量

开始的开始,我们要对日期型变量先进行一些了解。

首先,在Stata之中第0天既不是公元1年1月1日,也不是大多数操作系统中的1970年1月1日,而是1960年1月1日,这一天就是Stata日期型变量的坐标原点。同样的,Stata的第0周,第0个月,第0个季度,乃至第0年都是从这个坐标原点开始计算的。

那么现在,我们知道了Stata之中第0天是1960年1月1日,第-1天是1959年12月31日。也就是说每个整数都对应着一个日期,每个日期也都对应着一个整数,这二者之间可以相互转换。而这种对应关系,就是处理日期型变量的核心,思路就是把手中各种类型的日期通过相关函数转换为距离1960年1月1日的天数进行处理。现在,我们用例子帮助大家加深理解。

先把整数转换为日期,我们可以利用format命令来实现,并且在转换时我们还可以规定日期的显示格式。程序如下:

*首先输入一些整数
clear
input date
0
1
520
22189

end


gen date1 = date
gen date2 = date
gen date3 = date
gen date4 = date
gen date5 = date
format date1 %tdCY/N/D
format date2 %tdCY_N_D
format date3 %dCY_m_D
format date4 %dm_D_Y
format date5 %dCYND
save date.dta,replace

可以看到,不同格式的日期已经生成了,当然我们也可以利用mdy()函数将日期转换为距离1960年1月1日的天数。

di mdy(10,01,2020)

可以得到2020年10月1日距离1960年1月1日有22189天。

2.数值型日期提取

在对日期型变量有了一定了解后,我们继续深入,开始尝试提取日期数据中的信息,先从数值型的日期开始。

对于数值型日期数据,我们可以直接利用year()、quarter()、month()、week()、dow()等函数提取日期型变量对应在哪一年,哪一季度,哪一月,哪一周,甚至是星期几(0代表周日)。现在用上文生成的date.dta来给大家展示,程序如下:

use date.dta,clear

gen year = year(date1)
gen quarter = quarter(date2)
gen month = month(date3)
gen week = week(date4)
gen dow = dow(date5)

可以看到需要的数据都被提取出来了,如果数据中包含时分秒的信息,那我们需要先用dofc()函数将日期转换为距离1960年1月1日的天数,然后再提取需要的数据。碍于篇幅,关于dofc()函数我们将在字符型日期提取中和clock()函数一起讲述。

3.字符型日期提取

当遇到字符型的日期数据,最容易想到的方法当然就是利用substr函数来直接提取了。程序如下:

clear
input str30  date
"01/01/2020"
"02/02/2019"
"03/03/2018"
end
gen year = real(substr(date,7,4))
gen month = real(substr(date,1,2))

但细心的你可能发现了,substr函数提取字符型日期数据时,一旦字符型日期的显示格式不统一,那么就无法提取到全部正确的信息。遇到这种情况,就需要介绍date()函数了,该函数帮助我们将字符型日期转换为距离1960年1月1日的天数,然后再利用format命令将其显示为你需要的日期格式。程序如下:

clear
input str30  date1
"01/01/2020"
"02 02 2019"
"03032018"
end
gen d = date(date1,"MDY")
format d %tdCY-N-D

date()函数中括号里的"MDY"代表的是字符型日期中月、日、年的顺序。可以看到无论字符型日期的格式如何,date()都可以顺利的进行转换。

当我们把字符型日期数据转换为日期型之后,我们就可以用year()、month()、week()、dow()等函数分别提取日期型变量对应的数据。

gen year = year(d)
gen month = month(d)
gen week = week(d)
gen dow = dow(d)

对于包含时分秒的日期数据,这个时候我们既可以继续利用date()函数处理,也可以利用clock()函数和dofc()函数来对数据进行处理。和date()函数处理数据的过程类似,clock()函数先将数据转换为距离1960年1月1日0点0分0秒0毫秒的毫秒数,然后在用dofc()函数将毫秒数转换为对应的天数。程序如下:

clear
input str30 time
"2020-10-01 10:01:01.490"
end

gen d1 = date(time,"YMDhms") //date()函数处理
gen d2 = dofc(clock(time,"YMDhms")) //clock()函数处理
format d1 %tdCY-N-D
format d2 %tdCY-N-D

可以看到两种方法的处理结果是一样的。

以上就是本期推文的全部内容了,如果您在这篇推文里有所收获,请记得在推文的下方点个赞哦!





对我们的推文累计打赏超过1000元,我们即可给您开具发票,发票类别为“咨询费”。用心做事,不负您的支持!
往期推文推荐

          Seminar | 委托贷款:打开中国影子银行的黑匣子

          Seminar | 电话会议中的"non-answer"

         Python 爬虫必杀技:XPath

          面对相对路径和绝对路径的分岔口,你选对了吗?
         空间数据可视化之spmap命令

快速计算两地距离——geodist命令介绍

Seminar | CFO:努力影响财务信息环境吗?

Seminar | 企业层面成本加成的测算

朴素贝叶斯算法——以20Newsgroups数据集为例

【爬虫实战】利用scrapy框架爬取豆瓣图书信息

《我和我的家乡》影评高频词原来是这些!

一位大学党委书记的自我结束——风波里的学者本真

Seminar | JPX400指数的公司治理效应
Seminar | 企业社会责任披露如何影响企业绩效?
【爬虫实战】恒大的底气?--恒大楼盘数量爬取
Python遇上Stata--IPyStata介绍
变量类型转换之encode&decode命令
Seminar | 主动型基金:我还行吗?

Seminar | CEO的哪些特征和能力更重要?

关于我们


微信公众号“Stata and Python数据分析”分享实用的stata、python等软件的数据处理知识,欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。

此外,欢迎大家踊跃投稿,介绍一些关于stata和python的数据处理和分析技巧。
投稿邮箱:statatraining@163.com
投稿要求:
1)必须原创,禁止抄袭;
2)必须准确,详细,有例子,有截图;
注意事项:
1)所有投稿都会经过本公众号运营团队成员的审核,审核通过才可录用,一经录用,会在该推文里为作者署名,并有赏金分成。
2)邮件请注明投稿,邮件名称为“投稿+推文名称”。
3)应广大读者要求,现开通有偿问答服务,如果大家遇到有关数据处理、分析等问题,可以在公众号中提出,只需支付少量赏金,我们会在后期的推文里给予解答。



您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存