数据集(中英) | ChinaDaily新闻数据集(2008 ~ 2024)

大邓大邓和他的Python

2024-09-10

Tips: 公众号推送后内容只能更改一次，且只能改20字符。如果内容出问题，或者想更新内容，只能重复推送。为了更好的阅读体验，建议阅读本文博客版，链接地址

https://textdata.cn/blog/2024-07-12-china-daily-dataset/

一、「China Daily」概况

数据来源: chinadaily.com
覆盖日期: 2008-10-24 ~ 2024-06-29
所含字段:  date, title, content, source, link, img, lang
记录条数: 847854
     - 英文  697241
     - 中文  150613  
  
文件格式: csv
文件大小: 2648M

科研用途； 需要的加微信 372335839， 备注「姓名-学校-专业-chinadaily」。

二、查看数据

2.1 读取数据

import pandas as pd

df = pd.read_csv('ChinaDaily.csv')
df

2.2 覆盖日期

df['date'] = pd.to_datetime(df['date'], errors='coerce')

print('起: ', df['date'].min().strftime('%Y-%m-%d'))
print('止: ', df['date'].max().strftime('%Y-%m-%d'))

Run

起:  2008-10-24
止:  2024-06-29

2.3 所含字段

for col in df.columns:
    print(col)

Run

date #日期
title #标题
content #新闻内容
source  #来源
link  #新闻链接
img  #新闻首图链接
lang #语言chinese、english

2.4 语言

China Daily是双语网站，数据集中大多为英文新闻，也含少量中文内容。中英文新闻的记录数

df['lang'].value_counts()

Run

lang
english    697241
chinese    150613

注意

如Excel打开csv乱码，请百度搜【在 Excel 中正确打开 CSV UTF-8 文件】

三、数据用途

新闻数据集可提取丰富的指标，包括但不限于 经济政策不确定性指数 、环境政策不确定性、 媒体关注度指数、文本相似度、情感分析。此外，可训练词向量，开发新的概念词典。数据带时间，参照前面指标，依主体、日期、指标进行计算，可构造面板数据，构建新的指标指数。因此在经济学、管理学、新闻传播学、公共管理、社会学等领域均有较高的研究价值。

相关参考文献

[1]洪永淼,刘俸奇,薛涧坡.政府与市场心理因素的经济影响及其测度[J].管理世界,2023,39(03):30-51.
[2]刘景江,郑畅然,洪永淼.机器学习如何赋能管理学研究？——国内外前沿综述和未来展望[J].管理世界,2023,39(09):191-216.
[3]张一帆,林建浩,樊嘉诚.新闻文本大数据与消费增速实时预测——基于叙事经济学的视角[J].金融研究,2023,(05):152-169.
[4]Huang, Yun, and Paul Luk. "Measuring economic policy uncertainty in China." China Economic Review 59 (2020): 101367
[5]欧阳资生,陈世丽,杨希特,刘凤根,周学伟.经济政策不确定性、网络舆情与金融机构系统性风险[J].管理科学学报,2023,26(04):62-86.
[6]逯东,宋昕倍.媒体报道、上市公司年报可读性与融资约束[J].管理科学学报,2021,24(12):45-61.
[7]彭涛,黄福广,孙凌霞.经济政策不确定性与风险承担:基于风险投资的证据[J].管理科学学报,2021,24(03):98-114.
[8]庞锐.采纳与内化：多重制度压力如何影响河长制创新扩散——基于省级政府的定向配对事件史分析[J].公共管理学报,2023,20(02):25-37+165-166.