数据分析与统计学之美

其他

深度对比Python中4大文件/文件夹处理库,你更pick哪一个?

一、开篇os库应该是使用频率最高的一个文件处理库,但是不得不说Python中还有几个其它的文件处理库,像shutil库、glob库、pathlib库,它们可以说是相互补充,有着自己好用的方法。黄同学亲切的将它们合称为Python文件处理库的四大天王。今天呢,咋们就对这4个库来个深度对比,对比一下好像学习什么都快了。二、四大库各自好用的地方这里采用文字叙述为大家讲解这四大模块各自的用法,具体内容会在后面详细介绍。1.
其他

pprint漂亮的打印,强烈推荐大家学习这个库,超赞!

大家好,我是黄同学🚀Python自带电池,这种说法流传已久。在Python被安装的时候,就有不少模块也随着安装到本地的计算机上了。这些东西就如同“电力”一样,让Python拥有了无限生机,能够轻而易举地免费使用很多模块。所以,称其为“自带电池”。那些在安装Python时就默认已经安装好的模块被统称为“标准库”。熟悉标准库是学习编程必须要做的事。
其他

数据分析方法论,大总结!

大家好,我是黄同学🚀当我们了解了什么是数据分析,而且也知道了数据分析的流程之后,那么接下来最关键的就是需要了解如何展开数据分析的工作。首先最重要的就是确定分析思路,这一步很关键,如果思路不清晰的话,很容易造成整个分析工作以及最终的报告杂乱无章。今天我们就给大家介绍一下常用的数据分析方法论。方法论分类数据分析思路一般需要以营销、管理等理论为指导,我们把这些和数据分析相关的营销、管理等理论统称为分析方法论。常见的营销或管理理论如下:管理方面:PEST,5W2H,逻辑树,SMART原则等;营销方面:4P,用户使用行为,STP理论,SWOT等;管理模型PEST:政治Political
其他

如何用Python分析股票收益率?

大家好,我是黄同学🚀金融行业的Python学习,不同于IT系统开发,我们并不需要达到程序员的水平。然而,学会Python可以让你实现一个人写完一个交易系统的需求,真正的一个人当成一支军队。在量化交易里,Python是工具,金融是Sense,它可以让你的想法快速实现并得到验证。而在金融领域运用Python就必然会涉及资本市场最重要的部分——股票。“股市如此多娇,引无数投资者竞折腰”,用Python来分析股票投资组合收益率和波动率,是每个金融从业者都该掌握的本领。我们缺少的,是在具体的金融场景下应用Python的经验。今天就让我们以金融股为分析对象,来一次Python金融实战,希望对你有所启发!案例详情A公司是总部位于北京的一家公募基金管理公司,在公司对外发行的全部基金产品中,有一只名为“新金融股票型基金”,该基金在投资策略上是精选具有核心竞争优势、持续增长潜力且估值水平相对合理的A股市场金融股。截止到2019年9月末,该基金重仓的股票包括浦发银行、招商银行、中信证券、海通证券、中国平安以及中国太保这6只股票,表7-2就列示了2014年1月至2019年9月末这6只股票的部分日收盘价,并且全部数据均存放于Excel文件。2014年1月至2019年9月期间A股市场6只金融机构股票的部分日收盘价。数据来源:上海证券交易所。(单位:元/股)假定你是A公司的一位基金经理助理,日常的工作就是协助“新金融股票型基金”的基金经理跟踪并分析已投资的股票。根据基金经理的要求,你需要运用Python完成3项编程任务。编程任务【任务
其他

如何用Python画一只哆啦A梦?

end_fill()函数,完成颜色的填充。这样我们就完成了一个用蓝色填充的四边形,用它来表示机器猫的左胳膊。然后重复类似的动作,绘制右胳膊。代码基本相同,只是移动的坐标位置有所不同,这里不再赘述。调
其他

有了这款Python神器,新手也会调试代码!

大家好,我是黄同学🚀对于很多新手朋友来说,觉得学习Python是一件难事。今天黄同学为大家介绍一款神器,它能够帮助你了解计算机运行每一行代码时会发生什么。这对于我们更好的了解Python运行和调试代码,确实有很大的帮助。看看官网是怎么说的官网:https://pythontutor.com/这款神器叫做Python
其他

Python提取PDF简历中的信息,写入Excel

今天为大家分享一个真实的案例。今天接到人力资源部同事的需求,想把他人投递的PDF简历资料里的关键信息数据,提取到excel表中汇总。目标资料背景:是由求职者自行编制的简历材料,投递到人力资源部。由于其数据格式的不确定,对数据信息的采集带来了一定困难。我的解答思路是:先从PDF文档中抓取文字信息保存到word文档中,然后再从word文档中读取文字信息保存到excel中。1.
其他

Pandas与openpyxl库的 "完美" 融合!

大家好,我是黄同学🚀你用过pandas+openpyxl吗?今天为大家分享一个Python自动化办公文档中,没有提到的知识点。前言用过Pandas和openpyxl库的同学都知道,这两个库是相互互补的。Pandas绝对是Python中处理Excel最快、最好用的库,但是使用openpyxl的一些优势是能够轻松地使用样式、条件格式等自定义电子表格。如果你又想轻松的使用Pandas处理Excel数据,又想为Excel电子表格添加一些样式,应该怎么办呢?但是您猜怎么着,您不必担心挑选。事实上,openpyxl
其他

做数据分析,要不要掌握Linux系列:完美收官,一共22个课时!

大家好,我是黄同学🚀耗时5个月,Lunix系列终于完美收官了。这份Linux教程,一共22个课时,学完之后,入门一点问题没有,只希望对你们有帮助。Linux大纲大家戳对应链接,进入到相应的教程。Linux系列盛大开篇!Linux常用磁盘命令、文件命令!vim编辑器,应该这样用!Linux常用网络管理命令!Linux网络配置详解!修改主机名称、主机映射、防火墙、系统启动级别!用户和用户组、为用户配置sudoer权限!文件权限管理、打包和压缩!SSH免密登陆详细配置!数据恢复与备份常用的两个命令!shell编程之变量!shell编程之运算符!shell编程之分支与循环!shell编程之数组和函数!shell编程之集群自动部署!shell编程之date命令!shell编程之文档操作(1)shell编程之文档操作(2)shell编程之文档操作(3)Vmvare及虚拟机的安装,全网最全!CentOS图形化界面虚拟机中,怎么输入中文?Linux磁盘分区知识补充!当然,除了Linux系列,黄同学还写了几个其他系列的文章,也是极其受欢迎。无论你是刚刚入门的新朋友;还是用作知识点的查漏补缺;下面这些系列,一定是一个很好的选择。其他系列
其他

4000字,详解Python操作MySQL数据库!

大家好,我是黄同学🚀关于MySQL数据库,我曾经为大家写过一个精华笔记。【大家文末自由获取】文末获取文档本文的重点,就是教会大家,如何用Python来操作MySQL数据库。1.
其他

Python操作MongoDB数据库!

大家好,我是黄同学🚀MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。先来看看MySQL与MongoDB
其他

Linux磁盘分区知识补充!

大家好,我是黄同学🚀下面是我写的系列文章,只为了帮助大家系统学习知识。为了防止大家找不到,这里提供一个入口,戳对应链接即可进入。本公众号原创系列文章【入口】Python基础系列N讲MySQL基础学习N讲Numpy、Pandas、Matplotlib三剑客系列N讲做数据分析,到底要不要掌握Linux系列N讲知识对比系列N讲Excel应该掌握这些1、系统分区,也叫“磁盘分区”;磁盘分区是使用分区编辑器在磁盘上划分几个逻辑部分。碟片一旦划分成数个分区,不同类的目录与文件可以存储进不同的分区。通俗的说:就是把大硬盘,按照我的需求,分成几个小的硬盘。2、用一个形象的例子说明“磁盘分区”「第一步:」我家有一面墙(如图1所示)很大,空着嫌浪费,于是按照墙的大小,做了一面柜子。只是设计之初,我很粗心,忘记给这个大柜子【添加隔断】,分成一个个的小柜子。然后呢,我把家中【爸爸、妈妈、我】三个人的所有衣物,全部塞到这个大柜子中去。突然有一天,我想找一个袜子,可以找的到吗?肯定是可以的。本来很简单的一件事,我只需要打开装袜子的柜子,取出袜子即可。但是现在正是因为没有隔断,就变成了对这个大柜子中所有衣物的大扫除,我需要遍历这个大柜子去找我的一双袜子,这样做相当耗费时间。柜子是这样,硬盘其实也是这样,同时我们存入硬盘中的东西远远多于家里的衣服。假如没有对这个硬盘进行合理的规划,那么硬盘的读取和写入的效率会及其低下。那么,正确的做法是如何的呢,我们接着朝下看。图1如下所示:「第二步:」假如我家有三口人,按照我们的需要把大柜子,合理的分成3个小柜子(如图2所示),左边是爸爸的衣服,中间是妈妈的衣服,右边是我的衣服。硬盘也是这样,可以按照我们的需求,把一个大硬盘,按照我们的需求分成几个分区,各自有各自的功能需求,那么进行数据读取和写入的效率会大大提升。图2如下所示:先来看看分区类型:1)主分区:最多只能有4个。2)扩展分区:
其他

CentOS图形化界面虚拟机中,怎么输入中文?

大家好,我是黄同学🚀下面是我写的系列文章,只为了帮助大家系统学习知识。为了防止大家找不到,这里提供一个入口,戳对应链接即可进入。本公众号原创系列文章【入口】Python基础系列N讲MySQL基础学习N讲Numpy、Pandas、Matplotlib三剑客系列N讲做数据分析,到底要不要掌握Linux系列N讲知识对比系列N讲Excel应该掌握这些1、使用如下命令,安装中文输入法:[hadoop@image
自由知乎 自由微博
其他

微信群「斗图」总输,Python助我超神!

大家好,我是黄同学🚀下面是我写的系列文章,只为了帮助大家系统学习知识。为了防止大家找不到,这里提供一个入口,戳对应链接即可进入。本公众号原创系列文章【入口】Python基础系列N讲MySQL基础学习N讲Numpy、Pandas、Matplotlib三剑客系列N讲做数据分析,到底要不要掌握Linux系列N讲知识对比系列N讲Excel应该掌握这些微信斗图微信斗图,大家最喜欢的就是发布Gif动图了。它的原理其实很简单,就是一帧一帧的图片拼接在一起,组合而成的。当他们来回切换的速度很快时,就相当于在看电影。假如有这样一组图片:如果制作完成后,是这样的:还是挺有意思的,如果换成你女友的照片,制作后发给她,肯定对你很崇拜。制作过程整个制作流程很简单,共分为7步。这里首先导入需要使用的2个库。import
其他

Vmvare及虚拟机的安装,全网最全!

最后就会出现如下这个界面,点击Next;22)出现如下界面后,选择“Format”,进行格式化(格式化是写入文件系统,不格式化的硬盘是不能使用的);23)出现如下界面后,选择“Write
其他

人人需要会的excel操作文档【附课件及详细案例解析】

下载课件及案例数据,关注“Python数据分析运营”公众号,进入公众号后回复“excel课件”即可获取。在任何企业我们都离不开excel的使用。在大部分岗位中(人事行政,销售,运营,产品,数据分析,管理,助理等基本上所有岗位)都要求会使用excel。本课件基本上适用于所有岗位,也是企业员工入职的必备技能。大部分岗位入职的时候也会询问或做到excel相关知识的题目。该课件中的内容非常适用于面试准备,日常学习,以及大部分岗位工作对excel的需求。本文案亮点重点讲解函数公式的使用,其次讲解和透视表的使用操作,最后讲解了excel的一些常用功能及作图。每一个知识点都有对应的实际操作案例。涉及内容其中重点讲解函数公式的使用(ppt课件讲解+excel的应用案例操作)函数公式部分内内容截图部分课件截图透视表常用功能扫描下方二维码关注“Python数据分析运营”公众号,进入公众号后回复“excel课件”即可下载课件及案例数据。扫码关注更多数据分析与运营知识干货在此,随时学习!
其他

【10-7】做数据分析,要不要掌握Linux系列:shell编程之文档操作(3)

body.1、"正则表达式"与"通配符"的作用2、linux中支持的通配符1)linux中支持的通配符*
其他

【10-7】做数据分析,要不要掌握Linux系列:shell编程之文档操作(2)

1、grep命令注:一种强大的文本搜索工具,【可以搜索流和文件行】,支持使用正则表达式搜索文本,并把匹配的行统计出来。常用参数:-c:统计符合条件的字符串出现的总行数。-E:支持扩展正则表达式。-i:忽略字符大小写。-n:在显示匹配到的字符串前面加上行号。-v:显示没有”搜索字符串”内容的那一行。-l:列出文件内容中有搜索字符串的文件名称。-o:只输出文件中匹配到的部分。-color=auto:将匹配到的字符串高亮出来。1)基本使用
其他

【10-7】做数据分析,要不要掌握Linux系列:shell编程之文档操作(1)

###-c:统计文件字节数,一个英文字母1字节,一个汉字占2-4字节(根据编码)-m:统计文件字符数,一个英文字母1字符,一个汉字占1个字符-L:统计最长行的长度,也可以统计字符串长度
其他

Python学习者,应该注意的3点!

说明其实,你学了那么久的Python,代码肯定是一顿敲,但是有一些细节性的问题,不知道你是否注意过。今天,来看看以下3点:正确的使用Python缩进;格式化Python注释;表达式和语句中的空格;虽然是3个小问题,但是大家在平时写代码的过程中,应该注意一下。所谓
其他

Tkinter自定义GUI界面背景logo,爆赞!

大家好,我是黄同学🚀今天必须再为大家安排一篇粉丝提问的历史遗留问题,喜欢的朋友记得去文末三连击一下!遗留问题上周日,我发布了一篇文章《8000字,详解Tkinter的GUI界面制作》。有的朋友提到了一个遗留问题,大致是这样的:这段长文字是作者的回答,答案当然是可以。但是代码还是得自己打一遍才能理解,因此这里就不在上次的小工具里修改,想要更改上次小工具背景的小伙伴,可以看完本文后自行操作。效果展示Tkinter组件介绍在上一次的文章中,相信各位对tkinter模块有了一个基础的了解,想看基础介绍的可以去前面那篇文章查看,这里就不浪费各位的时间,直接介绍今天的主角。「Canvas」Canvas是一个高度灵活的组件,你可以用它绘制图形和图表,创建图形编辑器,并实现各种自定义的小部件。通常被用来绘画各种图形以及放置图片。用法:在Canvas组件上绘制对象,可以用create_xx()的方法,xx表示对象类型,例如线段line,矩形rectangle,文本text
其他

【10-6】做数据分析,要不要掌握Linux系列:shell编程之date命令!

显示指定时间的秒数745084800-date="":计算时间日期2)查看时间[root@bigdata111
其他

8000字 | 详解Tkinter的GUI界面制作!

text="桌面一键整理",bg="SkyBlue",command=self.option).place(width=200,height=50,x=50,y=100)
其他

【10-5】做数据分析,要不要掌握Linux系列:shell编程之集群自动部署!

wget2)从http服务器上面下载,我们放置的安装软件jdk-8u73-linux-x64.tar.gz[root@image1
其他

【10-4】做数据分析,要不要掌握Linux系列:shell编程之数组和函数!

第二种定义方式:动态定义数组array[0]=value0array[1]=value1......array[n]=valuen3、读取数组中每个元素//
其他

【10-3】做数据分析,要不要掌握Linux系列:shell编程之分支与循环!

假如今天天气好,我就打羽毛球,跑步,洗澡;否则,我就呆在家学习。结果如下:[hadoop@image
其他

【10-2】做数据分析,要不要掌握Linux系列:shell编程之运算符!

abc不为0-----------------------def不为空6)文件运算符常用文件运算符如下:操作如下:结果如下:[hadoop@image
其他

【10-1】做数据分析,要不要掌握Linux系列:shell编程之变量!

这个结果是什么2)变量中有用的技巧${var}:获取变量本来的值;变量存在,输出原有值;变量不存在,输出空。${var:-word}:判断某个变量是否存在。
其他

赠书活动

我是黄同学😘,感谢您的支持!大家按照下方操作,参与即可!↓↓↓赠书↓↓↓点击下方公众号名片回复:抽奖丽丽姑娘的黑科技
其他

【9】做数据分析,要不要掌握Linux系列:数据恢复与备份常用的两个命令!

1、linux系统需要备份的数据2、linux数据备份的几种方式1)完全备份完全备份就是指把所有需要备份的数据全部备份,当然完全备份可以备份整块硬盘,整个分区或某个具体的目录。2)增量备份增量备份示意图如下:增量备份的优势与劣势:1)优势:备份的数据最少,占用的存储空间最少;2)劣势:数据的恢复稍微麻烦一点,有几个增量备份,就要恢复几次;3)差异备份(使用的少)差异备份示意图如下:3、备份与恢复1)完全备份可以写一个脚本,打包压缩,用cp命令进行复制,然后写个计划任务,定时执行这个脚本就行。2)增量备份增量备份就不适合写脚本,因为我们每一次要判断哪一个是新文件,这样会很麻烦。因此,对于增量备份,我们直接使用系统给我们提供的备份和恢复的命令。Ⅰ
其他

【8】做数据分析,要不要掌握Linux系列:SSH免密登陆详细配置!

首先,把bigdata112中的东西删掉,方便演示。(假如你不确定这样做是否安全,那么你可以先【拍一个快照】,再进行错误。一旦发生错误,就可以恢复原来的样子)[root@bigdata112
其他

【7】做数据分析,要不要掌握Linux系列:文件权限管理、打包和压缩!

4注意:如果要将一个文件夹的所有内容权限统一修改,则可以-R参数。"将文件夹aaa下的所有内容,统一执行某个权限。"-R:使用此参数,可以将某个文件夹下所有内容的权限统一修改。chmod
其他

【6】做数据分析,要不要掌握Linux系列:用户和用户组、为用户配置sudoer权限!

/etc/gshadow4)用户的操作(重点)"注意:在创建普通用户的时候,一定记得使用passwd命令【设置登陆密码】""注意:每创建一个新用户,就会创建一个新的同名的用户组"1)useradd
其他

【5】做数据分析,要不要掌握Linux系列:修改主机名称、主机映射、防火墙、系统启动级别!

1)什么是系统启动级别?七个启动级别,只需要记住3和5:"3"代表【无图形化界面】的启动级别;"5"代表【有图形化界面】的启动级别2)查看系统启动级别[root@image_boundary
其他

【4】做数据分析,要不要掌握Linux系列:Linux网络配置详解!

/etc/sysconfig/network-scripts/ifcfg-eth0配置修改后如下:第八步:重启服务即可[root@centos01
其他

【3】做数据分析,要不要掌握Linux系列:常用网络管理命令!

上面这个代码可以“查看某个端口”,被某个pid占用了,然后我们可以通过端口找到这个pid,然后杀死该进程,以便我们可以使用其他程序。eg:
其他

【2】做数据分析,要不要掌握Linux系列:vim编辑器,应该这样用!

刚刚安装的Linux系统,自带的只有vi编辑器,vim编辑器属于增强版的vi编辑器。使用vim编辑器需要安装它,安装命令如下:[root@image_boundary
其他

【1】做数据分析,要不要掌握Linux系列:Linux常用磁盘命令、文件命令!

目标文件(目录)-i:提示。-r/-R参数:当【复制目录】的时候,必须用到这个参数。-r/-R:递归复制目录。-f参数:在搭建集群时,修改时区的时候用到-f:覆盖已存在的目标文件,而不给出提示。①
其他

Python模块 | 这份os模块知识详解,太牛逼!

print("\n")结果如下:4)os.path.exists(path)含义:传入一个path路径,判断指定路径下的目录是否存在。存在返回True,否则返回False。path1
其他

趁着当当薅羊毛,黄同学整理了大家让我推荐的“数据分析”书单!

从黄同学建群至今,不管是在CSDN博客上,还是在微信公众号上,给大家分享了不少干货文章,也得到了很多读者的认可,同时也有很多读者让我推荐一些“数据分析”的书单给他(她),部分截图如上图所示。
其他

python操作Oracle数据库,你学会了吗?

解压后的文件位置,不要随意放置;我们需要将instantclient安装包,解压后得到的文件夹,放置在Oracle安装目录下的product的直接字目录下。3)instantclient的环境配置①
其他

深度讲解Python四大常用绘图库的“绘图原理”

pd.read_excel("data.xlsx",sheet_name="数据源")sns.set_style("dark")plt.rcParams["font.sans-serif"]
其他

pyecharts的绘图原理详解

学习任何编程语言,其实官网是最好的老师,下面我们列出了echarts和pyecharts的官网,比较幸运的是,pyecharts是由一个中国人开发的,也存在一个中文网站,这样学习起来就方便多了。
其他

plotly绘图原理

marker=dict(color=["red","blue","green","darkgrey","darkblue","orange"]),
其他

matplotlib绘图的核心原理讲解

首先,张三想要画画,是不是需要在画板上面准备一张画布。对比到matplotlib中,就相当于初始化了一张figure(画布),我们画的任何图形,都是在这张figure(画布)上操作的。