可以叫我才哥

其他

干货 | 如何突破数据分析(万字总结)

转自:大数据分析和人工智能文整理自知乎专栏:突破数据分析[1],作者是网易数据分析高级总监贺志,看到一篇数据分析好文,分享给大家,主要讲数据分析方法论、经验总结以及个人成长。正
2023年3月15日
其他

扫盲篇:4种数据分析常用的分析视角,附应用场景

“大家好,有些朋友是不是会面对不同数据/指标/字段,不知道怎么分析?那当然要找到切入点!今天这4个数据分析视角,可以帮助你更快摸清数据信息。”数据分析思维,是我们运用数据分析知识、方法和模型解决问题的过程:当我们碰到问题的时候(输入数据信息到大脑),我们结合过往经验,运用数据分析知识、方法和模型,经过大脑思考(处理数据信息),得出解决方案(输出结论、方案)。比如演绎思维、重要性思维等,是比较抽象、模糊的思考问题的方式。今天,来跟大家分享一下全新的数据分析视角。数据分析视角,是我们研究具体数据/字段/指标的切入点。比如同环比、目标比等,它是具体的、实用的方法或模型。数据分析思维和数据分析视角,并不是完全独立的。比如对比,既有对比思维,也有对比视角。无论是思维还是视角,关键仍在于,我们知道怎么样去更好地解决问题。数据分析视角“横看成岭侧成峰,远近高低各不同”。从不同的视角看待问题,会得出不一样的结论。从不同的数据分析视角看待指标,你会洞察出不同的信息。数据分析,常用的四个视角:对比、分类、相关和描述。1、对比这个是数据分析最常用的视角。数据,只有通过对比,才能进行评价。假如,A公司的销售额是100万。如果你只有这一条信息,你根本无法进行任何判断,更别说做出任何有价值的总结。于是,从对比的视角出发,我们就有了许多具体的做法:同环比、定基比、目标比、行业标准、绝对值/百分数:排名、占比。如果我们要比较的是单指标,拿「销售额」这个指标做例子。我们要分析的问题是,这个月的指标,环比上个月下降了5%,请问这个下降正常吗?指标的下降,一般涉及到五个因素:周期性波动、业务内部因素、外部因素、数据传输问题、其他意外因素。在确认后四个因素正常的情况下,我们需要确认是否是周期性波动影响。经过研究,发现同比去年10月,今年10月销售额上升30%;去年10月环比去年9月,销售额下降10%。再往前确认几年,发现不同年份10月环比9月,销售额都是下降的,平均下降幅度在7%。我们可以得出结论,今年10月份销售额下降5%,属于正常周期性波动,并且下降幅度在可接受的范围内,业务人员无须紧张。这是我们利用「同环比」的方法,解决一个分析问题的例子。其他的对比方法,针对单指标,也是非常有效。大家平时需要多使用和总结。2、分类从分类的视角出发,不同数量的指标,分类的方法还是有区别。如果只有单指标,比如「年龄」。在研究的时候,可能1~100岁的人都有。但是,由于「年龄」字段的标签太多了,1岁、2岁…100岁,我们会有100个标签,不便于研究。于是,我们采用「分箱」的做法,将「年龄」分类为5组,“0-18岁”、“18-35岁”、“35~60岁”、“60-80岁”、“80-100岁”。再对分类后的人群进行比较分析,比如统计人数/占比。如果有两个指标,需要进行分类,我们可以采用「矩阵」分类法。比如常见的「波士顿矩阵」、「安索夫矩阵」、「九宫格」等等,运用的都是矩阵法。具体做法是,将两个正向指标字段(意思是指标的值越大越好)在二维平面组成XY象限,可以对X轴、Y轴分别划分两个或以上的分类。如果有三个指标,可以采用类似「RFM」模型的分类方法。具体做法就是将三个指标字段在三维空间组成XZ象限。如果有≥3个指标,建议采用「聚类」模型进行分类。3、相关从相关性的视角出发,我们常用的分析方法是卡方分析(针对分类型变量)和相关性R值分析(连续型变量)。相关性分析,一般应用于≥2个指标的场景。假设我们在某电商平台做文案测试,通过关键词频次+曝光量的相关性分析,发现关键词“Portable”在文案中(一定范围内)使用的次数越多,产品的曝光量越大。那么我们在产品文案当中,就可以尽量多使用这个关键词,以增加曝光量。当然,相关并不意味着因果。此外,关联分析和相关性分析也是有区别的。4、描述描述,其实就是描述性数据分析,针对的也是单指标。比如集中趋势:中位数、均值;离散程度:方差标准差、变异系数、离群点;极值:极大值、极小值;分布:正态分布、偏态分布等。比如,针对不同2021年1~12月份的销售额,我们可以做一个X轴为月份的折线图。在这个图里面,我们可以看到:销售额走势、最大值对应的月份、最小值对应的月份、业绩转折点,还可以添加平均值线等。如果加上不同业务员,我们还可以分析不同业务员每月业绩的平均值、变异系数、总业绩的分布情况等,以评估业务员的业绩能力、表现情况、工作状态等。了解了这四种数据分析视角,你再去看看网上那些所谓的数据分析模型、分析方法,比如ABC分析、RFM分析、波士顿矩阵图、转化率分析、库存周转分析等,你应该会有惊喜和收获!从这四种数据分析角度出发,使用具体的方法,再使用一些技巧突出洞察到的信息(视觉反差、条件格式、趋势线、警戒线、划分区间),最后针对关键指标,写一段总结性的文字,你会发现你能写出一份不错的数据分析报告啦。如果你能结合实际业务情况,再提出可行性的建议,那就是一份优秀的数据分析报告!END可以【数据分析·领地】中,搜索“数据分析思维”相关标签,获取数据入门相关资料在后续也会在【数据分析·领地】中,组织读书会,分享会等专项活动,读书会主要学习技术类的书籍领读,分享会主要以数据分析思维分享,案例复盘分享等~立即扫码扫码加入星友群即可各种数据分析思维、工具、课程、书籍、项目、运营、产品相关结构化体系资料~内容持续更新,期待你来
2023年3月4日
其他

图解Pandas

(对其元素赋值不会).在最后一种情况下,该值只会被设置在切片的副本上,而不会反映在原始df上(会相应地显示一个警告)。根据不同的背景,有不同的解决方案:你想要改变原始的df。然后使用df。loc['
2023年3月1日
其他

《流浪地球》中的气象科技如何用Python实现?

关注我们丨文末赠书春节档火爆全球的科幻电影《流浪地球》,你看了吗?小异看完这部电影,不仅感受到了中国式科幻的强大魅力,同时也开始担忧N年后人类可能面临的种种极端气象。在电影的设定中,“流浪地球”计划一旦开始,地球气候将进入“地狱模式”:高温、海平面上升、自转停止、海洋沸腾……,这些将成为人类的噩梦。幸好,我们已经能够利用科技的力量提前一步做好预案!目前,科学家们使用技术模拟和监测到了很多海洋、地理、气候、水文和生态等气象状况。其中,Python成为了很多人的首选技术,甚至还有热心网友用Python模拟了《流浪地球》中的木星引力弹弓效应。图1:网友模拟代码及效果图由此可见,Python已经成为气象领域重要的数据处理及可视化工具之一。如果你恰好也是一名气象人,想用Python来让事业“顺风顺水”,那就赶快和小异一起来看看《Python气象应用编程》这本书。地球的明天,也许就掌握在你手中!全网无对手,新手闭眼入▲点击图片,即可购买书籍在看到这本书之前,小异搜遍全网,居然没发现几本专门介绍气象编程的书籍?!能找到的书籍,绝大多数内容都是碎片化的知识讲解,并没有形成体系。既没有靠谱的老师,也没有过硬的教材,只能全靠自学。本书的横空出世,可以说是填补了气象编程领域的空白。不论是构思还是内容,它都让人眼前一亮!虽然对于很多程序员来说,Python并不陌生,但对于气象人而言,它仍是一个新命题。为了照顾到这类读者的特殊性,作者选择从零开始讲起:先介绍Python和Linux的基础知识,再让读者逐渐上手数据读取与处理,过渡到Python绘图基础知识与常用的气象绘图方案,然后进阶介绍物理量计算以及统计方法与检验等,最后补充介绍简易机器学习入门和几种Python计算加速方案。这种循序渐进的讲解方法,更容易为新手所接受。在此,小异要提醒各位:语言基础知识对于后期熟练使用Python非常关键,无编程基础或需巩固基础的读者一定要仔细阅读完前2章,夯实基础再往后学习,不要贪多贪快!另外,考虑到很多新手在此之前并没有接触过编程,作者索性地把环境配置、安装、程序下载全部安排到内容里了。它的内容细致程度更是难以想象,连百度搜什么关键词、单击什么按钮、目录如何设置诸如此类的细节都涉及了。就算是小学生水平,也能学个八九不离十,可以说把小白的畏难心理降到了最低,称这本书是“有手就能学”绝对不为过!图2:书中详细讲解安装为了结合气象工作的实际,书中的大量案例也是源自应用场景,比如“南半球极射赤面投影基本函数”“风向图”等,既保证读者能够轻松理解,也保证大家可以学以致用。通过阅读本书,读者可以在较短时间内掌握Python在气象数据处理与可视化中的常用编程技能。通过学习,你也可以做出下图中的可视化效果哟!构思细致到位,细节体贴入微,这本书真的很能打。如果你还在斟酌选择哪本教程来开启Python气象编程之旅,别犹豫,它就是你的不二之选!南信大学霸“三巨头”实力打造之所以没有流入普通编程书的俗套,主要原因在于背后作者的“特殊背景”。这三位作者并不是开发者出身,反而具有清一色的气象研究背景,这注定了本书不会沦为单纯的编程工具书,它可以真正从气象工作痛点出发,提供行之有效的问题解决方案。图3:本书的三位作者本书的三位作者均来自南京信息工程大学大气科学学院。这所学院可大有来头!它的前身是1960年南京气象学院创建时建立的气象学系,是国务院1978年首批硕士学位招生点挂靠院系。学院成员先后斩获国内各类科技奖励140余项,海外院长王斌教授还获得国际大气科学界最高荣誉罗斯贝奖章。浓郁的学术氛围孕育出了三位莘莘学子,也为本书培养了最出色的作者团队。其中,杨效业与张诗悦均为南信大气象学博士在读,杨青霖毕业于南信大大气科学专业,目前就职于百度。三人不仅都具备气象学的学术背景,更是在工作和学习中经常使用Python处理数据,这为他们联合著书提供了基础。作者之一的杨效业博士是本书发起人。硕博连读期间,他以第一作者发表SCI论文8篇、以合作作者发表SCI及北大核心论文15篇和23篇核心期刊论文,更是连续获得国家奖学金、江苏省三好学生等荣誉……怪不得扬子晚报称他“奖学金拿到手软”!事实上,杨效业博士在研究生入学前就开始自学Python编程。课余时间,他还联合几位气象爱好者开设了“气海无涯”公众号,专门用来分享记录Python气象编程知识。2020年春天,他开始系统整理自己对于气象领域Python编程的经验和心得,并将这些观点发布在气象家园、简书等平台,并收获了超过三十万次浏览。图5:杨效业发布的分享帖正是这个无心插柳的动作,酝酿出我们今天看到的这本书。帖子火了之后,吸引了很多国内外同行,也令人民邮电出版社向他伸出了橄榄枝——杨效业博士即刻联手两位同门伙伴将相关内容编写成书。他们将日常学习和工作中的编程知识与气象学应用融入到本书当中,打造出一本理论实践相结合、不脱离实际的教程。多平台上线,业内大牛力荐此外,作者还加入了数据科学开源社区和鲸社区,并在社区内发布了气象数据分析教程。社区用户也对本书的出版非常期待。在得知本书出版后,业内知名学者纷纷发来贺电!其中,贴近实际是本书最普遍的评价。“本书立足于实践体系、梳理了基于
2023年2月27日
其他

图解NumPy,这是理解数组最形象的一份教程了

写入即可。下图是一个图像文件的片段:如果图像是彩色的,则每个像素由三个数字表示——红色、绿色和蓝色。在这种情况下,我们需要一个三维数组(因为每个单元格只能包含一个数字)。因此彩色图像由尺寸为(高
2023年1月3日
其他

数据分析师常用大数据分析引擎对比之ClickHouse与Hive

导读:Hive是Hadoop生态系统中事实上的数据仓库标准。Hive是建立在Hadoop生态中的数据仓库中间件,其本身并不提供存储与计算能力。Hive的存储引擎使用HDFS,计算引擎使用MapReduce或Spark。Hive本质上是一个元数据管理平台,通过对存储于HDFS上的数据文件附加元数据,赋予HDFS上的文件以数据库表的语义。并对外提供统一的Hive
2022年12月30日
其他

Python轻松读取Word文档里的Excel附件

get_ole("/Users/steven/temp/test.docx")使用正确的后缀保存附件我想保存的时候使用正确后缀,怎么办?使用filetype[3]获得正确的后缀。安装pip
2022年12月15日
其他

太好玩了,我用 Python 做了一个 ChatGPT 机器人

Value"}CLI使用命令行使用支持单次或者持续会话模式。打开终端(命令行),确保当前的目录下有配置好的config.json文件,执行chatgpt即可进入交互式对话框$
2022年12月10日
其他

体验了一下火爆全球的 ChatGPT,我震惊了

大家好,我是才哥。这几天,要说编程圈最热的话题,莫过于OpenAI的ChatGPT,写小说,写代码,找BUG,写论文,画漫画,谱曲……简直没有它干不了的事。趁着下班时间,我也光速注册体验了一下,作为AI从业者来说,都觉得有点太强大了。一个直接的感觉是,这玩意或许真的能让我告别搜索引擎。拿我们熟悉的
2022年12月6日
其他

对比VBA学习Python,让办公更自动化!

面向Excel数据处理自动化的脚本编程,目前主要有VBA和Python两种语言可供选择。从上世纪90年代到目前,VBA一直是Excel脚本编程的主要工具。VBA语言具有简单易学、功能强大的特点,在长达几十年的时间里为提高Excel工作效率作出了贡献,也积累了海量的代码和学习资料。在这段时间里,Basic语言也一直是国内中学到大学教学首选的计算机语言。随着网络时代的全面到来,以及大数据、人工智能等的兴起,Python语言在国内异军突起。Python语言已经成为目前最受欢迎的计算机语言之一,近年来在TIOBE和IEEE等编程语言排行榜上长期占据前三位。在国内,Python也在逐步代替原来的Basic语言,成为小学、中学和大学学生入门学习计算机编程的首选语言。所以,当前使用Python进行Excel脚本编程以提高工作效率的朋友越来越多。PART
2022年12月5日
其他

Python技能练习!28道常见题型汇总!(附答案解析)

因为通过上面的字符串拼接,得到的数据是“_hello_world_yoyo”,前面会多一个下划线_,所以把这个下划线去掉print(j.lstrip("_"))3.
2022年12月4日
其他

京东消费行为数据分析可视化实战案例

一、背景京东JD.COM-专业综合网上购物商城,销售超数万品牌,4020万种商品,囊括家电、手机、电脑、服装、居家、健康、母婴、美妆、个护、食品、旅游等品类。数据时间是从2018年2月1日到4月15日两个半月的销售数据。本文主要通过python对用户数据进行分析,探讨用户行为体现出的购买趋势,为商家提供一些运营方面的建议与策略。二、研究问题从2018年2月1日到2月15日商品的浏览,收藏,购买,加购物车的变化趋势如何?为什么会有这种趋势?为什么此类商品会被用户购买甚至复购?有何特征?哪种商品销量最好?哪些品牌最受用户欢迎?哪些店铺排名靠前?用户浏览,购买,加购,收藏商品主要时间在一天中的什么时候?为什么在这个时间段?哪些用户是重点用户?哪些用户即将流失?需要完整代码的,请在公众号:数据STUDIO
2022年12月1日
其他

这几个数据分析项目,让我看到了什么才叫专业!!

大家好,我是才哥冬天来了,有点冷今天介绍一些有内核、有科技的数据分析实战项目。项目数据集、源代码都是公开的,非常适合想练手但是又没数据、没参考案例的同学今天先热热身,分享几个之前看到的
2022年11月30日
自由知乎 自由微博
其他

懂业务是数据分析师最重要的技能 ?

什么是数据分析师最重要的技能?应该是比任何人都懂业务。这句话在职场中已经被说了很多遍,包括一些数据科学家也经常在公开场合说要做到高于业务视角,因为管理层确实都是通过公司的数据来进行决策判断的。数据分析师日常提供的月报是公司管理层决策的重要依据,提供什么数据、从什么角度来阐述都非常关键,要根据客观事实进行专业性指导。业务方不能做数据分析工作,因为业务方在分析数据的时候可以从某个对自己有利的视角进行阐述,可能会有失偏颇。关于什么叫高于业务视角,有人认为这是一个伪命题,业务人员每天都在和业务打交道,你能做到比业务人员还懂业务?文末有赠书而基于这样一种理解,会延伸出另外一个很现实的问题:职场中是否需要真正的数据分析师?
2022年11月29日
其他

惊呆了!我用 Python 可视化分析和预测了 2022 年 FIFA 世界杯

df_best_squad[df_best_squad['nationality_name']==nationality].sort_values(['player_positions',
2022年11月26日
其他

用Python制作一个动态爱心效果!

大家好,我是才哥~最近「点燃我,温暖你」这部剧非常火,讲述的是程序员的爱情故事。其中陈飞宇饰演的男主李峋,在剧中用程序做出的爱心跳动效果,非常炫。网上各个大佬也是纷纷给出看法,综合就是不太可能用C语言来实现的。大概率是AE这种做特效软件实现的,毕竟里面的编程语言、编辑器、程序出现太多问题啦。下面小F就给大家分享各个版本的跳动爱心,有兴趣的小伙伴可以去试试,送给那个人!①
2022年11月23日
其他

世界杯球迷速成秘籍,看这一篇就够了!

▌本文来源:央视新闻微信公众号(ID:cctvnewscenter)北京时间2022年11月21日0时,2022年卡塔尔世界杯将正式开球。作为全球四年一度的大型体育盛事,世界杯总是吸引着许多人的目光。不过,大多数网友平时可能并不经常关注足球赛事,看着身边人聊世界杯聊得热火朝天,自己却不知道如何加入话题,怎么办?莫慌,来自央视新闻世界杯系列专题《来看球吧!》带你用10分钟,简单了解一下关于足球的那些事。关于足球和世界杯,你需要知道的几件事
2022年11月21日
其他

Python八种数据导入方法,你掌握了吗?

数据分析过程中,需要对获取到的数据进行分析,往往第一步就是导入数据。导入数据有很多方式,不同的数据文件需要用到不同的导入方式,相同的文件也会有几种不同的导入方式。下面总结几种常用的文件导入方法。大多数情况下,会使用NumPy或Pandas来导入数据,因此在开始之前,先执行:import
2022年11月3日
其他

Python批量获取基金季报

大家好,我是小一的朋友最近研究基金的时候,突然对今年来收益最高的基金有点好奇,于是去翻了翻该基金的业绩报告。好家伙,今年来收益接近30%了,这还是最近一段时间回调了,如果在9月初那会,净值最高冲到了2.64,也就是累计涨幅达到了164%。说出来你可能不信,这个基金2020年才成立的。我直呼好家伙先看一下历史业绩数据:再来看一下今年来的业绩情况:大幅跑赢沪深300指数,且相对于沪深300,回撤也降低了很多。其中最让我亮眼的一个点,竟然是今年来的季度胜率为100%。也就是说在已经过去的三个季度里面,每个季度都跑赢沪深300指数这个让我有点好奇,于是我把时间维度拉长到近三年最近的10个季度,除了20Q2和21Q4不及沪深300指数,其余8个季度都跑赢沪深300指数,胜率80%。当然如果要从20年Q3季度算起,胜率更是高达88.88%。周期性行业的恐怖如斯,这可能只是一个小小的缩影。对了,这个指数基金是国泰中证煤炭ETF,上面截图的是它的场外基金连接C,代码是008280。简介如下:这里有必要给大家提个醒:基金的季度报告里可以查看基金的各种信息,你可以看到,上面那个报告长达60页,满满的都是基金经理对于该行业的投资理念和个人理解,远不是我们这种小散可以比的。所以,如果想购买一个基金,最好的办法可能是先看看他过去几年的报告,了解一下投资风格。但是,如何快速获取一个基金的所有报告,理解其投资风格呢?今天教大家用
2022年11月1日
其他

Python 办公自动化,全网最全干货来了!

基础语法。这些语法是常用的语法,包含变量、数据类型、数据结构、控制结构、函数与模块、类与对象、以及错误与异常。每一个语法点都是通过有趣的例子加以讲解,通俗易懂。文件篇包括第3~4
2022年10月31日
其他

用 Python 写爬虫 接私活,太赚了!

时间来到十月末,我们正处在一个Python圈里的兼职接单高潮期。现在,业界对Python爬虫技术服务有着极大的需求,越靠近“双十一”需求越大,所以当下早已供不应求。供需的失衡,使爬虫服务的价格变得极高。几乎所有的Python圈内人,都趁着现在的好机会,在利用爬虫技术接私活赚钱。近期爬虫私活接单记录,大家随意感受一下👇公众号后台最近也收到近千条留言,几乎全是关于爬虫技术的问题咨询。包括Akaimai与5秒盾、WebPack、JS逆向调试、逆向登录、数据逆向、请求参数逆向、多重加密解析、JS二次加密、AES算法、RSA算法、JS混淆、二进制压缩在内的爬虫相关技术,不断地被无数人反复问及。可见,大家都迫切地想要掌握Python爬虫技术。爬虫之所以会大受欢迎,正是因为在这个万物互联的时代,人们在网络世界中的行为产生了大量数据,这些数据有着极大的商业价值!而爬虫作为最好的数据采集技术,自然会受到广泛关注。虽说爬虫私活的订单多、需求大、报酬也很丰厚,但这钱也不是轻轻松松就能赚到的,接爬虫私活需要有足够充沛的技术储备。技术不够,就接不到单。怎样快速掌握变现级爬虫?很多人都表示,高阶的爬虫技术不好学,也找不到有价值的项目来练手,每个人都在期待一套能快速进阶的速成方案。想要快速学好爬虫,尤其变现级的爬虫技术,我推荐大家直接来腾讯课堂报名学习Python高阶爬虫实战课。10月30日20点准时开课👇👇👇↑扫码添加小助理报名学完轻松掌握变现级技术腾讯课堂官方特训费299元,本号粉丝有福利,立即报名可免费学习!这是一套专讲爬虫与反爬虫攻防的高阶技术实战课,迄今为止已帮助超3W学员快速进阶!本次课程将由国际大数据竞赛获奖大佬亲身指导,带领大家进行一线大厂高阶技术体系+多重逆向解析项目实战的综合技术速成训练!本次实战课程,是专为高阶爬虫逆向技术速成而设计的。内含三大项全网难觅的真实项目,每个项目都是对当下最热门的网站&APP的深入破解,对应每一项案例都有代码级的拆分详解,深入浅出干货满满,理解和掌握起来很轻松。顶尖名师的专业指导与规划,搭配最高阶的爬虫逆向实战项目边学边练,在实战中快速累积经验,熟悉之后即可开始尝试接单。此外,本次课程不仅限于技术干货传授,更有技术大佬十余年积累的技术面试+兼职接单的经验分享。实战课程安排Day
2022年10月28日
其他

用map函数让你的python起飞

error如果有一个负数作为参数,math.sqrt()会引发一个ValueError。为了避免这个问题,可以使用filter()来过滤掉所有的负值,然后找到剩余正值的平方根。看下面的例子。>>>
2022年10月27日
其他

用户生命周期分析全攻略

有很多人想看用户生命周期的分析,今天它来了。用户生命周期管理,是系统化运营和拍脑袋运营的重要区别。不做系统化设计,就会沦陷为无脑烧钱的傻大粗。然而用户生命周期到底要怎么管,网上很少有详细的讨论。用户生命周期分析的常见错误网上流传的用户生命周期只有一张语焉不详的图(类似下图)。
2022年10月26日
其他

【Pandas技巧】groupby+agg/transform

大家好,我是Peter朋友才哥~本文介绍的是分组groupby分组之后如何使用agg和transform模拟数据import
2022年10月25日
其他

利用excel与Pandas完成实现数据透视表

数据透视表是一种分类汇总数据的方法。本文章将会介绍如何用Pandas完成数据透视表的制作和常用操作。1,制作数据透视表制作数据透视表的时候,要确定这几个部分:行字段、列字段、数据区,汇总函数。数据透视表的结构如图1所示。图1
2022年10月22日
其他

几个有趣且有用的Python自动化脚本

send_email('目标邮箱','test','test')解压文件解压文件的软件多如牛毛,但是如果一次性需求比较旺盛,需要批量解压的时候,就可以考虑用
2022年10月20日
其他

sql技巧之开窗函数rank()的使用

今天分享一篇交流群里群友的问题和某群友的解答!题目当前数据库的”testsql”日志中,存在日期字段”gl_dt”(varchar)和玩具id字段”loan_amt”(varchar),现需求找出每个月相较于上个月新增玩具名,和每个月相较于下个月失去的玩具名。以下为数据样例展示:gl_dt
2022年10月19日
其他

Python 日期和时间用法超强总结

模块与time模块类似,datetime模块包含处理日期和时间所必需的所有方法。内置功能:下表介绍了本模块中的一些重要功能:functionDescriptiondatetime()datetime
2022年10月17日
其他

2022企业级BI平台白皮书(附下载)

数字化转型对规模型企业来说,应当是一个渗透企业的战略,也应当是一种赋能业务一线人员的方式,于是,此时规模型企业对企业级BI的需求空前旺盛。企业级BI不仅要能够在业务需求角度以数据分析助力智能决策,还能够在组织升级和解决方案的多层次,满足规模型企业的复杂需求。《2022企业级BI平台白皮书》是观远数据发布的业内首部聚焦规模型企业数字化转型,探寻BI平台企业级能力建设方法论的白皮书,也是观远数据基于多年来与超过400家先进企业携手数字化实践的经验沉淀与应对方案整合。白皮书从规模型企业数字化转型特有的挑战入手,针对企业丰富的数字化触点、规模化能力建设、智能决策、组织升级需求进行分析,梳理了规模化企业对于“企业级BI”能力的要求,建设性地提出了企业级BI“五力模型”,为规模型企业提供新的BI建设思路与可落地的BI选择方法论。通过包括世界500强股份制银行、万店饮品连锁品牌、头部互联网公司在内的各行业规模型企业的实践分析,分享企业级BI能力体系的构建成果,并前瞻性的展望了未来将驰骋市场的“四化”企业特征,为企业数字化运营及业务发展提供策略支持。以下为观远数据《2022企业级BI平台白皮书》内容节选,文末可下载完整白皮书:本文内容来自观远数据《2022企业级BI平台白皮书》,扫二维码可下载完整白皮书,点击阅读原文直接体验DEMO。
2022年10月13日
其他

自学Python的最佳实践!

基础教程❝https://www.runoob.com/python/python-tutorial.html菜鸟教程其实同样的大名鼎鼎,相信有太多的小伙伴的自学之路都是从这个网站开始的,不仅仅是
2022年10月12日
其他

关于“数据指标”的一些基本思考与见解

前言在刚迈入数据的大门时,有些伙伴经常对一些数据指标或者数据本身的概念很模糊,尤其是当跟运营、产品、数据分析师了解业务需求的时候,会被这些密密麻麻的指标给弄糊涂。因此,对数据指标的概念进行一次简单的梳理以及思考!希望此模糊的伙伴一次思维的扩展和认知。数据指标是业务现状的反映,而数据分析也正是基于对业务现状的准确透视才能做出有效决策,可见,数据指标的重要性不言而喻。为了建立对数据指标的完整认知,我们把数据指标拆成“数据”与“指标”:指标是数据之间的运算,是「衡量」事物发展程度的“模型”。也就是说“建立指标「评估」业务发展”是一个建模的过程:把业务发展从物理世界映射到数据空间中,只有这样才能使得“万物皆可计算”,这就是数据分析的基础。1什么是“数据”?首先,我们先来了解一下什么是“数据”?最通用的理解,数据是被存储起来的信息。从应用的角度,数据是把事物做量化处理的工具,万物皆可数据化:数值数字是数据,文本、图像、视频等同样都是数据。按字段类型划分,可以把数据分为:文本类:常用于描述性字段,如姓名、地址、备注等数值类:最为常见,用于描述量化属性,如成交金额、商品数量等时间类:仅用于描述时间发生的时间,是重要的分析维度(如同比、环比、累计等)按结构划分,可以把数据分为:结构化数据:通常指关系数据库方式记录的数据半结构化数据:如日志、网页数据非结构化数据:指语音、图片、视频等形式的数据根据数据连续的属性不同,还可以分为:连续型数据:在任意区间可以无限取值,比如年龄、身高离散型数据:常见的分类数据,比如性别、年级2如何理解
2022年10月9日
其他

官宣!今日起,本号粉丝可免费加入网易数据分析交流群!

就业机会多多多网易大厂内推资源完成整个深造项目的学员,将得到超值服务:数据分析作品集建立、简历优化、面试模拟、TOP大厂内推、甚至到网易内部就职的机会!扫码免费报名
2022年10月8日
其他

从头完成一个 Restful API 服务

服务,不要轻易走开哦01.框架概要先来看看大致的代码框架这里说明下,这套代码结构是参照经典flask书籍《Flask
2022年10月6日
其他

五星红旗国庆头像制作教程来了

大家好,我是才哥。国庆节终于来了,最近有个五星红旗半透明渐变头像很火,在抖音里、微信群里都流行起来了。那么,作为python玩家,是不是也要共享一下自己的力量,用python快速制作这样的头像呢!?来吧,展示!目录:1.
2022年9月30日
其他

20个数据分析师必会的营销模型,建议收藏

之前看到过一个经典的面试题,问“如果我们要推广一个买菜app,你准备怎么做?”没经验的人完全就是一头雾水,根本不知道从何开始做;有经验的人,虽说能说出一些像“多渠道投放”、“裂变拉新”这样的内容,但逻辑不够严谨。这样的问题,不仅会在面试中遇到,日常工作中也经常遇到,那该怎么解决这些问题呢?最简单的方法就是套用分析模型,利用模型来盘清问题的底层逻辑,找到问题的抓手。下面就给大家整理了20种常用的分析模型,赶紧收藏起来!1、5W2H分析5w2h模型应用很广泛,也经常被叫做“七何分析法”,主要由7个要素构成:What:何事——
2022年9月28日
其他

为了买车,我爬了懂车帝!

300,}新建一个chrom_middlewares.py文件第2步DOWNLOADER_MIDDLEWARES设置的下载中间件,我们自己编写:chrom_middlewares.pyimport
2022年9月27日
其他

十张图,详解用户分层怎么做

有同学疑惑:领导让做用户分层,可不管怎么分,似乎都觉得没有啥科学道理,也经常被嫌弃:“你这分层分得有啥意思”。到底有没有标准的分层规范?在讨论这个问题之前,大家先看一个简单的问题,假设一个业务收入情况如下,你会怎么解读数据?(总收入=付费用户数*付费用户人均付费)一、用户分层的一般作用本质上看,用户分层是一种特殊形态的用户细分:按用户价值高低进行细分。处于上层的,是高价值用户,处于下层的是低价值用户。用户分层最大用处,是:去平均化。比如上边的题目,大部分同学会脱口而出:总收入在下降人均付费减少了17%,用户增长了20%所以要把人均付费搞高,再搞多25
2022年9月26日
其他

对比学习,用Excel和Python绘制「子弹图」

Excel操作稍有不同,差异大的地方文中有额外解释,总体绘图步骤和思想是一致的,不影响理解和阅读。子弹图子弹图的样子很像子弹射出后带出的轨道,所以称为子弹图(英文名:Bullet
2022年9月22日
其他

以羊了个羊为例,浅谈小程序抓包与响应报文篡改

今天我们一起来看看微信小程序的抓包流程本来是想以天眼查小程序作为抓包主体的,但是这两天羊了个羊实在是太火了,没办法,咱们也来追一追热点,今天我们的目标程序就是羊了个羊了!而且从9月20号的某个时刻开始,羊了个羊的接口正式进入到V2时代,也就是相关的通关接口进行了加密处理,请求时需要携带参数MatchPlayInfo,而该参数又是通过JavaScript的混淆代码来处理的,所以导致一键通过程序都失效了,那么咱们只能另寻出路了,修改
2022年9月21日
其他

天气转凉,需要注意什么

最近偶感风寒还是有些痛苦,比如咳嗽、鼻子被堵,思维迟钝,都不能好好工作跟打游戏了。在这个季节交接的日子里,大家一定记得注意多喝热水!
2022年9月20日
其他

用Python进行AQI空气质量分析与预测

80.04)范围内。建模预测问题:已知某市的降雨量、温度、经纬度等指标,如何预测其空气质量?为了进行模型计算,我们首先需要将一些文本型变量转换为离散数值变量。data["Coastal"]
2022年9月19日
其他

用Python实现智能风控

写作结构本书整体贯穿了智能风控模型、特征和策略以及智能风控管理,读者可以按顺序阅读或者根据自身知识背景有选择地阅读相应章节。主要章节
2022年9月18日
其他

Python自动化:如何批量导入加密的Excel

目前,verify_password选项仅对ECMA-376敏捷/标准加密有意义file.load_key(password="Passw0rd",
2022年9月16日
其他

Python 操作XML文件一文通

文件并将更新的输出写入该文件,但是也可以使用相同的功能修改原始文件。执行上述代码后,将能够看到已创建一个包含更新结果的新文件。上图显示了我们食品项目的修改描述。要添加新的子标签,可以使用
2022年9月13日
其他

群友讨论:Pandas与MySQL求解经销商会话时间相关的问题

大家好,我是才哥。前几天在咱们粉丝交流群有朋友提出了一个数据处理的需求,引来了一众群友激烈讨论,才哥也有幸参与进来。今天,分享关于本次问题的深度讨论,主要是小小明大佬的输出,来吧!📢作者:小小明-代码实体📢博客主页:https://blog.csdn.net/as604049322📢欢迎点赞
2022年9月12日
其他

Python编程快速上手 让繁琐工作自动化

让繁琐工作自动化》,也是我自学python看过的第二本书。(文末送2本书)自学编程是不少人的选择,在著名的软件开发领域问答网站stackoverflow上,直接搜索learn
2022年9月10日
其他

27个Python数据科学库实战案例演示

plt.yticks([])plt.subplot(224),plt.imshow(blur_1[:,:,::-1]),plt.title('Bilateral')plt.xticks([]),
2022年9月8日
其他

为了在上海租房,我用python连夜爬了20000多条房源信息

urls.append('https://sh.lianjia.com/zufang/{}/pg{}rco11/'.format(a,i))num=1for
2022年9月3日
其他

手把手教你用Python撸一个 Web 汇率计算器

'在线汇率计算器'此处使用的css有在线的和本地的,利用try……except……防止在线的css文件无法加载而导致报错。构建结果输出函数代码如下(示例):#
2022年8月28日
其他

Pandas数据处理与分析高级案例详解

pandas”,在咱们这个公众号的很多关于pandas的学习笔记都是来自这些学习资料。正文“告别痛苦,快乐学习pandas”是Datawhale社区和耿远昊发起“Joyful
2022年8月23日