大数据

其他

高能干货:OpenCV看这篇就够了,9段代码详解图像变换基本操作

因此,我们在这里介绍一下噪声的消减方法,可以用在图像的预处理上。与此同时,对训练数据添加适量噪声,可以使训练后的模型更加鲁棒,对模型的性能提升有一定帮助。因此,为图像添加噪声可以起到数据增强的作用。
2019年6月30日
其他

18段代码带你玩转18个机器学习必备交互工具

遗憾的是,我们只能探索其中一部分,这里列出了我过去用过的好东西或者从别人那里听来的好东西(还有成千上万可能同样好的东西—寻找那些为小型企业提供良好支持的人,在成交之前他们往往会提供演示和测试账户)。
2019年6月27日
其他

终于有人把中台说清楚了

在过去几年中,借着移动互联网的红利,许多公司都高速发展,进行大规模业务拓展,业务拓展的速度足够快,对公司自然是好事,但是随着而来的问题就是,公司内部出现了大量的重复建设和资源浪费的现象,重复造轮子。
2019年6月27日
其他

2019最佳工作、平均年薪达百万!想入行,先看这10本书

推荐语:实践性很强的深度学习工具书,既适合希望快速学习和使用Keras深度学习框架的工程师、学者和从业者,又特别适合立志从事深度学习和AI相关的行业并且希望用Keras开发实际项目的工程技术人员。
2019年6月25日
其他

Python有哪些技术上的优点?比其他语言好在哪儿?

但请别误会:“免费”并不代表“没有支持”。恰恰相反,Python的在线社区对用户需求的响应和商业软件一样快。而且,由于Python完全开放源代码,提高了开发者的实力,并产生了一个很大的专家团队。
2019年6月24日
其他

“芯片砸钱不行,得砸数学家”!8本烧脑数学书,大牛都在看

本书旨在指导学生初步掌握数学建模的思想和方法,共分两大部分:离散建模和连续建模,通过本书的学习,学生将有机会在创造性模型和经验模型的构建、模型分析以及模型研究方面进行实践,增强解决问题的能力。
2019年6月23日
其他

从用户不足2000万到27亿,这项技术真要上天了?

三位作者均是区块链领域的资深技术专家,均是Stellar社区的早期参与者、深度参与者和技术布道者,为Stellar在中国乃至全球的发展做出了重要贡献。本书得到了Stellar创始人Jed
2019年6月20日
其他

手把手教你学Python:一文看懂字符串基本操作

操作first[0]得到包含first第一个字母的字符串,second[0]获取第二个名字的首字母。最后,使用字符串"&"连接两个单字母的字符串得到长度为3的字符串initials(见图2-4)。
2019年6月19日
其他

5G元年,你最该搞懂的技术竟然是……

导读:4G改变生活,5G改变社会。5G是下一代移动通信技术,5G的应用将渗透到社会生活和生产的各个领域,比如沉浸式媒体、自动驾驶汽车、智慧工厂/城市/建筑、互联健康、下一代教育等。
2019年6月17日
其他

入门干货:Python操作Word文件经验分享

load_workbookwb=load_workbook('teset/test_name_list.xlsx')ws=wb['name']names=[]for
2019年6月16日
其他

父亲节,来认识一下这几位“爸爸”

推荐语:人工智能之父、图灵奖得主马文·明斯基对科学和人性的浪漫主义解读。一本引领时代的著作,影响了凯文·凯利,艾萨克·阿西莫夫,侯世达和雷·库兹韦尔。豆瓣评分8.9分的大师经典。
2019年6月15日
其他

想用Python爬小姐姐图片?那你得先搞定分布式进程

第一步:建立task_queue和result_queue,用来存放任务和结果task_queue=Queue.Queue()result_queue=Queue.Queue()class
2019年6月13日
其他

深度学习高能干货:手把手教你搭建MXNet框架

之前提到过,Symbol模块采用的是符号式编程(或者称为静态图),即首先需要定义一个计算图,定义好计算图之后再执行计算,这种方式虽然高效,但是对代码调试其实是不大友好的,因为你很难获取中间变量的值。
2019年6月12日
其他

手把手教你用OpenCV实现机器学习最简单的k-NN算法(附代码)

简单而言,k-NN算法认为一个数据点很可能与它近邻的点属于同一个类。思考一下:如果我们的邻居是红队球迷,我们很可能也是红队球迷,否则我们可能很早之前就搬家到其他地方了。对于蓝队球迷而言也是这样。
2019年6月10日
其他

41款实用工具,数据获取、清洗、建模、可视化都有了

推荐语:本书系统介绍如何用主流智能技术实现大数据分析。详细介绍了数据科学领域的相关智能技术,包括数据分析、基本学习算法、模糊逻辑、人工神经网络、基因算法和进化计算、使用R语言进行大数据分析等。
2019年6月9日
其他

你是怎样“被平均”的?细数统计数据中的那些坑

我们能不能准确地知道美国到底有多少人在报税单上做过手脚,多少人有过婚前性行为,多少人开车打手机,或多少人使用违禁药品?如果你想象一下做这些统计的细枝末节,那么我们怀疑你的答案肯定会是“不太可能”。
2019年6月8日
其他

高能!8段代码演示Numpy数据运算的神操作

Numpy支持高阶、大量计算的矩阵、向量计算,与此同时提供了较为丰富的函数。Numpy采用友好的BSD许可协议开放源代码。它是一个跨平台的科学计算库,提供了与Matlab相似的功能和操作方法。
2019年6月5日
其他

Python爬取42年高考数据,告诉你高考为什么这么难?

可以看到,不同省份的985和211录取率有着比较明显的差距,12个省份的985录取率低于1.5%,安徽,河南,江苏和贵州更是低于1.2%,作为山东考生的作者也不由得表示“自愧不如”。
2019年6月4日
其他

真正零基础Python入门:手把手教你从变量和赋值语句学起

常量是指指定了初始值后,其值不应该再改变。一些语言允许程序员显式地标记常量,并且在你试图修改常量的值时会产生语法错误。Python由程序员自己保证常量的值不被改变。所以,常量名全部大写是一个惯例。
2019年6月3日
其他

Python实操:手把手教你用Matplotlib把数据画出来

最后,可以使用plt的subplot函数绘制全部数字的样例。subplot函数与MATLAB中的函数一样,需要指定行数、列数以及当前的子绘图索引(从1开始计算)。我们将使用for
2019年6月2日
其他

有关华为、5G、芯片和操作系统,这些书你读过几本?

本书适合作为高等院校物联网工程、通信工程、网络工程、电子信息工程、微电子和集成电路等相关专业的教材,也适合传感器和芯片研发人员阅读,另外也适合作为智慧城市建设等政府管理部门相关人员的参考读物。
2019年5月30日
其他

什么是数据?数据科学家需要掌握哪些技能?终于有人讲明白了

依赖于公司(organization)的性质、规模以及业务范围,数据科学家的工作将发生变化。他工作于以数据处理为主要业务的公司。在这种情况下,对数据科学家而言机器学习和统计数据处理是十分重要的技能。
2019年5月29日
其他

你为什么选择Python?4000名用户提到了这些原因

除了以上的设计宗旨,Python还包含模块化、OOP在内的一些工具来自然地提升程序的可重用性。而且由于Python致力于提升编码质量,Python程序员也都自然而然地秉承了这一理念。
2019年5月28日
其他

回顾计算机产业发展的4个阶段:美国企业统治全球市场了吗?

IBM不仅统治了美国计算机市场,还统治了欧洲和日本计算机市场。一个在美国兴起的小规模国内产业,凭借政府补助、有保障的政府市场、产业保护的组合拳优势,进而在欧洲、日本占据市场并保持了优势地位。
2019年5月27日
其他

结婚生娃和去核电站参观,哪个更安全?

从新闻的角度来说,车祸频发,一场车祸很难引发持续关注,而每次空难几乎都是全球性的大新闻。尤其在当前的移动互联网时代,不需要你主动去“打听”,这些大新闻会第一时间填满你的社交网络,给你留下深刻印象。
2019年5月26日
其他

5G时代必读的6本技术书

7、8、9全面更新,Java程序员必备参考书。包含大量完整的示例代码和透彻的技术分析!通过90条经验法则,探索新的设计模式和语言习惯用法,帮助读者更加有效地使用Java编程语言及其基本类库。
2019年5月24日
其他

为什么Flink会成为下一代大数据处理框架的标准?

在这些情况下,通过基于分布式快照技术的Checkpoints,将执行过程中的任务信息进行持久化存储,一旦任务出现异常宕机,Flink能够进行任务的自动恢复,从而确保数据在处理过程中的一致性。
2019年5月22日
其他

用Python实现磁盘IO操作全攻略,让数据流动起来!

假如我们想在不同的编程语言之间传递对象,把对象序列化为标准格式是关键,例如XML,但是现在更加流行的是序列化为JSON格式,既可以被所有的编程语言读取解析,也可以方便地存储到磁盘或者通过网络传输。
2019年5月20日
其他

聪明人也会掉进去的5个思维陷阱,你能躲过几个?

假如有人问你,恐怖主义和饥饿,哪个对人类安全的威胁最大?你听得最多的说法是什么?哪个问题有好几个大型政府机构都致力于降低它的影响?你是不是会说“恐怖主义”?那么,你犯错的概率可能要上涨几千个百分点。
2019年5月19日
其他

4段简短代码教你用Python读写Excel

但当数据量大到用Excel打开都要好久,电脑打开文件都会死机的时候,这种也就不适合用office工具了,也或者我们想进一步提升能力的时候,需要学习一些hardcore技能,即用编程语言做数据分析。
2019年5月16日
其他

8个应用案例告诉你,机器学习都能做什么?

注:按时间顺序排列的表(像我们今天这样记录小时、分钟和秒的个人计时器)在伽利略年代并不存在。相反,时间是通过计算每一个球滚下斜坡时从壶嘴滴落到小杯里的水量来计算的。这种聪明的计时装置被称为“水钟”。
2019年5月15日
其他

从计算机视觉到人脸识别:一文看懂颜色模型、信号与噪声

我们平时用得最多的RGB颜色展示模式也就是24比特展示的。这种方法分别将红、绿、蓝3种颜色使用8比特无符号整数来表示。8比特无符号整数表示的范围就是0~(28-1),也就是[0,255]的整数区间。
2019年5月14日
其他

什么是Apache Spark?这篇文章带你从零基础学起

通过注册这些转换,RDD提供数据沿袭——以图形形式给出的每个中间步骤的祖先树。这实际上保护RDD免于数据丢失——如果一个RDD的分区丢失,它仍然具有足够的信息来重新创建该分区,而不是简单地依赖复制。
2019年5月12日
其他

如果数据有质量,地球将成黑洞?

在少数情况下,面对新的问题,我们需要从头开始收集数据,或者至少需要重组和准备数据。事实上,如果问题是全新的,那么可以选择适当的数据,这个过程应该与下一步特征选择合并,这样可以仅收集需要的数据。
2019年5月9日
其他

干货:一文看懂网络爬虫实现原理与技术(值得收藏)

在搜索引擎查询某个关键词的时候,会出现一个排名结果,在排名结果中,通常会有大量的网页,但是,大部分用户都只会关注排名靠前的网页,所以,在爬虫服务器资源有限的情况下,爬虫会优先更新排名结果靠前的网页。
2019年5月8日
其他

一文了解人脸识别:从实现方法到应用场景都讲明白了

我们这里指的人脸分类主要包括判断人脸图片中的人脸是男人还是女人,所属的年龄区间是怎样的,是什么样的人种,该人的表情是什么等。当然,人脸分类能够实现的功能远不止于此,在很多场景中具有重要的应用价值。
2019年5月6日
其他

8本前沿技术书,助力这届「青年人」将科幻变成现实

一直看到这里的你,一定是爱读书的人。欢迎加入大数据读书会微信群,结识更多同行业小伙伴,我们将在群里额外送书!未来还有更多福利等你认领!(请在后台回复读书会,获取进群方法)
2019年5月3日
其他

戳破“砖家”假面:唯快不破的时代,为什么这件事一定要慢慢做?

每一个你想要找打答案的问题,我们可敬的专家们往往都是意见不一,但是专家们多多少少为我们提供了合情合理的观点,为我们的思考提供了素材,而你则需要具备“批判性思维”才能在众多答案中抽丝剥茧,辨别真伪。
2019年5月2日
其他

手把手教你挖掘数据:怎样创造一个“尿布与啤酒”的都市传奇?

在实现Apriori算法之前,我们要特别关注生成候选项集的几条重要方针。虽然计算2-项集是很费时的,但这是整个过程中最为密集的工作了。由于前面提到的闭包属性,后续的数据可能构建的项集比之前更少。
2019年4月28日
其他

Spark入门必读:核心概念介绍及常用RDD操作

[numTasks]):对KV类型的RDD进行关联,只能是两个RDD之间关联,超过两个RDD关联需要使用多次join函数,join函数只会关联出具有相同Key的元素,相当于SQL语句中的inner
2019年4月25日
其他

网络爬虫有什么用?怎么爬?手把手教你爬网页(Python代码)

但是有时会出现这种情况:即使POST请求的数据是对的,但是服务器拒绝你的访问。这是为什么呢?问题出在请求中的头信息,服务器会检验请求头,来判断是否是来自浏览器的访问,这也是反爬虫的常用手段。
2019年4月24日
其他

如果你还在996,把这些书送给老板看看

21条时间管理法则,让千万人受益。在过去的20多年里,本书的方法帮助人们成功地实现效率的提升和自我管理,大多数人运用书中的一系列方法和技巧,实现了职位提升,收入翻倍,个人长期目标和人生目标完美实现。
2019年4月22日
其他

以5个数据库为例,用Python实现数据的提取、转换和加载(ETL)

Neo4j是一个高性能的,NOSQL图形数据库,它将结构化数据存储在网络上(从数学角度叫做图)而不是表中,是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎。
2019年4月18日
其他

如果你不想长期996,看看这个

Press机器学习领域畅销教材!知名媒体推荐的十大机器学习入门教材之一。新西兰惠灵顿维多利亚大学数学与统计学院史蒂芬·马斯兰教授所著。南京大学计算机科学与技术系高阳教授、商琳副教授联袂翻译。
2019年4月17日
其他

数据采集技术揭秘:手把手教你全埋点技术解决方案

的缩写,即注解处理器,是一种处理注解的工具。确切的说它是JAVAC的一个工具,它用来在编译时扫描和处理注解。注解处理器以JAVA代码(或者编译过的字节码)作为输入,生成
2019年4月15日
其他

5G辐射大吗?关于基站和手机辐射,这篇文章彻底讲明白了

况且,我们国家对公众移动通信基站设备实施严格的入网许可制度,关键设备入网前必须进行检测、核准。通信基站投入使用前,需进行电磁环境测试和设备抽检。设置基站时,必须向主管部门提交申请和报送技术资料。
2019年4月15日
其他

那些“反人类”的用户体验,都错在哪了?

综上,我们从直觉、定义以及一些简单的心理学概念的角度,结合日常生活中的用户体验例子,尝试理解“用户体验设计”这个领域。如果你有兴趣,本文结尾有一些中英文延展阅读,对以上的话题做了专业、详尽的讨论。
2019年4月14日
其他

一文看懂数据挖掘:哪一种方法最好?都需要哪些技术?

这种方法的优势之一是,迭代是内建的。在特定步骤之间,分析人员将检查当前步骤仍然与之前的某些步骤保持一致。另一个优势是明确地提醒分析人员,即使在评估步骤中也要将业务问题放在项目的核心位置。
2019年4月11日
其他

什么是机器学习?有哪些算法和分类?又有哪些应用?看完你就懂了

迁移学习是指当在某些领域无法取得足够多的数据进行模型训练时,利用另一领域的数据获得的关系进行学习。迁移学习可以把已训练好的模型参数迁移到新的模型,指导新模型训练,更有效地学习底层规则、减少数据量。
2019年4月9日
其他

什么是网络爬虫?有什么用?怎么爬?终于有人讲明白了

随着大数据时代的来临,网络爬虫在互联网中的地位将越来越重要。互联网中的数据是海量的,如何自动高效地获取互联网中我们感兴趣的信息并为我们所用是一个重要的问题,而爬虫技术就是为了解决这些问题而生的。
2019年4月7日