正文结束
其他
【数据蒋堂】第24期：非等值分组
我们在上一期研究了分组运算的实质，即将一个集合按某种规则拆分成若干子集。不过，上期的关注重点在于还原分组运算的步骤，而没有讨论拆分规则，例子中都是用某些字段（或表达式）来定义拆分规则，也就是SQL中使用的方法。
我们把这种拆分方式称为等值分组。
等值分组在数学上的描述，相当于在一个集合上定义了一个等价关系：分组字段（表达式）相等的成员（记录）就认为等价。
等价关系是指满足如下条件的关系：
1）交换性，若a=b则b=a
2）传递性，若a=b,b=c则a=c
3）排他性，对任何a,b，a=b和a!=b有且只有一个成立
可以证明，任何等价关系一定能把原集合完全划分成若干个子集，每个子集中的成员互相等价。
完全划分具有这样的性质：
1）没有空子集
2）原集合的任何成员都属于且只属于某一个子集
考查等值分组，我们会发现它能够精确地满足等价关系的定义，因而等值分组的结果一定是完全划分。
有等值分组和完全划分，那是不是还有非等值分组和不完全划分？还有没有别的方式产生完全划分？这些是否有业务意义呢？
答案是肯定的。
比如我们要统计男女员工数量。我们可以写成这样：
SELECT gender,COUNT(*) FROM employee GROUP BY gender
但如果公司员工全是男性或女性，这个运算结果就只有一行了，那可能就不是我们想要的了。
为解决这个问题，我们可以设计这样一种分组方案：先罗列出一个基准集合，然后将待分组集合成员的某个属性（字段或表达式）与基准集合成员比较，相同者则分到一个子集中，最后拆分出来的子集数量和基准集合成员数是相同的。这种分组我们称为对位分组。
使用对位分组统计男女员工数量可以写成这样：
a=[男,女] // 基准集合
g=employee.align(a,gender) // 设计函数align实现对位分组，拆分集合
g.new(a(#),~.len()) // 用分组子集计算汇总
可以想象，这种对位分组在日常统计中是很常见的，比如按地区、按部门统计，都可以事先把基准集合列出来，而且我们经常还要求结果集必须按基准集合的次序出现，而等值分组不能保证这个次序，还要再排序（排序时还是要提供这个基准集合，原集合成员属性中没有这个信息）。
对位分组可能出现空子集，它也不能保证任何原集合的成员都被拆到某个子集中（比如有些不重要的成员没有被列入基准集合），不过对位分组能保证每个成员最多只出现在一个子集中。
我们还能把对位分组推广成更一般的枚举分组。
枚举分组是指，事先指定一组条件，将待分组集合的成员作为参数计算这批条件，条件成立者都被划分到与该条件对应的一个子集中，结果集的子集和事先指定的条件一一对应。
比如，将员工按年龄段分组统计人数：
a=[?<=30,?<=40,?>40] // 用?表示要代入的参数
g=employee.enum(a,age) // 设计函数enum实现枚举分组，拆分集合
....
显然，枚举分组在日常业务中也是不少见的。
枚举分组和对位分组很象，都需要先列出一个基准集合，事实上，对位分组就是一种特殊的枚举分组。不过，不同的是，枚举分组可能制造出有重复成员的子集，也就是可重分组。
a=[?<=30,?>20 && ?<=40,?>50] // 条件有重叠
g=employee.enum(a,age)
可重分组在实际业务中相对罕见一些，不过了解一下也有助于再次理解分组运算的实质。
表面上看，对位分组和枚举分组和SQL的GROUP BY差别很大，但理解了分组运算的本质后，就会明白它们其实是一回事：把某个集合拆分成若干子集。只是拆分的方法各有不同。
还有其它不完全依赖于成员属性的分组方式，但仍然是一种“把集合拆成子集”的方法，我们在后续文章会再提及。
还有一个问题，SQL只提供了等值分组，那会不会不够用呢？用SQL又是如何解决对位分组和枚举分组问题的？
其实SQL的运算能力是完备的，上述两种非等值分组都可以转换成等值分组，就是会麻烦一些。
对于对位分组，可以用基准集合和待分组集合做LEFT JOIN，对这个结果集再做GROUP BY就可以得到相同的效果。注意一定要用LEFT JOIN，用JOIN可能会失去空子集，用FULL JOIN又会多出基准集合之外的成员。枚举分组也是类似，但语句会更复杂些，要根据枚举条件去设计JOIN的条件，难以给出通用写法。
近期文章
《数据蒋堂》的作者蒋步星，从事信息系统建设和数据处理长达20多年的时间。他丰富的工程经验与深厚的理论功底相互融合、创新思想与传统观念的相互碰撞，虚拟与现实的相互交织，产生出了一篇篇的沥血之作。此连载的内容涉及从数据呈现、采集到加工计算再到存储以及挖掘等各个方面。大可观数据世界之远景、小可看技术疑难之细节。针对数据领域一些技术难点，站在研发人员的角度从浅入深，进行全方位、360度无死角深度剖析；对于一些业内观点，站在技术人员角度阐述自己的思考和理解。蒋步星还会对大数据的发展，站在业内专家角度给予预测和推断。静下心来认真研读你会发现，《数据蒋堂》的文章，有的会让用户避免重复前人走过的弯路，有的会让攻城狮面对扎心的难题茅塞顿开，有的会为初入行业的读者提供一把开启数据世界的钥匙，有的甚至会让业内专家大跌眼镜，产生思想交锋。
蒋步星，清华大学计算机硕士，著有《非线性报表模型原理》等
1989年中国国际奥林匹克数学竞赛团体冠军成员，个人金牌。
2000年创立润乾公司，首次在润乾报表中提出非线性报表模型，完美解决了中国式复杂报表制表难题，目前该模型已经成为报表行业的标准。
2008年开始研发不依赖关系型数据的计算引擎，历经多个版本后，于2014年集算器正式发布。有效地提高了复杂结构化大数据计算的开发速度和运算效率。
2016年荣获中国电子信息产业发展研究院评选的“2016年中国软件和信息服务业 • 十大领军人物”。
2017年创办数据领域技术讲堂《数据蒋堂》，专注数据、每周一期。
2017年获得中国大数据产业生态大会评选的“2017年度中国数据大工匠”