导读本次将分享内容推荐策略的道与术,其中“道”指价值观,“术”指方法论。本篇内容比较口语化,既适合一线同学,又适合从事搜广推的团队管理者阅读。
主要内容包括以下几大部分:
1. 策略产品经理的定义
2. 内容社区的策略决策框架
3. Q&A
分享嘉宾|韩瞳 知乎 首页推荐策略团队负责人
编辑整理|孙蒙新
内容校对|李瑶
出品社区|DataFun
01
首先来介绍策略产品经理这一职位的定义,以及其中的道与术。策略产品经理是“在限制条件内,通过推动项目、设定评估体系和全面评估项目收益等三种手段,达到全局最优解的产品岗位。”其中的限制条件,包括法律法规限制、用户体验设计、项目资源设计等因素。在这些限制条件下,策略产品经理往往会通过三种手段来实现全局最优解。三种手段分别为:(1)推动项目,包括项目的立项、推动、总结和开会,策略产品经理在其中要起到项目润滑的作用,能够厘清PRD的细节,并拉到关键决策人来共同推进项目。(2)确定评估体系,明确一级指标、二级指标,并推动关键人确定指标方式。全面评估项目收益,评估方式包括主观评估体验测量和数据测量。(3)全面评估项目很重要,如果只看数,可能很多东西无法测到。关于如何评估个人绩效以及如何定义全局最优解,不同公司、不同时间点会给出不同的答案。比如,有一种想法是在 100 条时间线上处理 100 条平行事件,通过评估项目复盘时每一步的信息量,了解个人在当时所掌握的信息,逐步校准个人的标准动作,以提高效率。大多数人在这个过程中会浪费百分之二三十的时间,如果表现不如这个水平,则说明其低于行业平均水平;如果表现优于这个水平,则说明这个人的复盘能力非常强,且没有走弯路,那么这个人的表现就是比较好的。在评估产品总监及一线产品经理的绩效时,可以采用平行世界最优解的方式,考虑限定条件。此外,推动项目也需要考虑一些关键因素。例如情商、PRD 的撰写能力以及关键决策人的支持等因素都会影响项目的进展。在实际操作中,可能会遇到一些问题,如一线员工无法拍板、方向不明确、指标不清晰、考核方式不确定等,这些问题需要及时解决,以确保项目顺利进行。2. 与客户端产品、数据分析职位的共性和差异
策略产品经理与客户端产品经理、数据分析师等职位,在不同公司的分工差异是很大的。因此,强化职位之间的差异可能会带来一些不必要的争论,没有实际意义。相反,职位之间的共性远远大于差异,不同职位的分类并不是绝对的,而是根据实际情况因人设岗。也就是说,不同职位的工作内容大致相同,只是具体的职责和分工会因人而异。在实际工作中,需要根据个人的能力和特长来安排合适的工作,以达到最佳的效果。我们工作中需要的技能点有以下几个方面:(1)数据方向的能力:掌握 SQL、Python Pandas、R语言,了解概率论与数据统计,掌握机器学习知识基本知识,并且要会写报告。(2)商业方向能力:理解公司的盈利模式,了解客户需求和行业知识,掌握竞品分析的方法和工具。(3)产品方向能力:具备逻辑建构和 PRD 产出能力,需要对技术有一定的理解,明白技术人员的技术方案,能够与研发团队进行有效沟通。有一些项目管理知识,包括 MVP(最小功能产品)的拆分和相关工具的使用。此外,最好对跨学科知识都有一定的了解。有时,策略产品经理需要具备广泛的知识储备,包括经济学、金融学、心理学、生物学等。这些知识可以帮助他们更好地理解用户需求、社会变化和行业趋势,从而更好地制定产品策略和方案。(4)除了技术能力和专业知识外,还要具备一些软实力,例如好奇心、同理心,对不同城市、不同年龄段的核心需求和生活状态的了解等。还有合作方沟通的能力,包括与内部团队和外部合作方的沟通协调,以及对上对下的管理等。在职场中要“做七说三“,指的是做到的权重为7,表达出来的权重为3。不仅要做得好,还要能让老板明白,让老板不焦虑,同时交付结果的能力也非常重要。在个人发展的价值观层面推崇“不设边界”,在团队管理的价值观层面推崇“边界清晰”,因为组织设计服务于目标,不同职位的区分都是为了服务于目标多快好省地达成。3. 策略产品的道与术
(1)第一是“少替用户做决定”,用户的需求非常多样,用户自己都不一定了解自己,所以我们应该通过一些工具和AB实验来判断用户的需求。(2)第二是坚持做大众需求。优先追求更广的视野,要做所有人都用的DAU更高的需求。从市场上看,就是高频打低频,高市场份额打低市场份额。即时通讯大于内容需求大于其他。(3)第三是在产品层面追求平台化,可复用,不重复造轮子。(4)第四是假设驱动、数据验证,避免需求空洞、不切实际。(5)最后是不要忤逆用户,我们可以适当引导用户,但是不能去寄希望于改变用户心智。02
内容社区的策略决策框架
1. 策略产品的价值是什么?如果经营压力大是不是不需要招聘策略产品只招聘算法就行了?2. 当前大模型层出不穷,单位token的价格越来越低,AI 能直接出策略的话,策略产品和数据分析师是不是不需要了?3. 当遇到商业化和消费目标的拉扯时,该如何做权衡?4. 内容社区中,创作重要还是消费重要?我们应该先做消费还是先做创作?以上这些都是很现实的问题。在知乎我们会将所有收益划分为 2×3的六个模块,分为体验部分和生态部分,基于此来考虑上述问题。
体验分为消费体验、创作体验和商业体验。体验部分可以通过类比来理解,例如美团外卖的消费者体验、骑手体验和商家体验。关键在于所处的市场是单边市场还是双边市场,在美团外卖的例子中,需要关注骑手、商家和消费者的体验。应该基于当前的业务阶段,考虑更重视谁的体验,每个季度的权重也可能不同。生态部分则分为消费生态、创作生态和商业生态。在经济学和生物学中,生态的定义是让竞争者能够充分竞争,实现优胜劣汰。这个概念也可以套用到组织生态上,即留下最能干活、最能产出、最上进的好同学,让竞争者充分竞争。把价值观差和能力差的同学慢慢淘汰掉。消费生态也是一样的概念。这6个格子的顺序取决于业务阶段,一般来说,生态是一个限制性指标(limit),主要看生态结构中的不同成分比例变化。而消费体验和创作体验,一般在不同的季度交叉设置目标,比如1季度做消费,2季度做创作,3季度再做消费这样。不同的业务有淡旺季,一般在旺季要贪心地挣钱,例如在双十一要把半年的钱全挣了;在淡季主要是过冬提效,提高 CPM(每千次展示费用)。从消费和生产的关系看,消费生态是市场经济,取决于用户需求,而用户是一个复杂系统。创作和商业一般需要平台方提供相应的辅助、资源和计划,因此创作和商业一般需要开大会,宣传自己的计划和服务,吸引用户进来,这是招商引资的逻辑。消费是一种市场沉淀,可以通过 AB 实验和不断的策略实现用户在各种市场上的迁移。比如知乎某个品类做得比小红书好,用户就会来知乎,而某些品类小红书做得比知乎好,用户就会去小红书,这就是市场经济。在消费生态中,我们鼓励优质内容驱逐劣质内容创作者,而在创作生态中,鼓励优质作者驱逐劣质作者。这两者并不完全相同,因为并非所有的内容都来自于UGC作者。有些作者是 PGC(专业生产内容)作者,给钱就写,不给钱就不写,而 UGC(用户生成内容)作者很多时候是用爱发电,需要给量才写,如果收到很多负向评论就不写,如果收到夸奖或客观、理性、乐观的评论就写。因此,作者和内容不是一一映射关系。客户也是一样,有优质客户和劣质客户,如果做了很多牛皮癣广告,大品牌客户就不会进来,会影响一些大品牌的品牌形象。
对于消费体验指标的因果性研究,一般通过人均点击、人均时长、人均打开次数、人均响应延时等路径实现。这里强调的是因果性而非相关性,因果性成立的第一性思考是因为人类不是机器人,不会像机器人一样 24 小时清空大脑记忆,昨天消费得好,今天才会再来,明天才会有提升,实际业务中因果性难以完全论证,我们一般从逻辑推演并用数据论证。
下边讲如何设置OKR的KR目标,从组织上看目标设计也不是随性设置的,许多中小型公司管理者不成熟,会犯很多常见的问题,这是由于中小型公司赚钱更难所以也更容易焦虑。第一是深思熟虑,避免朝令夕改,这和带兵打仗是一个道理;第二是指标少而精,less is more,设置10个指标让一个团队做,还不如不设置;第三是避免很多公司的既要又要还要,同时做到多个互斥目标是不可能实现的,设置这样的目标除了短暂缓解了管理者的焦虑以外没有什么实际作用。而中层的职责是缓解老板的焦虑,因为老板是出钱方,承担更高的风险,所以焦虑是正常的。一线干活的同学需要平衡老板的焦虑,当老板提出三个要求时,需要让老板给出排序,a 大于 b 大于 c,否则可以不做或者找其他人做,但我这么讲也不太现实,所以见仁见智的应对。具体的战术看,KR指标设计有三个原则:第一是反作弊,指标不能被短期运动拉高;第二是及时性,反映业务现状;第三是 action 相关性,动作和指标要有关联。设置哪些指标能改善业务,这里推荐三本书,都是讲因果理论的,也很推荐管理者学习。第一本书是朱迪亚·珀尔在 2019 年左右写的《为什么》;第二本书是2023年出版的《因果推断》,非常实用,评分 9.2;第三本书是朱迪亚·珀尔在2022年的《因果论》,这本书比较像教材,其中有很多推导的公式,适合深度学习的同学。
策略产品需要理解用户的需求,解决复杂系统的多目标问题,而模型擅长处理单一目标问题,需要完备的架构和重型投入,收益天花板很高,但早期成本也很高。产品总监需要做组织设计,考虑人的因素,设置对冲目标。上线实验分为四类,第一类是模型内部实验,如知识蒸馏;第二类是特征引入类;第三类是特征覆盖和准确提升类;第四类是融合目标实验,需要权衡各方,做出trade off。第四类实验的密度最高,一般包含四类策略或函数策略。
接下来分享一个模型多目标项目案例,在精排模型中设置多目标。在做点击目标一开始只考虑了点击率,点击率指标不是一个好指标,因为点击率高不代表每人看得多了,如果平台只有1个人曝光1个人看,点击率是100%但也没什么意义。后来我们把指标调整为人均点击,会发现标题党增多,然后经过一段时间的考量,决定加入人均时长指标,用于制衡标题党,因为标题党内容一般不会观看很久,通常用户看了几秒钟就退出了,没有任何力量可以逼着用户把一个无聊的内容看完,这样的话人均app停留时长是一个好的指标。
在精排阶段多目标这个项目中,产品经理要遵循几大原则:
原则1:做上游动作可以优化下游动作,实现正和博弈,比如提升点击在一定程度上也能提升点赞。
原则2:产品经理的职责在于理解用户,单信号在不同人群是多重意义的,需要研究各子集人群的行为模式并分类,揣测用户互动时的心理。
原则3:产品经理补位模型,可以帮助模型提供新信息。
原则4:人只擅长处理粗粒度问题,模型擅长处理细粒度的问题
这四条原则就是最近两个月我给团队做该项目的指导时给出的,我建议产品经理从以下方向开始入手:
(1)粗粒度看,哪部分人群预估分与实际CTR的差值ABS在长周期上差异最大?(2)哪些用户长期点后退,CTR表现如何?点后退出高的用户是否容易误触?预测误差是在收窄还是平稳或增大?(3)哪些用户大量点赞?目前该类人群点赞概率是否有比大盘低or高?(4)哪些用户长期使用收藏功能,这部分用户收藏后去收藏夹的频率如何?如果不去收藏夹在推荐中看到收藏过的内容的阅读满意度如何?做完了这些分析,我们自然会得到一些用户的洞察,然后和算法工程师深度讨论,得到较好的解决方案。03
Q&A
Q1: 策略产品的价值是什么?如果经营压力大是不是不需要招聘策略产品只招聘算法就行了?
A1: 复杂系统需要策略产品来协调多目标,增进算法团队对用户的需求理解。知乎的策略产品做了很多传统算法的工作,主要是人员成本问题和产研比例限制,公司经营中没有绝对合理的分工原则,一事一议是真理。Q2: 当前大模型层出不穷,单位token的价格越来越低,AI 能直接出策略的话,策略产品和数据分析师是不是不需要了?A2: 理解大多数人的需求是一项很难的工作,AI 出的数据分析报告的解读和Todo的形成一般还是需要人来做,最近看到百度出了可以取代数分的AI产品,但我对此保持谨慎态度,大多数分析师出的数据分析报告的确可以AI来产出,但优秀的分析师出的报告不仅合理,有用户洞察、能形成todo甚至文采飞扬。AI 时代的人主要在创造性、逻辑性、同情心和资源整合能力方面发挥优势。对于具有较强创造性的设计师而言,使用 AI 可以使其变得更加强大。对于逻辑性较好的人来说,使用 AI 可以强化其逻辑能力,最近有一些研究称AI也具备一定的同理心(参照GPT4V的评测),我们日常工作里也会询问AI一些同理心的问题,有时也会获得还不错的答复。最后资源整合能力也是人类独有的技能,无论是从事销售、推动项目还是组织管理,AI 都无法替代人类决策,因为人类决策是要负责的,AI无法被追责,总不能惩罚AI就把电源拔了。Q3: 当遇到商业化和消费目标的拉扯时,该如何做权衡?
A3: 商业运作的主题是现金流和利润的权衡,缺现金流的情况下,all in收入是可理解的,活下来第一,今年很多公司陷入了该战略,但如何在加重商业化更科学合理地保护体验,是一个难度分配为内部协调70%、技术实现30%的工作,主要的难度其实是内部协调的工作。Q4: 内容社区中,创作重要还是消费重要?我们应该先做消费还是先做创作?A4: 根据《飞轮效应》中的理论,好的产品需要构建合适的飞轮,一般情况下在内容社区里创作重要。但作者的创作留存依赖于消费规模,如果一篇内容太少人看作者就留不下来。大多数作者在乎阅读量、互动量和经济回报。自 2017 年以来,版权保护越来越好,更重视创作者,推荐只是实现了内容和人的匹配,而内容是一切的源头。
本文作者曾经出版过《策略产品经理实践》,但本次分享中加入了最近几年的工作思考,恳请得到大家的批评指正。
分享嘉宾
INTRODUCTION
韩瞳
知乎
首页推荐策略团队负责人
知乎首页推荐策略团队负责人,《策略产品经理实践》作者,字节早期策略产品。