开发者技术前线 ,汇集技术前线快讯和关注行业趋势,大厂干货,是开发者经历和成长的优秀指南。
唯品会深度学习在 APP 的实践和测试应用
Google 开源的这个库,性能快到让程序员飞起来!
The following article is from 爱奇艺技术产品团队 Author 奇文
Facebook的做法[34]:负样本会先cache, 等待潜在的正样本到达,若后续正样本到达,则只保留正样本,更新模型一次。
Twitter的做法[3]:两条样本都会保留,都会去更新模型,这样实时性最高。
样本重要性采样(importance sampling):机器学习模型一般是假设样本符合一个特定数据分布,模型训练就是一个搜索最佳的数据分布参数的过程。观察到实时样本流样本分布由于包含了FN样本,其实是一个有偏的分布。类似于强化学习等场景,会使用到重要性采样方法对给予每个观察到的样本权重进行纠正,近似一个无偏数据分布。
FN矫正:模型拟合当前观察到的有偏分布b, 经过论文推导,无偏预测p(y|x) 和有偏预测b(y|x)的关系如下。因此用包含FN的实时样本训练模型b后,预测时用下面的公式进行矫正即可。
PU loss (Positive-unlabeled loss): 本质就是认为所有观察到的负样本都是unlabeled. 因此对loss进行了如下改造,核心思想就是在观察到一个实例的正样本到达时,除了使用正样本进行梯度下降,还会对相应的负样本进行一个反向的梯度下降,抵消之前观察到的FN样本对loss的影响。
延迟反馈Loss: 使用一个额外的模型去建模当前样本的真实Label确定时的时间延迟,基于当前样本距离上次展示的时间距离去评估当前样本的Label,是一个true label的概率。这个时间延迟模型和pCTR模型联合训练,优化loss如下,其中Wd就是时间延迟模型的参数。
开发者技术前线 ,汇集技术前线快讯和关注行业趋势,大厂干货,是开发者经历和成长的优秀指南。