把你掏空的算法：时尚推荐技术探秘 | FashionHack 专栏

上一篇：《ACI，一种全新的人工智能艺术与时尚创意视角》

推荐系统近年来被应用于各行各业，非常流行。推荐的对象包括：电影、短视频、音乐、新闻、书籍、学术论文、搜索查询。从让你掏空钱包还透支花呗的某宝，到让你刷到无法自拔的某音，眼看着“520节（ying）日（xiao）” 刚过， “618” 又开始提前预热了。

钱包一次次被掏空，如今的软件是怎么做到越来越 “懂” 用户的呢？软件背后极强大的推荐系统，究竟又是怎么做到的？

---

推荐系统是什么？

推荐系统是指一种信息过滤系统，用于预测用户对物品的 “评分” 或 “偏好”。（维基百科）

推荐系统背后的原理

推荐系统产生推荐信息时，通常会考虑上下文和用户画像。

上下文

指的是推荐系统会在给你推荐商品时，将会考虑你所在的地理（城市、地区）、时间（季节气候、节假日）等因素。如梅雨天干燥剂比平时好卖，夏天空调需求比较高等等。 

用户画像

指年龄、性别等用户属性都可以被作为标签。如 18 岁的用户一般不会 (低概率) 购买纸尿裤一类的婴幼儿产品等等。

有了上下文和用户画像，推荐系统就能通过算法进行个性化推荐，而目前最广泛应用的推荐算法是协同过滤算法。

协同过滤主要分为两种：

1 基于用户的协同过滤；

2 基于物品的协同过滤。 

基于用户的协同过滤方法是指找到与用户 A 有相同品味的用户 B，然后将相似用户 B 过去喜欢的物品推荐给用户 A。而基于物品的协同过滤方法是通过计算物品之间的相似性来代替用户之间的相似性。

这两种方法也经常互相结合，即混合推荐系统。

时尚推荐系统

时尚推荐系统主要涵盖了服装与配饰产品推荐、服饰搭配、发型和彩妆建议等等。 

chanel的口红色号推荐

如果你曾针对服装时尚领域的任务运用深度学习算法的话，你会发现时尚感这件事是非常微妙和复杂的，这需要特定领域的专业知识。

例如，如果你想为某个特定的风格搭配一套衣服，我们所需要做的是创造性地平衡颜色和融合不同的风格单品。一方面，时尚这个概念通常是主观且微妙的，虽然一般消费者不是时尚专家，但了解消费者共识也是很有价值的。另一方面，提取时尚图像的特征可能需要大量的属性标签。

以下内容将介绍 6 种具有代表性的时尚推荐系统。

1 端到端的深度学习

深度学习领域的论文常常会提到 End-to-end（常译为“端到端”）的神经网络，这里可以简单理解为 “从输入端到输出端” 。这样做的好处是可以确保最后的输出结果达到最优，坏处就是让中间网络部分越来越像一个黑箱（Black Box），可解释性越来越差。

获得具有详尽标签的数据集是非常困难的，因此，现有的大多数研究都局限于一个简单的场景，即检索类似的衣服或为一个特定的活动选择单独的衣服。而 Yuncheng Li 等人提出了用一种数据驱动的方法，来训练一个可以自动组成合适的时尚服装的模型。提出这种方法的动机是由于 Pinterest 和 YouTube 等线上平台中的时尚趋势激增，以及当今青少年热衷于这些网站上创造的各类新颖的时尚文化趋势。

该任务的两个难点：

难点 1 时尚图像中视觉内容的复杂性。对于时尚图像，其属性种类复杂，包括但不限于颜色、纹理、类别和风格等等。

难点 2 时尚服装搭配中丰富的上下文信息。例如，一个人的服装搭配可以反映当前的个性和兴趣，甚至是特定的群体归属或文化归属。

服饰搭配与相应的朋克亚文化群体

针对难点 1，他们提出了一个通过深度卷积网络来编码视觉特征的端到端系统，它把时尚服装图像作为输入并处理它，然后预测用户的喜爱水平。针对难点 2，提出了一个多模式深度学习框架，它利用了来自图像本身的上下文信息，实验表明多模态方法的性能显著优于单个模型。

时尚服装评分模型

该模型主要是对整体搭配的质量进行综合评分，其中的关键步骤为时尚单品的表征（灰色虚线框的部分，即对粉色实线框中 Fashion Item Embedding 的进一步解释）。这个步骤是多模态的，不仅对时尚单品的图像进行特征提取，还对该单品对应的类别、单品名进行特征提取，过程中使用了多种深度学习模型，如 CNN、Word2vec。

2 基于隐式反馈的方法

时尚领域有一些有趣的特性，例如季节、流行趋势、价格的变化等，这使得对时尚产品的个性化推荐比在传统领域更加困难。为了避免在使用显式用户评级时出现潜在的偏差。Hai Thanh Nguyen 等人的研究通过分析处理来自应用程序中用户的隐式反馈来产生时尚推荐。

这些隐式反馈包括了：用户的实际行为，如点击、收藏、加购和购买等，这些反馈被用来推断用户对与其交互过的产品的隐含偏好分数。然后将此分数与商品的价格和受欢迎程度以及用户操作结果的近期性信息混合。基于这些隐式偏好分数，并通过应用不同的推荐算法来推断用户对其他时尚项目的排名。

实验结果表明，该方法的性能优于最流行的基线方法，从而证明了它的有效性和可行性。

3 基于弱外观特征时尚评价方法

众所周知，网上购物的相关技术发展迅速，虚拟试衣和其他相关的智能设备也已经被引入到时尚行业。许多不同的高级算法被提出，例如 Yan Zhang 等人所提出的基于弱外观特征时尚评价方法。

首先在该研究中，弱外观特征主要有三种，即妆容、配饰和头发颜色。

本研究基本上认为弱外观特征是影响时尚水平的重要指标。所以有很多与个人时尚水平相关的弱外观特征，即上述提到的三类，这些进一步细分可能包括腮红、唇色、眉毛颜色、帽子、手上和脖子上的任何配件等。通过支持向量机（Support Vector Machine，SVM）算法对这些特征进行分类，并对其时尚水平进行评估。

研究先建立了图像数据库，并提出了外观弱特征的三个方面来描述时尚水平。此外，根据人物的面部特征定位方法提取了外观弱特征。最后，可以通过支持向量机对消费者的时尚水平进行分类，并用层次分析方法进行验证。

对弱外观特征的评估引入了主观的评价标准，即时尚水平，这通常需要通过专家对图像人物进行主观的评价。因此，这在一定程度上受限于专家的知识背景和心理动机。

时尚水平	描述分类
第一级 第二级 第三级 第四级	Wonderful Great Good Common

通过化妆、配饰、发色等弱外观特征来确定消费者的时尚水平，这样，就可以将其应用于智能服装推荐系统中，对时尚推荐系统具有一定意义。

4 基于语义属性区域引导的方法

在时尚推荐系统中，每个产品通常由多个语义属性（例如，袖子、衣领等）组成。在做购买决策时，用户通常会展现出对不同语义属性的偏好 (例如有的用户喜欢带 V 领的衣服)。

以往的传统时尚推荐模型都理解具有全局内容表征的服装图像，但对用户的更加细粒度的语义偏好缺乏详细的理解，这通常会导致推荐的效率低下。为了弥补这一点，Min Hou等人提出了一种新的语义属性可解释推荐系统。

更具体地说，首先引入了一个细粒度的可解释语义空间。然后，研究人员开发了一个语义提取网络和细粒度偏好注意模块，分别将用户和时尚产品投影到这个空间中。使用该方法，不仅能够为用户提供服饰产品推荐，还能够通过直观的视觉属性语义突出的个性化方式解释推荐原因。

5 基于对抗性特征转换器的补充推荐

传统的补充产品推荐的方法依赖于行为和非视觉数据，如用户共同浏览或共同购买。然而，时尚领域的产品主要都是视觉上的。Cong Phuoc Huynh 等人提出了一个框架，以一种无监督的方式利用视觉线索，来产生这些作为补充同时出现在一个屏幕中的时尚产品图像。

某宝中的时尚产品补充推荐

这里是配饰+上衣+凉鞋等不同品类的补充推荐

该模型学习了原单品和目标单品的两个类别（如服装中的上衣和下装）之间的非线性变换。根据一个包含了同时出现的产品类别和实例的大量图像数据集，通过将其转换为对抗性优化问题，在特征表示空间上直接训练转换器网络。这样的条件式生成模型可以根据给定的查询指令，在特征空间中生成多个新的补充推荐单品。

根据输入的裤子图像（Query）

输出相应的上衣推荐

最后的推荐是从最接近生成的互补特征的真实样例中选择的，该框架应用于为给定的下装服装产品推荐上衣产品的搭配任务，并且推荐结果是多样化的。

6 神经网络造型师：服装搭配的兼容性建模

服装作为一种 “拥抱美” 产品，在人类的生活中起着重要的作用。事实上，一套合适的服装的关键通常在于和谐的服装搭配。然而，并不是每个人都擅长服装搭配。幸运的是，新兴的在线社区让时尚领域的 KOL/KOC（关键意见领袖/消费者）们通过展示他们的服装搭配来公开分享他们的搭配技巧和心得，其中每个时尚单品（如上衣或下装) 通常都有一个图像和上下文元数据 (如标题和类别）。如此丰富的时尚数据为我们提供了一个研究服装搭配的新机会。

各类充斥着时尚搭配的内容平台

挑战与机遇共存。挑战：

1 影响时尚物品匹配性的复杂因素，如颜色、材料和形状。

2 由于每个时尚单品都涉及到多种模态的数据（图像和文本），如何处理异构的多模态数据也是一个很大的挑战。

每件单品都包含图像以及文本数据

3 不同类别时尚单品之间的搭配关系相当稀疏。

Xuemeng Song 等人提出了一种基于贝叶斯个性化排序 (BPR) 框架来建立时尚单品之间的搭配性。该方案能够联合建立时尚单品的多模态与用户潜在匹配偏好之间的相关关系。

该推荐系统的一些实验结果

相信你对时尚推荐系统有了一些新的理解和看法，如果这篇文章对你有帮助的话请记得点赞、点在看并星标我们哦！

插播：比赛队友招募 

基于AI 对话系统的服装设计

（  诚招DeeCamp队友）

赛题详情：某集团旗下的 “犀牛智造” 是一家从服装业切入的制造企业，为服装行业带来一场 “数字” 制衣的革命，在制造端已经具备了 5 分钟生产 2000 件不同衣服的能力。这时，如何将消费者对服装定制化设计的需求，高效转化为产品设计，就成为了下一个亟待解决的问题。

我们能否通过设计一个 AI 对话系统来达到目的呢？

人：“我想要一个某明星在某综艺的同款”；机：“那套我知道的，我已经根据你的身形进行了尺寸调整，请看效果图”；人：“袖子有点长，可以短一些么？领口也可以再收一些；”机：“没问题，这就进行剪裁，请看调整后的效果图”；

人：“还不错，转到背面也看一下？哦，还有，搭配我红色的那双鞋会不会更合适？”

…

2021 DeeCamp人工智能训练营-赛题 3.3

博士、硕士优先

需要 NLP、CV 背景；若干名！

已经通过面试的，可扫专栏二维码联系专栏作者

-END-

FASHIONHACK 专栏作者

石多恩 Stone

本科专业是智能科学与技术

东华大学服装设计与工程专业硕士（9月）

探索方向：将AI技术应用于服装时尚领域

全平台ID：石多恩_Ston1

编辑 / 排版：春FANG

编辑助理：小杜

参考文献：

知乎：什么是推荐系统(个性化内容分发)？| 知乎：推荐系统研究综述|WHAT DOES IT MEAN TO BE A PUNK IN 2020?|A Naïve Recommendation Model for Large Databases|Recommender Systems, Encyclopedia of Machine Learning|Content-based book recommendation using learning for text categorization.|Aesthetics, Personalization and Recommendation: A survey on Deep Learning in Fashion|Mining Fashion Outfit Composition Using An End-to-End Deep Learning Approach on Set Data|Learning to Rank for Personalised Fashion Recommender Systems via Implicit Feedback.|Fashion Evaluation Method for Clothing Recommendation Based on Weak Appearance Feature.| Explainable Fashion Recommendation: A Semantic Attribute Region Guided Approach.| CRAFT: Complementary Recommendations Using Adversarial Feature Transformer.|NeuroStylist: Neural Compatibility Modeling for Clothing Matching.