人工智能领域的专家已经非常擅长于创建可以“看到”周围世界的计算机，从而能够识别其权限范围内的物体，动物和活动。这些已成为未来自动驾驶汽车，飞机和安全系统的基础技术。
但是现在，一组研究人员正在研究如何使计算机不仅识别图像中的对象，而且识别这些图像如何使人感觉到，即具有情商的算法。
斯坦福大学计算机科学博士候选人Panos Achlioptas说：“可以说，这种能力将使人工智能不仅变得更加智能，而且变得更加人性化。”
为了达到这个目标，Achlioptas和他的团队收集了一个名为ArtEmis的新数据集，该数据集最近在arXiv预印本中发布。该数据集以81000幅WIkiArt绘画为基础，包含来自6500多个人类的440,000份书面回复，表明一幅画给人的感觉，并解释了为什么他们选择了某种情感。利用这些响应，由斯坦福大学工程学教授莱昂尼达斯·吉巴斯(Leonidas Guibas)领导的Achlioptas及其团队对经过训练的神经说话者(即以书面形式做出反应的AI)进行了培训，使计算机能够对视觉艺术产生情感反应，并用语言证明这些情感合理。
研究人员选择专门使用艺术，因为艺术家的目标是在观众中引起情感。从静物到人像到抽象，ArtEmis的作品不受主题限制。
人工智能实验室和斯坦福大学人类中心人工智能学院的教授Guibas指出，这项工作是计算机视觉的一种新方法。Guibas说：“经典的计算机视觉捕捉工作是关于文字内容的。” “图像中有三只狗，或者有人正在喝一杯咖啡。相反，我们需要能够定义情感内容的描述。”
捕捉情感
该算法将艺术家的作品归类为八个情感类别之一(从敬畏到娱乐到恐惧到悲伤)，然后在书面文本中说明图像中的内容足以证明情感阅读是正确的。(请参见下面的示例。所有都是通过算法评估的绘画，但在训练练习中未使用。)
“计算机正在执行此操作，” Achlioptas说。“我们可以向它展示从未见过的新图像，它将告诉我们人类的感受。”
研究人员说，引人注目的是，字幕以远远超出现有的从文献摄影数据集(例如Coco)获得的计算机视觉算法的能力的方式准确地反映了图像的抽象内容。
而且，该算法不仅可以捕捉完整图像的广泛情感体验，而且可以解密给定绘画中的不同情感。例如，在著名的施洗约翰的斩首伦勃朗画作中(上图)，ArtEmis不仅区分了施洗约翰被割断的头部的痛苦，而且还区分了萨洛姆脸上的“满足感”，萨洛姆是头部的女性。被表达。
Achlioptas指出，即使ArtEmis足够精巧，可以衡量出艺术家的意图在单个图像的背景下可能有所不同，但该工具也考虑了人类反应的主观性和可。
他补充说：“并不是每个人看到一件艺术品都会看到相同的感觉。” 例如，“看到蒙娜丽莎，我会感到很高兴，但吉巴斯教授可能会感到难过。ArtEmis可以区分这些差异。”
艺术家的乐器
在不久的将来，研究人员预计ArtEmis可能会成为艺术家在创作过程中评估其作品的工具，以确保其作品具有理想的影响力。
“它可以提供指导和启发，以'指导'艺术家的作品，” Achlioptas说。例如，使用新徽标的图形艺术家可能会使用ArtEmis来保证其具有预期的情感效果。
在经过进一步的研究和改进之后，Achlioptas可以预见基于情感的算法，可以将情感意识带入人工智能应用程序，如聊天机器人和对话式AI代理。
“我看到ArtEmis将人类心理学的见识带入了人工智能，” Achlioptas说。“我想使AI更具个性化，并改善人类的使用体验。”