中国商务广告协会举办《当内容可被测量，机器能模拟人类感受吗？》月度讲座

【编者按】

商业广告的根本目的是要促进产品销售或提升品牌认知。通常而言，衡量广告传播效果的关键指标包括销售与转化效果、投资回报率、触达率、点击率、品牌感知度和受众反应等，其中，又以受众反应为最根本指标。倘若受众对一则广告无感甚至反感，那么这次广告传播就是失败的，无论是促进销售，还是品牌建设，都无从谈起。

受众反应是指消费者对广告的情感和行为反应。受众在观看广告视频时，对于素材元素的认知程度、情绪高低、眼睛注视程度高低都是人的主观感受，不同性别、年龄、职业、身份、兴趣偏好的人群都会有所不同。通过了解受众对广告的反应，广告主或者代理商可以评估广告内容的吸引力和说服力，进而优化广告策略。

然而，相较于触达率、转化率、投资回报率等客观的硬指标，受众反应又是一个偏主观的指标，正所谓“一千个观众心中有一千个哈姆雷特”。因而，需要采用统计调研手段，在不同的受众当中，测试对同一则广告的反应。比如，在广告正式出街前，广告公司会邀请具有代表性的目标受众，小范围地观看广告样片样稿，然后再根据他们的反馈，对广告的内容和创意进行相应的调整。这种广告前测调研也是传统广告营销时代里的常规操作。

进入大数据加持下的数字广告营销时代，广告受众被无限细分，打上了各种各样的个性化标签，与此同时，广告传播要求能够满足个性化内容分发的海量素材且快速触达，因此传统的广告前测手段在指导广告创作时，在金钱成本和时间成本上的短板就显得尤为突出。要把针对每一类细分受众的所有广告素材都测试一遍甚至多遍，不仅在金钱成本上难以负担，而且在时间成本上也无法满足速度快、周期短的数字化广告传播需要。因此，数字广告时代对受众反应的测试，更多依赖于广告投放之后对点击率、转化率以及社交舆情的监测。但如此一来，不仅品牌形象安全难以保障，也在某种程度上造成了媒介资源浪费。

好消息是随着以ChatGPT为代表的生成式AI的出现，传统数字广告营销正在逐渐转向以AIGC为主导的生成式营销。既然在创作广告时，AI可以通过深度学习，以人力所难以达到的效率进行大规模生产，实现降本增效，那么，假如AI能够模拟不同人群观看广告视频时的不同主观感受，对广告视频的内容、创意等进行有效测试，甚至是多次数地做测试，就可以更好地以终为始去指导广告成片过程，节省广告测试成本，缩短广告出街时间，保障品牌形象安全。简而言之，就是用AI代替人类参加广告前测，给出原先只有人类才能给出的受众反应。真正实现从创作到测试再到个性化投放的完全AIGC自动化。

在这方面，作为中国企业级数据智能应用软件的提供者，明略科技集团拿出了最新的国际级研究成果。一个月前，在澳大利亚举行的ACM Multimedia（ACMMM）2024会议上，明略科技的多模态团队与北京大学共同完成的最新研究成果《Hypergraph Multi-modal Large Language Model: Exploiting EEG and Eye-tracking Modalities to Evaluate Heterogeneous Responses for Video Understanding》（超图多模态大语言模型：应用脑电和眼动模态来评估异质人群观看视频时的响应），在众多论文中脱颖而出，荣获最佳论文提名（Best paper nomination）。

该项研究提出了一个全新的多模态大语言模型范式，在机器理解和模拟人类主观感受的研究方向，迈出了重要一步。针对当前AI领域在视频内容理解方面主要聚焦于客观层面，缺少主观层面的测量标准，以及机器模拟人类主观感受的有效手段的发展情况，该项研究成果通过整合脑电和眼动信号，构建了超图多模态大语言模型（以下简称HMLLM），显著提升机器对视频内容的主观理解能力。这一创新为广告视频的理解和制作提供了全新方法，标志着机器从客观到主观维度理解的转变，为品牌主带来更精准的内容创作指导。

明略科技深耕企业服务领域18年，并于2019年入选科技部“营销智能”国家新一代人工智能开放创新平台。明略科技通过充分挖掘数据价值，帮助组织在智能化转型中挖掘营销和营运场景的商业价值。明略科技借助自身在社交媒体舆情监测、媒介投放数据优化等方面积累的数据优势和经验，加大力度研发行业大模型，已推出AI工具“小明助理”，旨在帮助企业成倍提升大模型使用能力。目前该工具已经在明略科技内部及客户方进行了普及，在辅助写作、知识问答、语言翻译、文档归纳总结等方面被广泛应用。

 

注：ACMMM会议是由国际计算机学会（ACM）主办的多媒体领域的顶级国际学术会议，同时也是中国计算机学会推荐的A类国际学术会议（CCF-A）。自1993年举办以来，今年是第32届。会议议题涵盖多媒体计算的各个方面，如多媒体内容分析、多媒体检索、多媒体安全、人机交互、计算机视觉等。

 

11月27日，中国商务广告协会邀请明略科技集团创始人、董事长兼CEO吴明辉，向会员单位分享明略科技的这一最新研究成果，讲解HMLLM的基本原理，展示其应用案例，并就拓展其应用场景进行了交流。

吴明辉，明略科技创始人、董事长兼首席执行
 

吴明辉，明略科技创始人、董事长兼首席执行官。连续创业者，拥有20年企业级服务领域创业和管理经验，25年软件工程开发和算法研究经验，拥有130余项国内外发明专利。于2006年创立中国最大的互联网用户行为和营销数据分析平台秒针系统；于2014年，创立明略数据，不仅将业务范围从线上商业领域拓展至政府服务和线下商业的数字化转型，还将技术能力从大数据延伸到了人工智能领域。2019年，成立明略科技集团。

 

一、HMLLM的基本概念和工作原理

对视频创意和内容的理解往往因人而异，不同年龄、职业和性别的人的关注点和认知水平也存在差异。目前，业内缺乏这方面的研究，没有可以进行评测的基础，大多数现有的基准都存在两个主要缺点：一是模态数量有限，题目多为选择题，难以测量逻辑推理过程；二是视频中的内容和场景过于单调，仅涉及到对视频内容的客观描述。为此，依托新的评测标准，明略科技创新研发了超图多模态大语言模型（HMLLM），探索不同人口统计、视频元素、脑电图和眼动追踪指标之间的关联。

 

超图（Hypergraph）简单来说，是数学图论中的一个概念。超图在包括计算机科学、生物学、社会网络分析等在内的许多领域都有广泛应用，比如，在社交网络分析中，超图可以用于表示多人同属一个兴趣小组等复杂关系。

在生成式人工智能领域，超图有着非常重要的意义。其中之一便是超图能够自然地表示复杂的关系和层次结构。例如，在生成文本、图像或音乐时，模型需要理解并生成各种元素之间的关系。超图可以帮助模型更好地捕捉和推理这些关系。进而，通过超图表示复杂的关系和结构，生成式人工智能模型能够更准确地捕捉和理解输入数据的本质特征，从而生成更高质量的内容。

多模态（Multi-modal）是指多种感官，如听觉、视觉、触觉等。一种感官就是一个模态。生成式人工智能通常涉及多种模态的数据，如文本、图像、声音等。超图可以用于表示这些数据之间的复杂关系，实现多模态数据的融合与理解。例如，在生成跨模态内容（如根据文字生成图像）时，超图可以帮助模型更好地理解不同模态数据之间的内在联系。

在HMLLM中，明略科技引入大规模的视频主观多模态评估数据集Video-SME这一新基准。通过收集不同人群在观看相同视频内容时脑电图（EEG）和眼动追踪区域的真实变化，设立了新的任务和协议，分析和评估不同受试者对相同视频内容的认知理解程度。HMLLM可以弥合丰富模态之间的语义差距，并集成视频画面帧与帧之间的信息以执行逻辑推理。明略科技在Video-SME和其他基于视频的生成性能基准上设计了实验，大量实验评估证明了该方法的有效性。
 

二、HMLLM在广告视频测试上的应用

了解一则广告的受众反应，是广告人做消费者洞察时的重要功课。在生成式AI的加持下，广告人可以降本增效地针对不同的人群产出不同的创意内容。让不同的消费者看到不同的内容。但是，只有从消费者主观视角出发，把握不同的消费者看到广告时的主观感受差异，广告的效用才能被最大化释放出来。

随着大语言模型的迭代升级，生成式AI正变得越来越强大，成本逐渐降低，推理能力不断提升。一个重大的变化是从单一模态逐渐进入到多模态，对语音、图像与视频的识别、理解和生成也越来越强。借助HMLLM，通过对广告内容和创意表现做更为深入的测试分析，基于每一类受众、每一个品牌不同的视角，对内容和创意进行理解、解码，可以更有针对性、精准化的实现内容生成。

 

以好莱坞动作明星尚格云顿为沃尔沃卡车拍摄的经典广告为例，应用HMLLM可以在视频广告播出的同时，屏幕上显示出机器模拟真实消费者看到视频后的情绪变化，并且主要在三个维度上进行测算：消费者是否理解视频内容，消费者看到视频后的情绪是正面还是负面的，消费者的注意力是否被视频吸引。除此之外，HMLLM还可以对不同的人群进一步分解，对比不同人群观看视频后的反应差异。

更为重要的是，HMLLM还可以对机器模拟人类对收看视频后所产生的主观反应进行详细的归因叙述，也就是不仅可以了解视频中的哪些内容让人产生了不同的反应，而且还可以说明之所以产生这些反应的原因，从而能够为更高质量地生产更高效用的广告内容提供更多的启发与指导。

三、HMLLM对AI领域和广告营销行业的价值

HMLLM作为一种全新的范式，能够为广告营销领域研究人员解决非标准模态问题，提供宝贵经验与启示，从而促进大模型领域向人机协同的美好未来迈进。此外，根据明略科技的研判，让机器学习、理解和模拟人类的主观感受，可能是赋予机器主观意识的开端。明略科技提出的新基准Video-SME有望成为该领域的新起点，标志着机器对视频的理解从客观维度向主观维度的转变。

首先，HMLLM为人工智能领域贡献了Video-SME这一独特且开源的数据集。这个数据集目前包含了500个经典广告案例，并且记录了不同人群在观看这些广告时的脑电和眼动数据。通过公开这一数据集，明略科技为所有AI研究者提供了一个宝贵的资源，使他们能够基于此数据进行模型训练和预测准确性的比对和精调。这一贡献不仅丰富了AI领域的数据资源，还促进了模型评估与比较的标准化。

 

其次，HMLLM创新性地提出了数据集的采集与整合方法。在构建这个数据集的过程中，明略科技面临了多模态数据融合的挑战。部分视频包含脑电数据，部分则只有文字描述，还有些视频既无脑电数据也无文字描述。为了克服这些难题，明略科技开发了一套复杂的数据整合流程，并结合专家评审来确保数据的质量和准确性。此外，明略科技还特别设计了模态缺失的场景，以挑战和提升算法在多模态处理中的鲁棒性。在贡献数据集的同时，HMLLM也注重了数据集的统计学特性，确保样本具有广泛的代表性。这一贡献不仅为AI研究提供了更为真实和复杂的数据环境，还推动了多模态数据处理技术的发展。

其三，针对广告营销行业，HMLLM不仅可以协助广告内容的生成，还可以大幅降低广告前测的成本与泄密风险，特别是能够在助力中国品牌出海方面大有可为。当前，中国品牌出海方兴未艾，了解、尊重和遵守出海目标市场的风土人情、文化习俗、法律法规也是确保出海成功的一项必修课，因此，具有一定样本规模的广告前测必不可少。然而，一来广告前测的成本较高。据了解，在国外一个市场上对一支广告片进行前测的费用至少是一万美元起步，这对于出海的中小企业而言，是一笔不小的开支。二来广告前测时有发生内容提前泄露的风险。那么，在大幅降低前测成本、有效规避泄密风险方面，HMLLM可以成为出海品牌的得力助手。

下一步，明略科技将在提高HMLLM能力和拓展HMLLM服务范围两方面下功夫。在提升模型能力方面，明略科技将利用在社交媒体舆情监测与分析方面积累的成果注入HMLLM当中，极大扩充机器所模拟的人类角色数量到170个以上。在拓展服务范围方面，明略科技将建立AI驱动的全球化创意测试及优化平台，首期将来自全球五大洲的5万个广告案例收集入数据库，了解不同文化背景的人群在观看这些广告时所产生的情绪与情感变化数据。为了实现这一目标，明略科技将把之前展示的产品以SAAS（软件即服务）的形式直接推向海外市场。这意味着，无论是中国品牌出海，还是进入其他国家和地区的市场，明略科技都能提供一种高效且成本相对较低的方法，帮助企业在当地快速测试广告片的文化反馈。

四、交流环节

在讲座的最后，李西沙会长与吴明辉就本次讲座的内容进行了深入交流，进一步探讨了HMLLM这项最新的研究成果在广告营销领域的应用场景，特别是对于当下流行的微短剧、短视频以及直播带货等新兴营销形式的适用性。

李西沙会长指出，科技在推动营销领域变革中发挥着重要作用，明略科技的这项研究具有很强的学术前沿性。接下来，要充分应用研究成果，精准洞察消费者，更深入地了解不同受众的真实反应。不仅能为制定更高效的广告策略提供科学依据，还可以为政府治理微短剧和直播带货领域内存在的问题发挥效用。

吴明辉表示，目前已有客户在使用HMLLM进行广告前测，并且这种测试不仅限于脑电和眼动数据，还可以整合点击率、转化率等多种指标进行预测。然而，他更看重的是情绪和情感维度的测试，认为这有助于广告回归其本质价值——为消费者带来美好。

对于微短剧和短视频领域，吴明辉表示HMLLM完全能够监测和分析这些内容。他还特别提到了短剧出海和广告植入两个应用场景，认为HMLLM可以帮助创作者更好地理解和满足目标受众的情感需求，提高内容的吸引力和广告植入的效果。

针对西沙会长提出的对直播带货进行测试建议，吴明辉表示接下来将尝试将HMLLM应用于直播带货领域，以揭示消费者在这一新兴购物模式下的真实反应和偏好。