本文档属于类型a，即报告了一项原创性研究。以下是针对该研究的学术报告：
作者与机构
本研究的主要作者包括Jingwen Hou（IEEE学生会员）、Weisi Lin（IEEE会士）、Yuming Fang（IEEE高级会员）、Haoning Wu、Chaofeng Chen、Liang Liao（IEEE会员）以及Weide Liu。他们分别来自新加坡南洋理工大学计算机科学与工程学院、江西财经大学信息技术学院以及新加坡科技研究局（A*STAR）。该研究发表于《IEEE Transactions on Image Processing》期刊，具体卷号和期号未明确，但发表日期为2023年。
学术背景
本研究属于计算机视觉与深度学习领域，具体研究方向为图像美学评估（Image Aesthetics Assessment, IAA）。随着Instagram、Flickr等图像社交网络的普及，开发一个鲁棒的IAA模型对社交网络服务提供商和用户都具有重要意义。然而，现有的深度学习模型虽然在IAA任务中表现出色，但其内部机制仍不透明。特别是，语义特征（如预训练的对象分类特征）在美学预测中发挥了重要作用，但这些特征通常是隐式学习的，无法明确解释其代表的语义内容。因此，本研究旨在通过引入可解释的语义特征，构建一个更透明的深度学习框架，以实现图像美学评估。
研究流程
本研究的主要流程包括以下几个步骤：
提出标签内容描述符（Tag-based Content Descriptors, TCDs）
TCDs是一种新的语义特征，用于描述图像与人类可读标签之间的相关性。每个TCD值表示图像与特定类型图像内容标签的相关性。TCDs的生成分为显式匹配过程（Explicit Matching Process, EMP）和隐式匹配过程（Implicit Matching Process, IMP）。
TCD生成器（TCD Generator, TCD-G）的开发
TCD-G基于CLIP模型实现，通过视觉编码器和文本编码器将图像与标签进行匹配。TCD-G能够自动评估标签与图像内容的相关性，并生成TCDs。
数据集构建与验证
为了验证TCD-G在匹配图像与摄影相关标签方面的性能，研究团队构建了一个包含5101张图像的验证集（Tagged-EVA数据集），并进行了人工标注。实验结果表明，TCD-G能够有效地为图像分配摄影相关标签。
IAA模型的构建与优化
基于TCDs，研究团队构建了一个简单的多层感知机（MLP）模型进行图像美学评估。通过结合显式匹配和隐式匹配生成的TCDs，模型的性能显著提升，SRCC（Spearman Rank Correlation Coefficient）从0.767提高到0.817。
主要结果
1. TCD-G的性能验证
实验表明，TCD-G在匹配图像与摄影相关标签方面表现出色，Recall@Top10和Recall@Top20分别达到38.1%和56.2%，AUC（Area Under Curve）为0.770。
TCDs在IAA中的有效性
仅使用显式匹配生成的TCDs，IAA模型的SRCC为0.767，与现有最先进方法相当。通过引入隐式匹配生成的TCDs，模型的SRCC进一步提升至0.817，显著优于现有方法。
TCDs各组成部分的贡献
实验表明，显式内容描述符（ECD）、低层隐式内容描述符（LICD）和高层隐式内容描述符（HICD）在IAA任务中均发挥了重要作用。结合三者后，模型的性能达到最佳。
结论
本研究首次提出使用人类可理解的文本特征（TCDs）构建IAA模型，并通过显式匹配和隐式匹配过程生成TCDs。实验结果表明，基于TCDs的IAA模型在透明性和性能方面均取得了显著进展。该研究不仅为图像美学评估提供了新的方法，还为深度学习模型的可解释性研究提供了重要参考。
研究亮点
1. 创新性方法：首次提出使用TCDs作为图像美学评估的语义特征，并通过显式匹配和隐式匹配过程生成TCDs。
2. 高性能模型：基于TCDs的IAA模型在SRCC指标上达到0.817，显著优于现有方法。
3. 数据集贡献：构建了Tagged-EVA数据集，为摄影相关标签的评估提供了基准。
4. 可解释性：通过TCDs，模型的语义特征能够以人类可理解的方式呈现，提高了模型的透明性。
其他有价值的内容
本研究还探讨了模型复杂度对IAA性能的影响，结果表明，模型性能主要依赖于特征本身而非模型复杂度。此外，研究团队还通过可视化匹配结果，展示了TCDs各组成部分在捕捉图像内容方面的差异。
以上是对该研究的全面报告，涵盖了研究背景、流程、结果、结论及其科学价值。