分享自:

图像驱动的图可视化风格提取与视觉风格迁移

期刊:IEEE Transactions on Visualization and Computer GraphicsDOI:10.1109/TVCG.2024.3485701

这篇文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:


GVVST:基于图像驱动的图可视化风格提取与迁移方法

作者及机构
本研究由华东师范大学计算机科学与技术学院的Sicheng Song、Chenhui Li和Changbo Wang,清华大学教育研究院的Yipeng Zhang,以及香港科技大学的Yanna Lin和Huamin Qu共同完成。论文发表于《IEEE Transactions on Visualization and Computer Graphics》,目前已被接受待刊(2024年)。

学术背景
图可视化(Graph Visualization)是数据表示的核心工具,广泛应用于社交网络、生物系统和交通网络等领域。其中,节点-链接图(Node-Link Diagrams)是最常见的表现形式。然而,设计师在创建高质量的图可视化时需投入大量时间调整视觉风格(如布局、配色、节点/边样式等)。现有方法虽能提取图表数据,但缺乏对风格的自动化提取与迁移能力。因此,本研究提出GVVST(Graph Visualization Visual Style Transfer),旨在从静态图像中自动提取全局和局部风格,并将其迁移至其他图结构中,从而降低设计成本。

研究目标
1. 通过用户调研明确设计师关注的图可视化风格要素;
2. 开发端到端流程,实现全局风格(如布局、配色)和局部风格(如节点半径、边宽度)的提取与迁移;
3. 构建交互式工具,支持用户自定义风格调整。

研究方法与流程

  1. 形成性研究(Formative Study)

    • 对象:29名具有2年以上可视化研究或设计经验的参与者。
    • 方法:通过访谈收集用户对图可视化风格的优先级排序,归纳为全局风格(86.7%关注配色,73.3%关注布局)和局部风格(如43.3%关注节点半径和边宽度)。
    • 输出:表1所示的风格分类,为后续模型设计提供依据。
  2. 数据集生成

    • 工具:使用D3生成包含6,000张图像的训练集和2,000张的验证集。
    • 参数控制:随机化节点数量(10-60)、边宽度(1-15)、布局稀疏性(0-1)等(详见表2),确保风格多样性。
    • 创新点:通过调整生成器参数,覆盖更广泛的风格变体,优于传统仅关注拓扑结构的数据集。
  3. 全局风格迁移

    • 显著性检测(Saliency Detection):采用基于ResNet-34的BASNet模型,通过混合损失函数(BCE + SSIM)提取图像显著性区域,生成布局模板。
    • 布局迁移:结合K-means聚类和Louvain社区发现算法,将输入图的节点分布与参考图的显著性区域匹配,社区内使用Fruchterman-Reingold力导向算法优化布局。
    • 颜色迁移:基于K-means的RGB区间划分提取主色,按社区规模分配颜色。
  4. 局部风格迁移

    • 多标签提取模型:以ResNet-50为骨干,输出10维特征向量(5分类任务+5回归任务),例如节点填充(分类)、边宽度范围(回归)。
    • 风格映射规则:例如,若检测到“节点半径可变”,则将输入图的节点度映射到参考图的半径区间;若边为曲线,则生成贝塞尔曲线。
  5. 用户交互界面

    • 功能:支持手绘修改显著性区域,实时调整布局和颜色。
    • 案例:用户可通过绘制不规则区域(如心形、文字)生成艺术化布局(图5、图6)。

主要结果

  1. 全局风格相似性

    • 在真实数据集(RD)上,布局和配色相似性达85.13%(p < 0.001)。生成数据集(GD-30至GD-120)中相似性均超过80%,表明方法对不同规模图的鲁棒性。
  2. 局部风格提取精度

    • 多标签模型在分类任务(如节点填充、边线性)中准确率最高达100%,回归任务(如节点半径)MSE低至0.13,显著优于基线VividGraph(表3)。
  3. 用户研究验证

    • 19名参与者评估显示,GVVST生成的可视化在美观性(平均3.88/5)和风格相似性(3.73/5)上均优于基线(p < 0.001)。交互功能获好评,尤其手绘布局功能被赞“创新且实用”(图9)。

结论与价值
1. 科学价值:首次提出针对图可视化的端到端风格迁移框架,弥补了传统方法仅关注数据提取的不足。
2. 应用价值
- 风格恢复:从位图中自动还原丢失的视觉风格(如学术论文中的经典图表);
- 协作设计:通过共享风格模板实现多用户协同设计;
- 艺术化表达:支持非规则布局生成(如海豚形状的图12)。
3. 局限性:密集节点场景下可能出现颜色混淆,未来计划引入更多个性化规则和高级模型(如ViT)。

研究亮点
1. 方法创新:结合显著性检测与多任务学习,实现全局与局部风格的联合优化。
2. 交互设计:首创基于手绘的布局编辑,扩展了图可视化的创作自由度。
3. 跨学科意义:为AI4VIS(人工智能辅助可视化)领域提供了新的技术路径。

其他贡献
- 公开了生成的数据集和代码,促进后续研究。
- 提出了量化风格相似性的评估指标(公式6),为相关研究提供基准。


(注:实际报告中可补充更多图表和具体数据引用,此处因篇幅限制简化处理。)

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com