可视图表通常作为一种图形化的展示方式,以便于人们对数字数据的理解。然而对于一些古老的图表,其原始的数据可能已经丢失,另外在科学文献中,大部分图表的原始数据也是不可用的,这些存在问题都阻碍了更有效可视化的设计和进一步分析图表的过程。本文对可视图表的逆向数据解释提供了一种有效的分析方法。本文实现了Chart Decoder,一个实现视觉特征解码并从图表图像中恢复数据的系统。通过将可视图表图像作为输入,该系统应用深度学习技术实现了图表类型分类,同时利用计算机视觉和文本识别技术对图表图像中的文本和图形进行分析,实现了潜在数据的自动生成。Chart Decoder通过训练基于深度学习的分类器可以识别五个类别的图表类型(条形图,饼图,折线图,散点图和雷达图),其分类精度达到99%以上。同时对于文本信息提取,本文提供了一种有效的文本定位和识别方式,并对文本内容根据其在图表中的角色进行了分类。为了评估本文算法的有效性,本文在两个图表语料库上评估了该系统:1)从网络上收集的可视图表,2)由程序脚本自动生成图表。结果表明,本文所实现系统能够以高精度从可视图表中恢复数据。