论文部分内容阅读
针对程序代码相似度度量中的词法分析问题,提出了一种基于语言词典的词法分析器的设计和实现方案。通过对程序源码进行预处理,将其转换为一个字符串,然后对该字符串逐字符进行分解,得到构成源代码的每一个标识符Token,并判断其类型,实现对程序源码的词法分析。实验结果表明,该方法能有效分析程序源码的词汇构成情况。