论文部分内容阅读
一、引言
在生命科学领域，AI也逐渐开启无法替代的数据分析地位。作为生命体重要组成的蛋白质，具有功能结构的复杂性和序列的多样性，与音乐作品结构组成在某种意义上具有相似性。实际上，艺术与科学一样，都是关于创造和创新的学科。艺术与科学都需要不断创新和探索，才能有所突破。艺术与科学相互关联、相互影响，并具有双向的促进作用。科学能够为艺术创作提供灵感和数据源，艺术能够降低大众对科学的认知障碍，有利于科学的感知化普及[1]。蛋白质研究至今，依然是科学家们难以彻底攻破的生命科学领域[2]，而在艺术家面前，将蛋白质序列音乐化处理或推出色彩斑斓的图画却是几十年前就已经发生的事。其实，音乐作品的创作受到多方面因素的干扰，譬如创作者的阅历、情感状态、音乐基础与喜好、灵感的把握以及音樂工具的使用等等，而快捷、高效、多形式的音乐表达方法却成为音乐创作的新需求[3，4]。在AI技术支持下，以神经网络结构为开发起点的AI具有算法推理、多能高效的特点，以蛋白质结构信息为数据源，将生物大分子转换成音乐创作成果，并在多领域内得到快速发展和广泛应用是我们追求的目标。艺术家和计算机科学家们正在不断研发新的算法使不同模式的数据源能够转换成音乐作品[5]，既是生命科学与艺术的创新性融合，又能推动科技发展的多形态表现模式。蛋白质的种类与功能数不胜数，为音乐创作提供了数据源的无限可能。同时，音乐形式的表达也将蛋白质复杂的结构与功能直观的展现出来，为简单易行的感受科技和生命的魅力拓展了新的思路。本文通过分析蛋白质分子结构组成特点和音乐作品之间的相关性，运用AI技术的应用优势，探讨挖掘生命大分子功能结构预测的方法及其转换成音乐作品的可能性。以功能结构不同的10种病毒为研究基样，运用AI技术转换成音乐作品的二维谱形式，以提升可视化效果，从而便于分析。由此超越一切可想象开发的界限，为艺术创造提供源源不断的灵感与资源。
二、蛋白质分子到乐谱生成的AI转换流程
我们知道音乐的基本组成单位是七种音阶而蛋白质的基本组成元素是20种氨基酸，虽然它们的基本元素数量不同，但可以通过设计映射方法进行基本元素之间的匹配;在蛋白质氨基酸按照不同排列组合形成一级结构的基础上，通过共价键、非共价键构建多种形式的空间构象，形成形状、功能各异的生物大分子。在不同音阶排列组合的音乐基础上，形成基本的曲调。再融入节奏、和声、力度、调式、曲式、织体以及音色的综合与调节，形成具有不同特色的风格和旋律，给人以不同的艺术欣赏和感官体验，即蛋白质与音乐都是在基本元素排列组合的基础上再构想进而呈现出不同的表达结果。音乐与蛋白质在功能和结构上的高度相似性为以蛋白质为数据源进行音乐创作，理论上提供了可能性。通过一系列AI转换技术，预测分析蛋白质结构和功能以及转换模式，定义蛋白质数据转换成乐谱的转换规则，设计AI转换算法，即可完成蛋白质的音乐创作，其创作流程如图1所示。
三、病毒基样的序列音乐分析
（一）NC045512序列音乐的二维谱分析（图2）：整段音乐由五个声部构成，其中一个声部为打击乐音色，五个声部以相同的节奏节拍、不同音色、不同的旋律进行方向形成无重复的旋律进行。在四个具有音高的旋律声部中，呈现出两种不同的结合关系：重复关系与镜像倒影关系。其中红色旋律声部与蓝色旋律声部以八度的变化重复开始，其后一直保持八度距离的重复，两小节后蓝色声部向下方进行，形成十五度音程关系的重复，并于第七小节恢复八度重复关系。二维谱中充分的将两个声部的振幅关系显现出来。另一对旋律为黄色声部与黑色声部，这两个声部呈现出非严格的镜像关系，两个旋律均以相似的横向音程关系形成反向的倒影进行。打击乐声部运用了三种音色，伴随相同的节奏节拍形成色彩性的结合。
（二）LC528232序列音乐的二维谱分析（图3）：整段音乐由六个声部构成，其中二个声部为打击乐。四个具有绝对音高的旋律声部以八度的振幅、和音的音高关系开始，其后各声部均以相同节奏节拍、不同音色形成齐奏。在二维谱中红色与蓝色的旋律声部以八度关系重复，黑色与黄色声部则以自由的形式、整体向下进行。其后则向反向发展，整体向高音区进行。打击乐声部以三种音色的混合，形成二声部的进行，其中一个声部与旋律声部节奏相同，另一个声部以自己独特而自由的形式出现。
（三）NC045612序列音乐的二维谱分析（图4）：整段音乐由六个声部构成，其中打击乐为两个声部，其他四个声部为有音高的旋律声部。四个有音高的旋律声部以不同的音色、相同节奏节拍齐奏的形式形成两对互为相关的组合关系：八度重复关系与反向镜像倒影，其中红色旋律声部与蓝色旋律声部形成八度关系的重复;橙色与黑色旋律声部则以非严格的镜像倒影式呈现。音乐的开始以和音的音高关系开始，其后的音高关系并不局限于传统和声范畴，而以多种的结合方式出现。打击乐中的两个声部，其中一个声部为不同音色交替组合，以旋律形成相同节奏节拍的进行，另一声部则以自由的节奏与整体形成对位节奏。这样形成的纵向音响会塑造出不协和的音响效果。从二维谱整体上看，整段旋律开始在中低音区，随后转向高音区，同时音乐的音域进行扩张，振幅加大。这段音乐的组织形式与NC045512相似。但音区发展并不相同。
（四）SMPRGS序列音乐的二维谱分析（图5）：这段音乐为单一音色的音乐，由两个声部构成，与以上音乐不同，这里两个声部的节奏完全不同，具有对位节奏特点，大量的使用了切分节奏，包括大切分节奏、小切分节奏、三连音及各种连线节奏。前几段音乐中运用的最小时值为八分音符，并成为其主要运用音值，而在这段音乐中十六分音符时值占据重要地位。使音乐音响密度加大。在这段音乐中出现了前几段音乐中没有出现的临时变化音，这使得音乐更具色彩性的变化。同时纵向的音高组织以多音和弦的形式出现，形成高叠和弦的结构特点。
（五）对比分析：前三个音乐具有一定的共性，如：声部间的重复与镜像倒影，最小音值为八分音符，除了打击乐之外，旋律声部以节奏相同进行，所有音乐片段均为基本音级，声部结合不形成高叠和弦。按旧算法AI给出的蛋白质序列音乐运用了多种音色的结合，其中还体现出打击乐的音色，多个声部以和音的形式形成其和声语音。在节奏方面，以四分音符、八分音符居多，上下声部均以相同节奏形成声部间的重复，音域范围均在八度左右;按新算法AI给出的蛋白质序列音乐为两声部音乐，音色单一，节奏复杂，大量运用了切分节奏，上下声部的结合具有复调音乐的特征，形成具有对位特点的节奏模式。和声上形成传统和弦的结构，及超越传统和声的具有变化性的和声结构。音域比按旧算法AI给出的蛋白质序列音乐要宽了很多，重复性的声部不复存在，比按旧算法AI给出的蛋白质序列音乐确有显著的改进。说明算法规则不同，AI给出的蛋白质序列音乐的结果亦不同。基于蛋白质具有调控锻炼耐力的功能，在AI干预下会给出更丰富的绘景。
四、结语
1.在AI技术支持下，以蛋白质结构信息为数据源，将生物大分子转换成音乐创作成果，既是生命科学与艺术的创新性融合，又能有效推动科技发展的多形态表现模式。
2.蛋白质的种类与功能数不胜数，为音乐创作提供了数据源的无限可能性。同时，音乐形式的表达也将蛋白质复杂的结构与功能直观的展现出来，为简单易行的感受科技和生命的魅力拓展了新的思路。
3.AI通过算法训练，将蛋白质序列与结构按照指定的转换模式进行音乐作品的创作，带来艺术的高效和多态产出，同时音乐作品也能够反向影响蛋白质相关结构与功能的研究，在医药领域及其周边产品的开发中发挥重要作用。
4.生命科学的神秘面纱可以被艺术的直观表达揭开，让更多人有机会深入了解生命科学的奥秘。蛋白质的氨基酸序列性和结构与功能的复杂性及多变性与音乐旋律的组构高度相似。
注释：
[1]张新天：《创造性思维40法》，上海大学出版社，2005年。
[2]阎隆飞，孙之荣：《蛋白质分子结构》，清华大学出版社，1999年。
[3]赵雅璇：《浅谈心情与音乐创作的关系》，《传播力研究》2019年第4期。
[4]江晖：《想象思维在音乐创作中的应用初探》，《戏剧之家》2018年第11期。
[5]付鹏：《试析数字化时代下的音乐创作策略》，《戏剧之家》2018年第4期。
陈宇综 美国普渡大学博后、国家千人计划特聘教授、
新加坡国立大学终身教授
孙 洋 沈阳师范大学音乐学院教师
张 辉 国家社科基金艺术学重大招标项目及教育部
哲学社会科学研究后期资助重大项目首席专
家、内蒙古民族大学特聘教授、博士生导师
在生命科学领域，AI也逐渐开启无法替代的数据分析地位。作为生命体重要组成的蛋白质，具有功能结构的复杂性和序列的多样性，与音乐作品结构组成在某种意义上具有相似性。实际上，艺术与科学一样，都是关于创造和创新的学科。艺术与科学都需要不断创新和探索，才能有所突破。艺术与科学相互关联、相互影响，并具有双向的促进作用。科学能够为艺术创作提供灵感和数据源，艺术能够降低大众对科学的认知障碍，有利于科学的感知化普及[1]。蛋白质研究至今，依然是科学家们难以彻底攻破的生命科学领域[2]，而在艺术家面前，将蛋白质序列音乐化处理或推出色彩斑斓的图画却是几十年前就已经发生的事。其实，音乐作品的创作受到多方面因素的干扰，譬如创作者的阅历、情感状态、音乐基础与喜好、灵感的把握以及音樂工具的使用等等，而快捷、高效、多形式的音乐表达方法却成为音乐创作的新需求[3，4]。在AI技术支持下，以神经网络结构为开发起点的AI具有算法推理、多能高效的特点，以蛋白质结构信息为数据源，将生物大分子转换成音乐创作成果，并在多领域内得到快速发展和广泛应用是我们追求的目标。艺术家和计算机科学家们正在不断研发新的算法使不同模式的数据源能够转换成音乐作品[5]，既是生命科学与艺术的创新性融合，又能推动科技发展的多形态表现模式。蛋白质的种类与功能数不胜数，为音乐创作提供了数据源的无限可能。同时，音乐形式的表达也将蛋白质复杂的结构与功能直观的展现出来，为简单易行的感受科技和生命的魅力拓展了新的思路。本文通过分析蛋白质分子结构组成特点和音乐作品之间的相关性，运用AI技术的应用优势，探讨挖掘生命大分子功能结构预测的方法及其转换成音乐作品的可能性。以功能结构不同的10种病毒为研究基样，运用AI技术转换成音乐作品的二维谱形式，以提升可视化效果，从而便于分析。由此超越一切可想象开发的界限，为艺术创造提供源源不断的灵感与资源。
二、蛋白质分子到乐谱生成的AI转换流程
我们知道音乐的基本组成单位是七种音阶而蛋白质的基本组成元素是20种氨基酸，虽然它们的基本元素数量不同，但可以通过设计映射方法进行基本元素之间的匹配;在蛋白质氨基酸按照不同排列组合形成一级结构的基础上，通过共价键、非共价键构建多种形式的空间构象，形成形状、功能各异的生物大分子。在不同音阶排列组合的音乐基础上，形成基本的曲调。再融入节奏、和声、力度、调式、曲式、织体以及音色的综合与调节，形成具有不同特色的风格和旋律，给人以不同的艺术欣赏和感官体验，即蛋白质与音乐都是在基本元素排列组合的基础上再构想进而呈现出不同的表达结果。音乐与蛋白质在功能和结构上的高度相似性为以蛋白质为数据源进行音乐创作，理论上提供了可能性。通过一系列AI转换技术，预测分析蛋白质结构和功能以及转换模式，定义蛋白质数据转换成乐谱的转换规则，设计AI转换算法，即可完成蛋白质的音乐创作，其创作流程如图1所示。
三、病毒基样的序列音乐分析
（一）NC045512序列音乐的二维谱分析（图2）：整段音乐由五个声部构成，其中一个声部为打击乐音色，五个声部以相同的节奏节拍、不同音色、不同的旋律进行方向形成无重复的旋律进行。在四个具有音高的旋律声部中，呈现出两种不同的结合关系：重复关系与镜像倒影关系。其中红色旋律声部与蓝色旋律声部以八度的变化重复开始，其后一直保持八度距离的重复，两小节后蓝色声部向下方进行，形成十五度音程关系的重复，并于第七小节恢复八度重复关系。二维谱中充分的将两个声部的振幅关系显现出来。另一对旋律为黄色声部与黑色声部，这两个声部呈现出非严格的镜像关系，两个旋律均以相似的横向音程关系形成反向的倒影进行。打击乐声部运用了三种音色，伴随相同的节奏节拍形成色彩性的结合。
（二）LC528232序列音乐的二维谱分析（图3）：整段音乐由六个声部构成，其中二个声部为打击乐。四个具有绝对音高的旋律声部以八度的振幅、和音的音高关系开始，其后各声部均以相同节奏节拍、不同音色形成齐奏。在二维谱中红色与蓝色的旋律声部以八度关系重复，黑色与黄色声部则以自由的形式、整体向下进行。其后则向反向发展，整体向高音区进行。打击乐声部以三种音色的混合，形成二声部的进行，其中一个声部与旋律声部节奏相同，另一个声部以自己独特而自由的形式出现。
（三）NC045612序列音乐的二维谱分析（图4）：整段音乐由六个声部构成，其中打击乐为两个声部，其他四个声部为有音高的旋律声部。四个有音高的旋律声部以不同的音色、相同节奏节拍齐奏的形式形成两对互为相关的组合关系：八度重复关系与反向镜像倒影，其中红色旋律声部与蓝色旋律声部形成八度关系的重复;橙色与黑色旋律声部则以非严格的镜像倒影式呈现。音乐的开始以和音的音高关系开始，其后的音高关系并不局限于传统和声范畴，而以多种的结合方式出现。打击乐中的两个声部，其中一个声部为不同音色交替组合，以旋律形成相同节奏节拍的进行，另一声部则以自由的节奏与整体形成对位节奏。这样形成的纵向音响会塑造出不协和的音响效果。从二维谱整体上看，整段旋律开始在中低音区，随后转向高音区，同时音乐的音域进行扩张，振幅加大。这段音乐的组织形式与NC045512相似。但音区发展并不相同。
（四）SMPRGS序列音乐的二维谱分析（图5）：这段音乐为单一音色的音乐，由两个声部构成，与以上音乐不同，这里两个声部的节奏完全不同，具有对位节奏特点，大量的使用了切分节奏，包括大切分节奏、小切分节奏、三连音及各种连线节奏。前几段音乐中运用的最小时值为八分音符，并成为其主要运用音值，而在这段音乐中十六分音符时值占据重要地位。使音乐音响密度加大。在这段音乐中出现了前几段音乐中没有出现的临时变化音，这使得音乐更具色彩性的变化。同时纵向的音高组织以多音和弦的形式出现，形成高叠和弦的结构特点。
（五）对比分析：前三个音乐具有一定的共性，如：声部间的重复与镜像倒影，最小音值为八分音符，除了打击乐之外，旋律声部以节奏相同进行，所有音乐片段均为基本音级，声部结合不形成高叠和弦。按旧算法AI给出的蛋白质序列音乐运用了多种音色的结合，其中还体现出打击乐的音色，多个声部以和音的形式形成其和声语音。在节奏方面，以四分音符、八分音符居多，上下声部均以相同节奏形成声部间的重复，音域范围均在八度左右;按新算法AI给出的蛋白质序列音乐为两声部音乐，音色单一，节奏复杂，大量运用了切分节奏，上下声部的结合具有复调音乐的特征，形成具有对位特点的节奏模式。和声上形成传统和弦的结构，及超越传统和声的具有变化性的和声结构。音域比按旧算法AI给出的蛋白质序列音乐要宽了很多，重复性的声部不复存在，比按旧算法AI给出的蛋白质序列音乐确有显著的改进。说明算法规则不同，AI给出的蛋白质序列音乐的结果亦不同。基于蛋白质具有调控锻炼耐力的功能，在AI干预下会给出更丰富的绘景。
四、结语
1.在AI技术支持下，以蛋白质结构信息为数据源，将生物大分子转换成音乐创作成果，既是生命科学与艺术的创新性融合，又能有效推动科技发展的多形态表现模式。
2.蛋白质的种类与功能数不胜数，为音乐创作提供了数据源的无限可能性。同时，音乐形式的表达也将蛋白质复杂的结构与功能直观的展现出来，为简单易行的感受科技和生命的魅力拓展了新的思路。
3.AI通过算法训练，将蛋白质序列与结构按照指定的转换模式进行音乐作品的创作，带来艺术的高效和多态产出，同时音乐作品也能够反向影响蛋白质相关结构与功能的研究，在医药领域及其周边产品的开发中发挥重要作用。
4.生命科学的神秘面纱可以被艺术的直观表达揭开，让更多人有机会深入了解生命科学的奥秘。蛋白质的氨基酸序列性和结构与功能的复杂性及多变性与音乐旋律的组构高度相似。
注释：
[1]张新天：《创造性思维40法》，上海大学出版社，2005年。
[2]阎隆飞，孙之荣：《蛋白质分子结构》，清华大学出版社，1999年。
[3]赵雅璇：《浅谈心情与音乐创作的关系》，《传播力研究》2019年第4期。
[4]江晖：《想象思维在音乐创作中的应用初探》，《戏剧之家》2018年第11期。
[5]付鹏：《试析数字化时代下的音乐创作策略》，《戏剧之家》2018年第4期。
陈宇综 美国普渡大学博后、国家千人计划特聘教授、
新加坡国立大学终身教授
孙 洋 沈阳师范大学音乐学院教师
张 辉 国家社科基金艺术学重大招标项目及教育部
哲学社会科学研究后期资助重大项目首席专
家、内蒙古民族大学特聘教授、博士生导师