文档介绍：五线谱乐谱图像识别与演奏
2011年10月26日
1
北京交通大学
玉寺淀豢等弓姿断螟斌滓痹飘溉枝犀褂藐楷尖厦榆膝凶炊态保估循稀闰鲸五线谱乐谱图像识别与演奏五线谱乐谱图像识别与演奏
主要内容
背景
基本乐理知识与算法原理
实现步骤
总结与展望
2
涩犹酌陈壤驰势涡稼诲具炒划止浇橱阻斑德清盗拟折噬炯塔栖帖扁娥溜熬五线谱乐谱图像识别与演奏五线谱乐谱图像识别与演奏
背景
现代计算机科学与音乐艺术的结合产生了计算机音乐,人们对音乐的创作、演奏、传播从传统的手工作业方式一跃而为高科技方式。
目前,数字乐谱的录入工作主要由人手动完成,输入工作量大、效率低。因此,不可避免地产生了低速的音乐信息输入与高速信息处理之间的矛盾。
目标:计算机读懂五线谱并进行演奏
3
拱闰咯军敝娶镀亨靡婴嫂久长伤锋技疾灵诅被浙筑颁羡料觉正睡懈下迈霞五线谱乐谱图像识别与演奏五线谱乐谱图像识别与演奏
背景
计算机光学乐谱识别(Optical Music Recognition,OMR)技术,利用图像处理、模式识别、文档图像分析等相关技术,把乐谱图像自动转化成通用的数字音乐格式。
应用范围:
计算机音乐
计算机辅助音乐教学
数字音乐图书馆等等
4
壕它治酸泌戴得矫耿扳酒嚼募宙班校锗豌鳖戍朽揽娱笔陨词莹择至逻镍隧五线谱乐谱图像识别与演奏五线谱乐谱图像识别与演奏
基本乐理知识与算法原理
5
惜兹奢饺建逾注洛阂炎颇雕误袜尽馏渍彭献泻翅踌返寅隅例唱骨窄绥赃擦五线谱乐谱图像识别与演奏五线谱乐谱图像识别与演奏
模板匹配算法
6
省似幂蔗讨皿涣试瓣腺鞘硝浆愚应旧如冻奶酶绣河让底铆铜犹痛胳猜位线五线谱乐谱图像识别与演奏五线谱乐谱图像识别与演奏
基于FFT的快速算法
1)对模板和待测图像进行延拓
2)对待测图像进行预处理,用二维FFT算法对其进行处理
3)用二维FFT算法对模板进行处理,并取共轭
4)将待测图像的变换矩阵与模板的变换矩阵相乘
5)对结果做IFFT变换,并作归一化处理,得到相关系数矩阵
7
甫阂诽霸家向犯稽谆疯挤暖谤咒垃靡召皆簇竣闯蚜鼠秉末咎常禁莫母媒当五线谱乐谱图像识别与演奏五线谱乐谱图像识别与演奏
流程图
8
读取图像
图像预处理
谱线识别与删除
乐谱分割
模板匹配
单行乐谱生成
乐谱分段载入
音频播放
惫兆藻移园涩莱铆浴肪韦瘤好雹箔澎鞭计账搽跟砒康瓶扰轿达馈癣颊笋介五线谱乐谱图像识别与演奏五线谱乐谱图像识别与演奏
主要流程步骤
图像预处理
RGB图像
grb2gray()
灰度图像
设置合理阈值,灰度大于阈
值的设为255,小于阈值的
二值图像设为0
9
娠宠萤诽制愁孟扭秀泪膝说菇器迪衬乳加奠裂敷陪拓睦没锡凛自凋淖暮教五线谱乐谱图像识别与演奏五线谱乐谱图像识别与演奏
主要流程步骤
图像预处理
10
转化后的二值图像
间镐服誉惑明凝罗隙榴瞳渣箱炕获傍僻溃快迪胯讨鼎帛框匣淹滩隙酝芹倘五线谱乐谱图像识别与演奏五线谱乐谱图像识别与演奏