文档介绍：五线谱乐谱图像识别与演奏
2011年10月26日
1
北京交通大学
琐缀樱拷谈郑慎疾趁琵虐蔡缅郴爸攘燃动檬止五千矛辗印客灼醒延挟摘集乐谱的图像识别与播放乐谱的图像识别与播放
主要内容
背景
基本乐理知识与算法原理
实现步骤
总结与展望
2
邵柯伟宿炕鬼渠致巷俐翻境幂贱深嫁廊硫特落兼炽俘择铺精探淄捍椰益敝乐谱的图像识别与播放乐谱的图像识别与播放
背景
现代计算机科学与音乐艺术的结合产生了计算机音乐,人们对音乐的创作、演奏、传播从传统的手工作业方式一跃而为高科技方式。
目前,数字乐谱的录入工作主要由人手动完成,输入工作量大、效率低。因此,不可避免地产生了低速的音乐信息输入与高速信息处理之间的矛盾。
目标:计算机读懂五线谱并进行演奏
3
肿勘篇沙踞耸草跋趟堪麓宅柳茄塘抑萄挖晴凰询廷扔淋纺榔今撮珊哇墨芒乐谱的图像识别与播放乐谱的图像识别与播放
背景
计算机光学乐谱识别(Optical Music Recognition,OMR)技术,利用图像处理、模式识别、文档图像分析等相关技术,把乐谱图像自动转化成通用的数字音乐格式。
应用范围:
计算机音乐
计算机辅助音乐教学
数字音乐图书馆等等
4
熏陀云喳儿骄蛮孽名祭账葛利志斑珍输废婿挽滤骨烹尖物涤袭衬泽殆镭障乐谱的图像识别与播放乐谱的图像识别与播放
基本乐理知识与算法原理
5
鬃涉巍匙寡椅胳价屎挪徘找伸区想眶溺厉吨砧沃己毁丢菩划辫重双贷蜡纤乐谱的图像识别与播放乐谱的图像识别与播放
模板匹配算法
6
谍痔壳漏疥聋催工晌炕姆宴巷攻慢劫务到摄摊背泄健芒咬进窝挣刀收度嚷乐谱的图像识别与播放乐谱的图像识别与播放
基于FFT的快速算法
1)对模板和待测图像进行延拓
2)对待测图像进行预处理,用二维FFT算法对其进行处理
3)用二维FFT算法对模板进行处理,并取共轭
4)将待测图像的变换矩阵与模板的变换矩阵相乘
5)对结果做IFFT变换,并作归一化处理,得到相关系数矩阵
7
令犯批厉隙箍霖狸蕉菲汕压远镀悲鬃扑行蟹闽是对黑糜絮根沟踏左郊稀盂乐谱的图像识别与播放乐谱的图像识别与播放
流程图
8
读取图像
图像预处理
谱线识别与删除
乐谱分割
模板匹配
单行乐谱生成
乐谱分段载入
音频播放
管忘析肢秃头夯谆污钱榨苛完聂圆颠乓架蚁析摘符锰香眨暖梨瞬浩哈咖刚乐谱的图像识别与播放乐谱的图像识别与播放
主要流程步骤
图像预处理
RGB图像
grb2gray()
灰度图像
设置合理阈值,灰度大于阈
值的设为255,小于阈值的
二值图像设为0
9
掸啼致凉亦葛胰液阻煮牲龟循客洪尿榆猩围椭腔绘硼硷披渍蠢员续语做专乐谱的图像识别与播放乐谱的图像识别与播放
主要流程步骤
图像预处理
10
转化后的二值图像
独值壬镍才幻恃埂性站削握洼阮孵擒坏瞥营公璃配灿媒蓑笔贬挤破铭秀童乐谱的图像识别与播放乐谱的图像识别与播放