文档介绍：方正超大字库解决方案
方正超大字库解决方案
■关于汉字和汉字编码
殷商出土的甲骨文可视为中国文字的渊源,历经几千年的历史演变,汉字无论是在字形、字体,还是数量方面都发生了很大变化,从下面一组数据就可以看出汉字在数量方面的演变。
《说文解字》(公元100年)收9353字;《声类》(227-239年)收11520字;《玉篇》(5 43年)收22726字;《唐韵》(751年)收26194字;《类篇》(1066年)收31319字;《字汇》(1615年)收33179字;《康熙字典》(1716年)收47035字;《中华大字典》(1915年)收48000字;《中文大字典》(1968年)收49905字;《汉语大字典》(1986年)收56000字。
汉字家族在不断增加,从"说文解字"到"汉语大字典"的大约2000年的时间里,汉字的数量增加了5倍多,而我们常用的6000多个汉字仅仅是汉字家庭中的一小部分。到目前为止,国际标准组织(ISO)制定国际标准时,共收集到汉字七万多字。
从中文信息处理的角度来看,国家及国际相继颁布了不同的汉字编码标准,从GB2132到GBK,从GBK到GB18030,标准收录的汉字从6763个增加到现在的27000多个,但对于汉字的庞大家族来说,尴尬难以避免。在银行、邮电、保险、报业、公安等行业,经常会碰到生僻的人名、地名,只能用拼音代替或手工贴图,而古籍整理、辞书出版、光盘出版、地理信息系统等则会遇到很多缺字,补字的工作量很大。其它使用汉字的国家和地区,如日本、韩国、越南、新加坡等,其文化遗产多以汉字的形式保存,随着信息时代的到来,将其转换为电子资料时经常碰到的问题就是:电脑中的汉字不够用。
■方正超大字库的发展历程
作为中国最早从事中文字库开发的专业厂商,北大方正非常关注中文字库技术进步和中文印刷字体的发展,积极参与中国国家标准和国际标准化(ISO)组织相关标准的制订,如GB2312-80、GBK、GB18030、ISO/IEC-10646等。
为了进一步规范汉字的编码,国际标准化(ISO)组织对汉字做了扩充,这就是汉字EXT B,北大方正积极参加了编辑讨论工作。2000年8月22日,公布的SuperCJK ,也正是最新的方正超大字库的全部内容,即方正超大字库基本包含了中、日、韩、越的主要汉字。
由于汉字来源复杂,按照国家的要求,必须改成现行的写法,方正邀请了多位文字学专家进行指导,对70205字进行了新笔形化,同时邀请多位字体设计专家对质量进行把关,保证字形、笔形规范、统一,符合国家语委的标准。方正宋一超大字库收录了70244个汉字,2月16日通过了新闻出版署、国家语委、全国印刷字体工作委员会的联合审定。与会专家认为,方正超大字库符合国家用字规范和印刷标准,具有良好的通用性、兼容性和一致性,符合国际流行的工业标准。
■方正超大字库解决方案
1、方正超大字库编码方案
为解决古籍整理、辞书出版中遇到的补字问题,方正超大字库采用GBK编码,分成三个字库,将汉字扩充到70244字,这可以有效地解决出版问题,但在检索时会出现重码。
现在有三个方案:
(1)使用Unicode所定义的surrogate机制:
双字节和四字节混合编码,四字节部分共可对应到至多一百万个字符(1M,1024x1024),这一百万个字符的容量可以对应到ISO 10646定义的16个字面(plane),每一个字面的容量为64K(64x1024),CJK区域的扩展B字符集,位于第二个字面(plane 2)。
目前微软的WINDOWS 2000已经支持这个方案。
(2)中国刚发布的GB18030:
双字节和四字节混合编码,是GBK的扩充,四字节部分共1587600个码位,也可以对应到ISO 10646定义的16个字面(plane),还需要软件厂商的支持。
(3)ISO 10646的四字节编码:
这种四字节编码到现在还没有支持的操作系统。
现在,不同国家和地区还在广泛使用各自不同的汉字编码标准,相同的汉字放在不同的码位,好在ISO ,包含了大多数汉字,也引起了世界各国的重视,许多国家已经采取步骤向UCS过渡。相信在不远的将来,使用汉字的人们能使用同一种编码交流,以便增进彼此之间的理解。
2、方正超大字库输出方案
现已面市的方正超大字库,将极大地方便专业辞书和古籍的排印。从字数上看,它目前包含《汉语大字典》的全部5万6千余字,共收录汉字70244个,并且前后端一致,所见即所得。,可以免除大量的补字问题,降低劳动强度,提高工作效率。
方正超大字库解决方案
最初的中文计算机系统中文字符数十分有限,例如GB2312-80编码标