■ 关于汉字和汉字编码
殷商出土的甲骨文可视为中国文字的渊源,历经几千年的历史演变,汉字无论是在字形、字体,还是数量方面都发生了很大变化,从下面一组数据就可以看出汉字在数量方面的演变。
《说文解字》(公元100年)收9353字;《声类》(227-239年)收11520字;《玉篇》(5 43年)收22726字;《唐韵》(751年)收26194字;《类篇》(1066年)收31319字;《字汇》(1615年)收33179字;《康熙字典》(1716年)收47035字;《中华大字典》(1915年)收48000字;《中文大字典》(1968年)收49905字;《汉语大字典》(1986年)收56000字。
汉字家族在不断增加,从"说文解字"到"汉语大字典"的大约2000年的时间里,汉字的数量增加了5倍多,而我们常用的6000多个汉字仅仅是汉字家庭中的一小部分。到目前为止,国际标准组织(ISO)制定国际标准时,共收集到汉字七万多字。
从中文信息处理的角度来看,国家及国际相继颁布了不同的汉字编码标准,从GB2132到GBK,从GBK到GB18030,标准收录的汉字从6763个增加到现在的27000多个,但对于汉字的庞大家族来说,尴尬难以避免。在银行、邮电、保险、报业、公安等行业,经常会碰到生僻的人名、地名,只能用拼音代替或手工贴图,而古籍整理、辞书出版、光盘出版、地理信息系统等则会遇到很多缺字,补字的工作量很大。其它使用汉字的国家和地区,如日本、韩国、越南、新加坡等,其文化遗产多以汉字的形式保存,随着信息时代的到来,将其转换为电子资料时经常碰到的问题就是:电脑中的汉字不够用。
■ 方正超大字库的发展历程
作为中国最早从事中文字库开发的专业厂商,北大方正非常关注中文字库技术进步和中文印刷字体的发展,积极参与中国国家标准和国际标准化(ISO)组织相关标准的制订,如GB2312-80、GBK、GB18030、ISO/IEC-10646等。
为了进一步规范汉字的编码,国际标准化(ISO)组织对汉字做了扩充,这就是汉字EXT B,北大方正积极参加了编辑讨论工作。2000年8月22日,公布的SuperCJK V10.2共包含70205字,也正是最新的方正超大字库的全部内容,即方正超大字库基本包含了中、日、韩、越的主要汉字。
由于汉字来源复杂,按照国家的要求,必须改成现行的写法,方正邀请了多位文字学专家进行指导,对70205字进行了新笔形化,同时邀请多位字体设计专家对质量进行把关,保证字形、笔形规范、统一,符合国家语委的标准。方正宋一超大字库收录了70244个汉字,2月16日通过了新闻出版署、国家语委、全国印刷字体工作委员会的联合审定。与会专家认为,方正超大字库符合国家用字规范和印刷标准,具有良好的通用性、兼容性和一致性,符合国际流行的工业标准。
■ 方正超大字库解决方案
1、方正超大字库编码方案
为解决古籍整理、辞书出版中遇到的补字问题,方正超大字库采用GBK编码,分成三个字库,将汉字扩充到70244字,这可以有效地解决出版问题,但在检索时会出现重码。
现在有三个方案:
(1) 使用Unicode所定义的surrogate机制:
双字节和四字节混合编码,四字节部分共可对应到至多一百万个字符(1M, 1024x1024),这一百万个字符的容量可以对应到ISO 10646定义的16个字面(plane),每一个字面的容量为64K(64x1024),CJK区域的扩展B字符集,位于第二个字面(plane 2)。
目前微软的WINDOWS 2000已经支持这个方案。
(2) 中国刚发布的GB18030:
双字节和四字节混合编码,是GBK的扩充,四字节部分共1587600个码位,也可以对应到ISO 10646定义的16个字面(plane),还需要软件厂商的支持。
(3)ISO 10646的四字节编码:
这种四字节编码到现在还没有支持的操作系统。
现在,不同国家和地区还在广泛使用各自不同的汉字编码标准,相同的汉字放在不同的码位,好在ISO10646.2 字符集快要出台,包含了大多数汉字,也引起了世界各国的重视,许多国家已经采取步骤向UCS过渡。相信在不远的将来,使用汉字的人们能使用同一种编码交流,以便增进彼此之间的理解。
2、方正超大字库输出方案
现已面市的方正超大字库,将极大地方便专业辞书和古籍的排印。从字数上看,它目前包含《汉语大字典》的全部5万6千余字,共收录汉字70244个,并且前后端一致,所见即所得。借助于配套的方正书版9.0及典码输入法,可以免除大量的补字问题,降低劳动强度,提高工作效率 。
方正超大字库宋体(新笔形)
人类历史刚跨入 21 世纪,计算机在中国也日益由一种稀罕的事物变成了人们日常生活中不可缺少的家用电器了。但真正使计算机走入寻常百姓家的原因在于计算机中文操作系统的出现,使得中国人真正进入了信息时代。
最初的中文计算机系统中文字符数十分有限,例如 GB2312-80 编码标准仅收录了 6763 个汉字,在实际使用中人们越来越发现,汉字不够用了。这一点倒不难理解,因为虽然人们在实际生活中并不使用过多烦难的汉字,但是作为源远流长的中华文明在 5000 年历史长河中留下了无数历史,地理,科学,文化,生活等等方方面面的资料,许多现在已经不再使用的汉字字符,依然大量保留在这些史籍之中。这些历史文化资料在计算机,信息技术日益发达的今天,数字化是留存他们的非常适合的保存方式。除此之外今天许多的地名也依然保留着中华文明的古老痕迹,人们在起名时也往往因为某个古老的汉字美好寓意而采用他们。
但是,当人们满心欢喜的准备把这些资料数字化存储到计算机时,却发现这时有的汉字却在现有字库中找不到。古籍资料,历史文献中的生僻文字无法输入计算机电子化,数字化,即便是对仍在使用中的地名,人名现有的汉字也是远不够用, 例如,在银行、邮电、保险、报业、公安等行业,经常会碰到生僻的人名、地名,这时就只能用拼音代替或手工贴图, 这些问题使得文档难以处理,给人们的生活平添烦恼。 而古籍整理、辞书出版则会遇到很多缺字,虽然现在可以通过补字的方式增加所缺字符,但是有时补字的工作量很大,而且往往造成和现有字体不能保证完全一致的风格。此外还有其它使用汉字的国家和地区,如日本、韩国、越南、新加坡等,其文化遗产也多以汉字的形式保存。随着信息时代的已经到来,将各种资料,信息转换为电子文档时经常碰到的问题就是:电脑中的汉字不够用。
中国人对汉字的需求仿佛随着时间的推移越来越大, 2000 年一个新的国家标准 GB18030-2000 开始强制执行了。从 GB2132 到 GBK ,从 GBK 到 GB18030 ,标准收录的汉字从 6763 个增加到现在的 27000 多个,人们不禁要问:汉字到底够不够用呢?到底多少汉字才够用呢? 那么让我们首先追溯历史,殷商出土的甲骨文可视为中国文字的渊源,历经几千年的历史演变,汉字无论是在字形、字体,还是数量方面都发生了很大变化,今天,我们用到的汉字有多少呢?康熙字典》收录了四万七千零三十五字,《汉语大字典》收录了五万六千多个。到目前为止,国际标准组织( ISO )制定国际标准时,共收集到汉字七万多字。那么实际中我们可以推断存在,存在过和使用中汉字字符数目要超过现有有编码的汉字总数。
北大方正作为中国最早从事中文字库开发的专业厂商,非常关注中文字库技术进步和中文印刷字体的发展,积极参与中国国家标准和国际标准化( ISO )组织相关标准的制订,如 GB2312-80 、 GBK 、 GB18030 、 ISO/IEC-10646 等,不断为中国的中文信息现代化贡献自己的力量。
为了进一步规范汉字的编码,国际标准化组织( ISO )对汉字做了扩充,这就是汉字扩充字符集 B ,简写为 EXT B ,方正公司积极参加了编辑讨论工作。 2000 年 8 月 22 日,公布的 SuperCJK V10.2 共包含 70205 字,也正是最新的方正超大字库的全部内容,即方正超大字库基本包含了中、日、韩、越的主要汉字。
由于汉字来源复杂,按照国家的要求,必须改成现行的写法为统一的标准写法和笔形,北大方正邀请了多位文字学专家进行指导,对 70205 字进行了新笔形化,同时邀请多位字体设计专家对设计质量进行把关,保证字形、笔形规范、统一,符合国家语言文字工作委员会的标准,整幅字体结构端正、重心平稳,小字黑白匀称、大字光滑,版面清晰、美观、风格一致,阅读效果好。
北大方正基于这样标准推陈出新了现已面市的方正超大字库,将极大地方便专业辞书和古籍的排印,并在银行、邮电、保险、报业、公安,信息传媒等行业得到广泛应用。从字数上看,它目前包含《汉语大字典》的全部 5 万 6 千余字,目前共包含有字符 65000 多个,其中汉字字符超过 64395 个,下一个版本将扩展至 7 万余字,并且前后端一致,所见即所得。借助于配套的方正书版 10.0 及方正新典码输入法,可以免除大量的补字问题,大大地降低劳动强度,提高工作效率。
北大方正秉承精益求精的传统,致力于中国汉字文化的传播。在相继开发了 GB 、 GBK 字库后推出的超大字库,将为您工作中遇到的汉字难题提供完善的解决方案。
方正超大字库楷体
北大方正在完成了宋体 - 方正超大字符集后,这款迄今为止国内单款字体包含汉字字符数目最多的字体正式投入使用了,解决了目前面临的大部分遇到的生僻汉字问题。但是仅有一种字体还不能满足人们日常使用美观,多样的需要。
因此为满足市场需要北大方正作为中国最早从事中文字库开发的专业厂商,自始至终非常关注中文字库技术进步和中文印刷字体的发展,积极参与中国国家标准和国际标准化( ISO )组织相关标准的制订,如 GB2312-80 、 GBK 、 GB18030 、 ISO/IEC-10646 等,不断为中国的中文信息现代化贡献自己的力量。为了进一步规范汉字的编码,国际标准化组织( ISO )对汉字做了扩充,这就是汉字扩充字符集 B ,简写为 EXT B ,方正公司积极参加了编辑讨论工作。 2000 年 8 月 22 日,公布的 SuperCJK V10.2 共包含 70205 字,也正是最新的方正超大字库的全部内容,即方正超大字库基本包含了中、日、韩、越的主要汉字。
楷体具有 字体朴实端正,笔法舒展有力,流畅自然,结构匀称,适用于书、报、杂志和各级教材的中小标题及正文字等特点, 是出版印刷以及日常生活中最常用的汉字字体之一。因此北大方正基于自身的技术力量和一贯的优良开发传统,继方正宋体超大字符集后又即将推出方正楷体超大字符集。
由于汉字来源复杂,按照规范化的要求,必须改成现行的写法为统一的标准写法和笔形,北大方正仍然邀请多位文字学专家进行指导监督,对 70205 字进行了楷体标准化,同时邀请多位字体设计专家对设计质量进行把关,保证字形、笔形规范、统一,符合国家语言文字工作委员会的标准,整幅字体结构端正、重心平稳,小字黑白匀称、大字光滑,版面清晰、美观、风格一致,阅读效果好。
北大方正基于这样严格的标准推陈出新了现已面市的宋体方正超大字库,加上本次推出的楷体方正超大字库将极大地方便专业辞书和古籍的排印,并在银行、邮电、保险、报业、公安,信息传媒等行业得到广泛应用,扩展古籍文献资料的美观和更加广泛使用。从字数上看,楷体方正超大字库目前共包含有字符 65000 多个,其中汉字字符超过 64395 个,并且前后端一致,所见即所得。借助于配套的方正书版 10.0 及方正新典码输入法,可以免除大量的补字问题,大大地降低劳动强度,提高工作效率。
北大方正秉承精益求精的传统,致力于中国汉字文化的传播。在相继开发了 GB 、 GBK 字库后推出的楷体方正超大字库,将为您工作中遇到的汉字难题提供完善的解决方案。
|