一、unicode是什么？
unicode源于一个很简单的想法：将全世界所有的字符包含在一个集合里，计算机只要支持这一个字符集，就能显示所有的字符，再也不会有乱码了。
它从0开始，为每个符号指定一个编号，这叫做码点（codepoint）。比如，码点0的符号就是null（表示所有二进制位都是0）。
复制代码 代码如下:
u+0000 = null
上式中，u+表示紧跟在后面的十六进制数是unicode的码点。
目前，unicode的最新版本是7.0版，一共收入了109449个符号，其中的中日韩文字为74500个。可以近似认为，全世界现有的符号当中，三分之二以上来自东亚文字。比如，中文好的码点是十六进制的597d。
复制代码 代码如下:
u+597d = 好
这么多符号，unicode不是一次性定义的，而是分区定义。每个区可以存放65536个（216）字符，称为一个平面（plane）。目前，一共有17个（25）平面，也就是说，整个unicode字符集的大小现在是221。
最前面的65536个字符位，称为基本平面（缩写bmp），它的码点范围是从0一直到216-1，写成16进制就是从u+0000到u+ffff。所有最常见的字符都放在这个平面，这是unicode最先定义和公布的一个平面。
剩下的字符都放在辅助平面（缩写smp），码点范围从u+010000一直到u+10ffff。
二、utf-32与utf-8
unicode只规定了每个字符的码点，到底用什么样的字节序表示这个码点，就涉及到编码方法。
最直观的编码方法是，每个码点使用四个字节表示，字节内容一一对应码点。这种编码方法就叫做utf-32。比如，码点0就用四个字节的0表示，码点597d就在前面加两个字节的0。
复制代码 代码如下:
u+0000 = 0x0000 0000u+597d = 0x0000 597d
utf-32的优点在于，转换规则简单直观，查找效率高。缺点在于浪费空间，同样内容的英语文本，它会比ascii编码大四倍。这个缺点很致命，导致实际上没有人使用这种编码方法，html5标准就明文规定，网页不得编码成utf-32。
人们真正需要的是一种节省空间的编码方法，这导致了utf-8的诞生。utf-8是一种变长的编码方法，字符长度从1个字节到4个字节不等。越是常用的字符，字节越短，最前面的128个字符，只使用1个字节表示，与ascii码完全相同。
编号范围字节0x0000 - 0x007f10x0080 - 0x07ff20x0800 - 0xffff30x010000 - 0x10ffff4
由于utf-8这种节省空间的特性，导致它成为互联网上最常见的网页编码。不过，它跟今天的主题关系不大，我就不深入了，具体的转码方法，可以参考我多年前写的《字符编码笔记》。
三、utf-16简介
utf-16编码介于utf-32与utf-8之间，同时结合了定长和变长两种编码方法的特点。
它的编码规则很简单：基本平面的字符占用2个字节，辅助平面的字符占用4个字节。也就是说，utf-16的编码长度要么是2个字节（u+0000到u+ffff），要么是4个字节（u+010000到u+10ffff）。
于是就有一个问题，当我们遇到两个字节，怎么看出它本身是一个字符，还是需要跟其他两个字节放在一起解读？
说来很巧妙，我也不知道是不是故意的设计，在基本平面内，从u+d800到u+dfff是一个空段，即这些码点不对应任何字符。因此，这个空段可以用来映射辅助平面的字符。
具体来说，辅助平面的字符位共有220个，也就是说，对应这些字符至少需要20个二进制位。utf-16将这20位拆成两半，前10位映射在u+d800到u+dbff（空间大小210），称为高位（h），后10位映射在u+dc00到u+dfff（空间大小210），称为低位（l）。这意味着，一个辅助平面的字符，被拆成两个基本平面的字符表示。
所以，当我们遇到两个字节，发现它的码点在u+d800到u+dbff之间，就可以断定，紧跟在后面的两个字节的码点，应该在u+dc00到u+dfff之间，这四个字节必须放在一起解读。
四、utf-16的转码公式
unicode码点转成utf-16的时候，首先区分这是基本平面字符，还是辅助平面字符。如果是前者，直接将码点转为对应的十六进制形式，长度为两字节。
复制代码 代码如下:
u+597d = 0x597d
如果是辅助平面字符，unicode 3.0版给出了转码公式。
复制代码 代码如下:
h = math.floor((c-0x10000) / 0x400)+0xd800l = (c - 0x10000) % 0x400 + 0xdc00
以字符为例，它是一个辅助平面字符，码点为u+1d306，将其转为utf-16的计算过程如下。
复制代码 代码如下:
h = math.floor((0x1d306-0x10000)/0x400)+0xd800 = 0xd834l = (0x1d306-0x10000) % 0x400+0xdc00 = 0xdf06
所以，字符的utf-16编码就是0xd834 df06，长度为四个字节。
五、javascript使用哪一种编码？
javascript语言采用unicode字符集，但是只支持一种编码方法。
这种编码既不是utf-16，也不是utf-8，更不是utf-32。上面那些编码方法，javascript都不用。
javascript用的是ucs-2！
六、ucs-2编码
怎么突然杀出一个ucs-2？这就需要讲一点历史。
互联网还没出现的年代，曾经有两个团队，不约而同想搞统一字符集。一个是1988年成立的unicode团队，另一个是1989年成立的ucs团队。等到他们发现了对方的存在，很快就达成一致：世界上不需要两套统一字符集。
1991年10月，两个团队决定合并字符集。也就是说，从今以后只发布一套字符集，就是unicode，并且修订此前发布的字符集，ucs的码点将与unicode完全一致。
ucs的开发进度快于unicode，1990年就公布了第一套编码方法ucs-2，使用2个字节表示已经有码点的字符。（那个时候只有一个平面，就是基本平面，所以2个字节就够用了。）utf-16编码迟至1996年7月才公布，明确宣布是ucs-2的超集，即基本平面字符沿用ucs-2编码，辅助平面字符定义了4个字节的表示方法。
两者的关系简单说，就是utf-16取代了ucs-2，或者说ucs-2整合进了utf-16。所以，现在只有utf-16，没有ucs-2。
七、javascript的诞生背景
那么，为什么javascript不选择更高级的utf-16，而用了已经被淘汰的ucs-2呢？
答案很简单：非不想也，是不能也。因为在javascript语言出现的时候，还没有utf-16编码。
1995年5月，brendaneich用了10天设计了javascript语言；10月，第一个解释引擎问世；次年11月，netscape正式向ecma提交语言标准（整个过程详见《javascript诞生记》）。对比utf-16的发布时间（1996年7月），就会明白netscape公司那时没有其他选择，只有ucs-2一种编码方法可用！
八、javascript字符函数的局限
由于javascript只能处理ucs-2编码，造成所有字符在这门语言中都是2个字节，如果是4个字节的字符，会当作两个双字节的字符处理。javascript的字符函数都受到这一点的影响，无法返回正确结果。
还是以字符为例，它的utf-16编码是4个字节的0xd834df06。问题就来了，4个字节的编码不属于ucs-2，javascript不认识，只会把它看作单独的两个字符u+d834和u+df06。前面说过，这两个码点是空的，所以javascript会认为是两个空字符组成的字符串！
上面代码表示，javascript认为字符的长度是2，取到的第一个字符是空字符，取到的第一个字符的码点是0xdb34。这些结果都不正确！
解决这个问题，必须对码点做一个判断，然后手动调整。下面是正确的遍历字符串的写法。
复制代码 代码如下:
while (++index = 0xd800 && charcode 上面代码表示，遍历字符串的时候，必须对码点做一个判断，只要落在0xd800到0xdbff的区间，就要连同后面2个字节一起读取
类似的问题存在于所有的javascript字符操作函数。
string.prototype.replace()
string.prototype.substring()
string.prototype.slice()
...
上面的函数都只对2字节的码点有效。要正确处理4字节的码点，就必须逐一部署自己的版本，判断一下当前字符的码点范围。
九、ecmascript 6
javascript的下一个版本ecmascript 6（简称es6），大幅增强了unicode支持，基本上解决了这个问题。
（1）正确识别字符
es6可以自动识别4字节的码点。因此，遍历字符串就简单多了。
复制代码 代码如下:
for (let s of string ) { // ...}
但是，为了保持兼容，length属性还是原来的行为方式。为了得到字符串的正确长度，可以用下面的方式。
复制代码 代码如下:
array.from(string).length
（2）码点表示法
javascript允许直接用码点表示unicode字符，写法是反斜杠+u+码点。
复制代码 代码如下:
'好' === '\u597d' // true
但是，这种表示法对4字节的码点无效。es6修正了这个问题，只要将码点放在大括号内，就能正确识别。
（3）字符串处理函数
es6新增了几个专门处理4字节码点的函数。
string.fromcodepoint()：从unicode码点返回对应字符
string.prototype.codepointat()：从字符返回对应的码点
string.prototype.at()：返回字符串给定位置的字符
（4）正则表达式
es6提供了u修饰符，对正则表达式添加4字节码点的支持。
（5）unicode正规化
有些字符除了字母以外，还有附加符号。比如，汉语拼音的ǒ，字母上面的声调就是附加符号。对于许多欧洲语言来说，声调符号是非常重要的。
unicode提供了两种表示方法。一种是带附加符号的单个字符，即一个码点表示一个字符，比如ǒ的码点是u+01d1；另一种是将附加符号单独作为一个码点，与主体字符复合显示，即两个码点表示一个字符，比如ǒ可以写成o（u+004f）+ ˇ（u+030c）。
复制代码 代码如下:
// 方法一'\u01d1'// 'ǒ'// 方法二'\u004f\u030c'// 'ǒ'
这两种表示方法，视觉和语义都完全一样，理应作为等同情况处理。但是，javascript无法辨别。
复制代码 代码如下:
'\u01d1'==='\u004f\u030c' //false
es6提供了normalize方法，允许unicode正规化，即将两种方法转为同样的序列。
复制代码 代码如下:
'\u01d1'.normalize() === '\u004f\u030c'.normalize() // true
关于es6的更多介绍，请看《ecmascript 6入门》。