[译]用javascript实现一门编程语言-词法分析

词法分析是基于字符输入流进行操作的,但是通过peek() 或 next() 返回的是一个特殊对象,即token. 一个token中包含两个属性: type 和 value. 以下是几个例子: 空白和注释会被直接跳过,没有token返回. 这是一个分发函数,他会决定什么时候调用n…