Python中用Spark模块的使用教程

在日常的编程中我经常需要标识存在于文本文档中的部件和结构这些文档包括：日志文件、配置文件、定界的数据以及格式更自由的（但还是半结构化的）报表格式。所有这些文档都拥有它们自己的“小语言”营销化这些文档包括：日志文件、配置文件、定界的数据以及格式更自由的（但还是半结构化的）报表格式。所有这些文档都拥有它们自己的“小语言”用于规定什么能够出现在文档内。我编写这些非正式解析任务的程序的方法总是有点象大杂烩其中包括定制状态机、正则表达式以及上下文驱动的字符串测试。这些程序中的模式大概总是这样：“读一些文本弄清是否可以用它来做些什么然后可能再多读一些文本一直尝试下去。”

解析器将文档中部件和结构的描述提炼成简明、清晰和 说明性的规则确定由什么组成文档。大多数正式的解析器都使用扩展巴科斯范式（Extended Backus-Naur FormEBNF）上的变体来描述它们所描述的语言的“语法”。基本上EBNF 语法对您可能在文档中找到的 部件赋予名称；另外较大的部件通常由较小的部件组成。小部件在较大的部件中出现的频率和顺序由操作符指定。举例来说清单 1 是 EBNF 语法 typographify.def我们在 SimpleParse 那篇文章中见到过这个语法（其它工具运行的方式稍有不同）：

para := (plain / markup)+plain := (word / whitespace / punctuation)+whitespace := [ \t\r\n]+alphanums := [a-zA-Z0-9]+word := alphanums, (wordpunct, alphanums)*, contractionwordpunct := [-_]contraction := "'", ('am'http://www.qhdseo.net/'clock'http://www.qhdseo.net/'d'http://www.qhdseo.net/'ll'http://www.qhdseo.net/'m'http://www.qhdseo.net/'re'http://www.qhdseo.net/'s'http://www.qhdseo.net/'t'http://www.qhdseo.net/'ve')markup := emph / strong / module / code / titleemph := '-', plain, '-'strong := '*', plain, '*'module := '[', plain, ']'code := "'", plain, "'"title := '_', plain, '_'punctuation := (safepunct / mdash)mdash := '--'safepunct := [!@#$%^()+=|\{}:;,./"]

Spark 简介

Spark 解析器与 EBNF 语法有一些共同之处但它将解析／处理过程分成了比传统的 EBNF 语法所允许的更小的组件。Spark 的优点在于它对整个过程中每一步操作的控制都进行了微调还提供了将定制代码插入到过程中的能力。您如果读过本系列的 SimpleParse 那篇文章您就会回想起我们的过程是比较粗略的：1）从语法（并从源文件）生成完整的标记列表2）使用标记列表作为定制编程操作的数据。

在“Compiling Little Languages in Python”（请参阅 参考资料）中Spark 的创始人 John Aycock 将编译器分成了四个阶段。本文讨论的问题只涉及到前面两个半阶段这归咎于两方面原因一是由于文章长度的限制二是因为我们将只讨论前一篇文章提出的同样的相对来说比较简单的“文本标记”问题。Spark 还可以进一步用作完整周期的代码编译器／解释器而不是只用于我所描述的“解析并处理”的任务。让我们来看看 Aycock 所说的四个阶段（引用时有所删节）：

扫描也称词法分析。将输入流分成一列记号。 解析也称语法分析。确保记号列表在语法上是有效的。 语义分析。遍历抽象语法树（abstract syntax treeAST）一次或多次收集信息并检查输入程序 makes sense。 生成代码。再次遍历 AST这个阶段可能用 C 或汇编直接解释程序或输出代码。

对每个阶段Spark 都提供了一个或多个抽象类以执行相应步骤还提供了一个少见的协议从而特化这些类。Spark 具体类并不象大多数继承模式中的类那样仅仅重新定义或添加特定的方法而是具有两种特性（一般的模式与各阶段和各种父模式都一样）。首先具体类所完成的大部分工作都在方法的文档字符串（docstring）中指定。第二个特殊的协议是描述模式的方法集将被赋予表明其角色的独特名称。父类反过来包含查找实例的功能以进行操作的内省（introspective）方法。我们在参看示例的时侯会更清楚地认识到这一点。

识别文本标记

我已经用几种其它的方法解决了这里的问题。我将一种我称之为“智能 ASCII”的格式用于各种目的。这种格式看起来很象为电子邮件和新闻组通信开发的那些协定。出于各种目的我将这种格式自动地转换为其它格式如 HTML、XML 和 LaTeX。我在这里还要再这样做一次。为了让您直观地理解我的意思我将在本文中使用下面这个简短的样本：

清单 2. 智能 ASCII 样本文本（p.txt）

代码如下:Text with *bold*, and -itals phrase-, and [module]–this
should be a good ‘practice run’.

除了样本文件中的内容还有另外一点内容是关于格式的但不是很多（尽管 的确有一些细微之处是关于标记与标点如何交互的）。