編者按：如果你曾負(fù)責(zé)過(guò)招聘，篩查簡(jiǎn)歷一定讓你又愛(ài)又恨，能看到一份層次鮮明重點(diǎn)突出的簡(jiǎn)歷簡(jiǎn)直是一股清流。面對(duì)格式多樣的簡(jiǎn)歷，如何能一眼看到重點(diǎn)呢？作者Yogesh H. Kulkarni就設(shè)計(jì)了一款能挖掘簡(jiǎn)歷中重要信息文本的框架RegEx。以下是論智的編譯。

摘要

本文展示了一種用于從文本簡(jiǎn)歷中挖掘相關(guān)信息的框架。雖然這里只有一份簡(jiǎn)歷作為案例，但是今后，框架不僅可以進(jìn)一步擴(kuò)展到不同簡(jiǎn)歷格式上，還可以用到例如決策、合同、藥物說(shuō)明書(shū)等文本上。

介紹

世界上大多數(shù)非結(jié)構(gòu)化的數(shù)據(jù)都在文本形式中。為了理解這一點(diǎn)，我們要么花費(fèi)大量精力處理它，要么你運(yùn)用一些自動(dòng)手段提取出有用信息。面對(duì)大量、風(fēng)格各異的文本數(shù)據(jù)，還是需要用文本挖掘技術(shù)提取相關(guān)信息，將結(jié)構(gòu)混亂的數(shù)據(jù)轉(zhuǎn)化成結(jié)構(gòu)清晰的形式，之后才能進(jìn)一步進(jìn)行處理、分析、可視化。

這篇文章的關(guān)注重點(diǎn)比較特殊，是候選人的個(gè)人檔案或簡(jiǎn)歷。我們都知道，HR收到的簡(jiǎn)歷通常有各種格式的（txt、doc、pdf等等），而且內(nèi)容和版面設(shè)計(jì)也是五花八門(mén)，想從這些文件中篩選出自己認(rèn)為有用的信息是一項(xiàng)非常有挑戰(zhàn)性的工作。即使如此，我們可能還不能完全提取出有用的信息，因?yàn)楦袷綄?shí)在是多種多樣，所以我們可以先從簡(jiǎn)單的步驟開(kāi)始，至少?gòu)奈覀円阎男问街刑崛〕鲇行畔ⅰ?/p>

簡(jiǎn)單地說(shuō)，這里有兩種方法：基于語(yǔ)言學(xué)的方法和基于機(jī)器學(xué)習(xí)的方法。在語(yǔ)言學(xué)的方法中，為了尋找關(guān)鍵信息用的是模式搜索的方法，而在機(jī)器學(xué)習(xí)中，提取信息時(shí)用到的是監(jiān)督或非監(jiān)督的方法。在這篇文章中用到的RegEx術(shù)語(yǔ)基于語(yǔ)言學(xué)的模式匹配方法。

框架

想從簡(jiǎn)歷中提取目標(biāo)對(duì)象的一種簡(jiǎn)單方法就是在編碼程序中，為每個(gè)對(duì)象寫(xiě)一個(gè)模式匹配的邏輯。如果模式有任何改變，或者如果有新的對(duì)象或模式出現(xiàn)，你需要改變編碼程序。這使得框架的維護(hù)變得非常麻煩，復(fù)雜程度不斷提高。為了解決這個(gè)問(wèn)題，我們的框架提出了分離邏輯分析和目標(biāo)種類(lèi)的方法，下面會(huì)詳細(xì)進(jìn)行講解。目標(biāo)對(duì)象和它們的RegEx模式在配置文件中都有詳細(xì)的記錄，文件同時(shí)還記錄了為每種對(duì)象提取方法的類(lèi)別。這種分離方法的優(yōu)點(diǎn)是，它不僅可以重復(fù)使用，保持穩(wěn)定，而且還可以用到其他領(lǐng)域，例如合同文件、法律文件或者醫(yī)療報(bào)告等等。

元素查找

配置文件指定了需要被提取的對(duì)象以及它們的模式和提取方法。它同樣指定了需要尋找目標(biāo)所在的區(qū)域。具體代碼如下：

上述代碼表述了例如姓名、電話、電子郵件等要素的元數(shù)據(jù)，用來(lái)提取它們的方法是“univalue_extractor”。這些要素所在的區(qū)域用“”表示，這是一個(gè)未經(jīng)標(biāo)記的區(qū)域，可以指簡(jiǎn)歷最開(kāi)頭的那幾行。類(lèi)似電子郵件或電話號(hào)碼的要素可能會(huì)有多種表達(dá)方式，如果第一種方法識(shí)別失敗，會(huì)自動(dòng)啟動(dòng)第二種方法。

姓名：通常簡(jiǎn)歷的第一行會(huì)寫(xiě)姓名，有可能會(huì)帶有“姓名”兩個(gè)字作為開(kāi)頭。

電子郵件：通常是一個(gè)單詞（其中可能會(huì)夾雜一個(gè)點(diǎn)），然后出現(xiàn)“@”，之后又是英文字母、標(biāo)點(diǎn)、字母。

電話：國(guó)際區(qū)號(hào)省略，之后是3-3-4的數(shù)字模式，前三個(gè)數(shù)字也有可能省略（固定電話）。

Python的’etree’ ElementTree庫(kù)用來(lái)在內(nèi)部詞典中分析config xml。

分析器讀取技術(shù)參數(shù)的詞典，并用它來(lái)尋找文本簡(jiǎn)歷中的元素。

一旦找到匹配的元素，它就會(huì)以節(jié)點(diǎn)標(biāo)示的形式存儲(chǔ)起來(lái)，例如電子郵件、電話等等。

像上述元數(shù)據(jù)一樣，教育資質(zhì)可以按以下步驟搜索：

利用分析器的“section_value_extractor”，在“EducationSection”區(qū)域中進(jìn)行分析，通過(guò)匹配文字找到區(qū)域內(nèi)的價(jià)值。

san如果分析器找到任何含有“10th”、“X”、“SSC”的文字，它就會(huì)提取出描述中學(xué)的相關(guān)信息。

如果分析器找到任何含有“12th”、“XII”、“HSC”字樣的文本，它會(huì)提取出代表高中學(xué)歷的關(guān)鍵信息。

分割

上面的代碼表示標(biāo)有“總體部分”或“教育部分”的文本。這些通常都在配置文件的頂部。

“section_extractor”方法一行一行地分析文件，并尋找文本的小標(biāo)題。

通過(guò)標(biāo)題的關(guān)鍵詞可以了解每一段的主要內(nèi)容。例如“總結(jié)部分”可能會(huì)含有“總結(jié)”、“目標(biāo)”等詞語(yǔ)。

一旦匹配，“總結(jié)部分”就確定了下來(lái)，之后會(huì)進(jìn)行下一部分的分析。

新的標(biāo)題匹配后，系統(tǒng)會(huì)自動(dòng)開(kāi)始下一部分的匹配。

結(jié)果

分析出的一份簡(jiǎn)歷如下：

具體的操作步驟可見(jiàn)GitHub：github.com/yogeshhk/MiningResume

結(jié)語(yǔ)

這篇文章展示了從非結(jié)構(gòu)化數(shù)據(jù)（如簡(jiǎn)歷）中挖掘結(jié)構(gòu)化信息的過(guò)程，由于只有一個(gè)案例展示，因此它可能不適用于其他格式。今后我們會(huì)對(duì)此改進(jìn)，使其適合其他簡(jiǎn)歷類(lèi)型，甚至其他領(lǐng)域的文檔。