手把手教你从有限的数据样本中发掘价值（附代码）

中国企业数据治理联盟（www.chinaedg.com/）

进入》主数据管理    企业数据治理   信息资源规划   数据安全管理

本文是系列文章中的一篇，作者对滑铁卢地区的Freedom of Information Requests数据集进行探索分析，展示了在实践中拿到一批数据时(尤其像本文中的情况，数据很稀缺时)，该如何一步步进行分析从而得到一些见解。作者的同事也对该数据集使用其他方法进行了分析，建议对NLP感兴趣的读者也一并阅读，将大有裨益

最近我碰到了滑铁卢地区的Open Data项目，连同它的Freedom of Information Requests数据集。我的同事Scott Jones已经在一系列文章中使用机器学习(ML)技术对其进行了分析。由于数据不足，ML表现不佳。虽然Scott做了在这种情况下应该做的事情，即寻找更多数据。尽管数据很稀缺，但我仍然很好奇这些数据还能告诉我什么。毕竟数据总是有价值的。

在进入这段8分钟的阅读旅程之前，我想说你可以在Github上找到Jupyter notebook里的所有代码和对这些数据的更多见解，由于内容太多，文章里无法一一介绍。如果你不想阅读notebook，可以在下面链接的相关文件中找到全部图形结果。

Github相关链接：https://github.com/brodriguezmilla/foir

相关文件：https://github.com/brodriguezmilla/foir/blob/master/foir_all_figures.pdf

接下来，我向你介绍其中几个分析的要点。

了解数据

我们使用pandas库来实现这一步，以下是Open Data中的文件之一：

1999年的Freedom of Information Requests文件样本 我们有18个文件，从1999年至2016年每年一个，总共有576个请求(Requests)，令人惊讶地是全部都有相同的六列。我们将只使用三个主要列，来源(Source)，请求摘要(Summary_of_Request)和决策(Decision)。

♦ Source。 这是发出请求的实体，即请求者。 通过查看多年来的信息，能够将其合并为“Business”，“Individual”，“Individual by Agent”，“Media”，“Business by Agent”和“Individual for dependant”。

♦ Summary_of_Request。 包含已由记录员编辑过的请求。

♦ Decision。合并后的类别包括：“All information disclosed”，“Information disclosed in part”，“No records exist”，“Request withdrawn”，“Partly non-existent”，“No information disclosed”，“Transferred”，“Abandoned”， “Correction refused”，“Correction granted”，“No additional records exist”。

这些列的相互之间关系如何?

描述性统计和探索性数据分析

在本节中，我们将重点关注Source和Decision列。稍后我们将使用一些NLP工具分析这些请求。以下是数据的分布：

大约60%的请求是“All information disclosed”或“Information disclosed in part”。 至少有七种类型的决策少于25个实例，其中一个最重要的决策是“No information disclosed”。 因此，我们不仅数据量有限，而且还存在不平衡的情况。 对于机器学习来说这都不太好。

通过另一种数据视图，即Source 与 Decision的透视表，我们看到大多数请求都是由“Business”，“Individual”和“Individual by Agent”发起的。

将每个来源的数字进行处理，使每一行加起来等于1，我们看到主要的三个来源表现良好，因为“All information disclosed”每个都超过30%，“Information disclosed in part”则增加了18%至34%，甚至更多。 两者相加在50%以上。此外，“Individual by Agent”的成功率高于“Individual”。几乎没有请求的“Media”表现不佳，只有10%的请求被决策为“All information disclosed”。

自然语言处理(NLP)

现在我们继续分析Summary_of_Requests列。为此，我们转投自然语言处理库，例如NLTK和spaCy，以及scikit-learn的帮助。

从广义上讲，在分析任何文本之前，需要做的步骤其实很少(参见Susan Li的帖子)：

https://towardsdatascience.com/topic-modelling-in-python-with-nltk-and-gensim-4ef03213cd21

对文本进行分词：将文本分解为单个特殊实体/单词，即token。
删除任何不需要的字符，比如回车换行和标点符号，像' - '，'...'，'“'等。
删除网址或将其替换为某个单词，例如“URL”。
删除网名或用某个单词替换“@”，例如“screen_name”。
删除单词的大小写。
删除少于等于n个字符的单词。在本例中，n = 3。
删除停用词，即某种语言中含义不大的词。这些词可能无助于对我们的文本进行分类。例如“a”，“the”，“and”等词。但并没有一个通用的停用词列表。
词形还原，它是将单词的变种形式归并在一起的过程，这样它们就可以作为单个词项进行分析，就可以通过单词的词目(lemma)或词典形式来识别。

因此，在编写了处理函数之后，我们可以对文本进行转换:

def prepare_text_tlc(the_text):

text = clean_text(the_text)

text = parse_text(text)

tokens = tokenize(text)

tokens = replace_urls(tokens)

tokens = replace_screen_names(tokens)

tokens = lemmatize_tokens(tokens)

tokens = remove_short_strings(tokens, 3)

tokens = remove_stop_words(tokens)

tokens = remove_symbols(tokens)

return tokens

由于我们会持续处理此文本，因此我们将预处理过的文本作为新列“Edited_Summary”添加到dataframe中。

N元语法(N-grams)和词云还能如何分析和可视化我们的文本呢?作为第一步，我们可以找到最常用的单词和短语，即我们可以获得一元语法(单个tokens)和 n元语法(n-tokens组)及它们在文本中的频率。

def display_top_grams(gram, gram_length, num_grams):
gram_counter = Counter(gram)
if gram_length is 1:
name = 'unigrams'
elif gram_length is 2:
name = 'bigrams'
elif gram_length is 3:
name = 'trigrams'
else:
name = str(gram_length) + '-grams'
print("No. of unique {0}: {1}".format(name, len(gram_counter)))
for grams in gram_counter.most_common(num_grams):
print(grams)
return None

所以对于我们的一元语法：

并使用WordCloud：

那为什么“remove”这个词如此突出?事实证明，出于隐私原因，原始请求中写入的所有姓名，日期和位置都已删除，并在Open Data的文件中被替换为“{location removed}”或“{date removed}”等短语。这种替换共有30多种变体。 使用正则表达式(regEx)来清理文本，我们得到了一个更好的词云。这一次，我们也加入了二元语法。

看一下上面的词云和三元语法： 

我们看到有一些常见的短语，例如“ontario works”，“environmental site”，“grand river transit”，“rabies control”，“public health inspection”和“food bear illness”(亦如'food borne illness ' – 还记得我们之前曾把tokens进行了词形还原)。 那么，这些短语在我们的文本中有多常见?包含这些短语的请求信息是否影响请求被批准的可能性?事实证明，46%的数据是那些类型的请求，这些短语没有一个得到“No information disclosed”的决策，并且有明显的趋势：

例如，“rabies control”约有95%披露了全部或部分信息，而5%被转移了。

对Summary_of_Request和Edited_Summary 列统计

我们已经知道现有数据量是有限的，但到底多有限呢?好吧，只有7个请求超过100个单词，而分词后只剩1个。平均每个请求有21个单词，而中位数为15，而分词后平均为9个单词，中位数为7。

词性(POS)标记

在这里，我们使用spaCy来识别该文本是如何由名词，动词，形容词等组成的。 我们还使用函数spacy.explain()来找出这些标记的含义。

full_text_nlp = nlp(full_text) # spaCy nlp()
tags = []
for token in full_text_nlp:
tags.append(token.tag_)
tags_df = pd.DataFrame(data=tags, columns=['Tags'])
print("Number of unique tag values:\
{0}".format(tags_df['Tags'].nunique()))
print("Total number of words: {0}".format(len(tags_df['Tags'])))
# Make a dataframe out of unique values
tags_value_counts = tags_df['Tags'].value_counts(dropna=True,
sort=True)
tags_value_counts_df = tags_value_counts.rename_axis(
'Unique_Values').reset_index(name='Counts')
# And normalizing the count values
tags_value_counts_df['Normalized_Count'] = tags_value_counts_df['Counts'] / len(tags_df['Tags'])
uv_decoded = []
for val in tags_value_counts_df['Unique_Values']:
uv_decoded.append(spacy.explain(val))
tags_value_counts_df['Decoded'] = uv_decoded
tags_value_counts_df.head(10)

同时将类别合并，例如“名词，单数或大量”和“名词，复数”，以形成更通用的版本，以下是这些请求的组成方式：

使用scikit-learn，Bokeh和t-SNE进行主题建模

在notebook中，我们使用不同的主题建模技术，包括scikit-learn的隐含狄利克雷分布(LDA)函数，潜在语义分析(LSA)，并且用 CountVectorizer()和TfidfVectorizer()做对比，gensim的LDA，使用t-SNE用于降维，Bokeh和pyLDAvis用于可视化。 我们不会在此处附上完整代码，所以鼓励你去亲自查看完整的notebook。鉴于我们数据的局限性，所有工具都还表现得不错。下图是一个亮点：

几乎所有最常见的短语都在主题中出现了。正如预期的那样，一些主题是明确的，例如“ontario works”或“environmental site”，而其他聚类则不然。

机器学习

我们已经知道机器学习效果不会很好，但鉴于这是一个学习练习，我们仍然要试一下。在notebook中，我们比较了三种不同情况下的八种不同机器学习模型。我们无法按原样比较完整数据，因为某些情况只有极少数实例。例如，只有一个请求被“Correction granted”，因此当我们训练模型时，该情况将要么在训练集中，要么在测试集中。只有一个案例并不能提供一个良好的基础。我们的选择很少：

我们可以删除少于15个实例的请求，称之为“Over-15”。

我们将全部决议分成三个基本类别：

All information disclosed(加上“Correction granted”。)

Information disclosed in part(加上“Partly non-existent”。)

No information disclosed(加上' Transferred'，' No records exist'，' Correction refused'，' No additional records exist'，' Withdrawn'和' Abandoned'。)这会使我们的数据集更平衡。

我们可以删掉少于15个实例的请求，并且删掉没有实际结果的决策，即撤回或抛弃的情况，称之为“Independent”。

以下是结果：

总体而言，逻辑回归和多项式朴素贝叶斯分类器结合tf-idf给出了更好的结果。 对我们的类别进行分箱(binning)似乎是最合乎逻辑的方法。

可以在以下Github链接中找到代码和完整的结果：

Github链接：

https://github.com/brodriguezmilla/foi

原文标题：

When Data is Scarce… Ways to Extract Valuable Insights

原文链接：

https://towardsdatascience.com/when-data-is-scarce-ways-to-extract-valuable-insights-f73eca652009

编辑：hely  来源：网络大数据