雙字母組
一些英語單詞更頻繁地出現在一起。 例如 - 天空高,做或死,最佳表現,大雨等。因此,在文本文檔中,我們可能需要識別這樣的一對詞,這將有助於情緒分析。 首先,我們需要從現有句子生成這樣的單詞對來維持它們的當前序列。 這種對稱爲雙字母。 Python有一個bigram
函數,它是NLTK
庫的一部分,它可以幫助我們生成這些對。
示例
import nltk
word_data = "The best performance can bring in sky high success."
nltk_tokens = nltk.word_tokenize(word_data)
print(list(nltk.bigrams(nltk_tokens)))
當運行上面的程序時,我們得到以下輸出 -
[('The', 'best'), ('best', 'performance'), ('performance', 'can'), ('can', 'bring'),
('bring', 'in'), ('in', 'sky'), ('sky', 'high'), ('high', 'success'), ('success', '.')]
該結果可用於給定文本中此類對的頻率的統計結果。 這將與文本正文中描述的一般情緒相關聯。