自然語言處理
自然語言處理(NLP)是指使用諸如英語之類的自然語言與智能系統進行通信的AI方法。
如果您希望智能系統(如機器人)按照您的指示執行操作，希望聽取基於對話的臨牀專家系統的決策時，則需要處理自然語言。
NLP領域涉及使計算機用人類使用的自然語言執行有用的任務。 NLP系統的輸入和輸出可以是 -
- 言語(說話)
- 書面文字
NLP的組成部分
在本節中，我們將瞭解NLP的不同組件。 NLP有兩個組件。 這些組件如下所述 -
1. 自然語言理解(NLU)
它涉及以下任務 -
- 將給定的自然語言輸入映射爲有用的表示。
- 分析語言的不同方面。
2. 自然語言生成(NLG)
它是從一些內部表現形式以自然語言的形式產生有意義的短語和句子的過程。 它涉及 -
- 文字規劃 - 這包括從知識庫中檢索相關內容。
- 句子規劃 - 這包括選擇所需的單詞，形成有意義的短語，設定句子的語氣。
- 文本實現 - 這是將句子計劃映射到句子結構。
NLU的難點
NLU的形式和結構非常豐富， 然而，它是不明確的。 可能會有不同程度的模糊性 -
詞彙含糊不清
它處於一個非常原始的層面，如單詞級別。 例如，將單詞「board」視爲名詞或動詞？
語法級別歧義
一個句子可以用不同的方式解析。 例如，「他用紅色帽子舉起甲蟲。」 - 他用帽子舉起甲蟲，還是舉起了一頂帶有紅色帽子的甲蟲？
參照歧義
參考使用代詞的東西。 例如，裏馬去了高裏。 她說，「我累了。」 - 究竟是誰累？
NLP術語
現在讓我們看看NLP術語中的一些重要術語。
- 音韻 - 這是系統地組織聲音的研究。
- 形態 - 這是建設從原始的有意義的單位的話的研究。
- 語素 - 它是語言中意義的原始單位。
- 語法 - 它是指安排單詞來表達一個句子。 它還涉及確定單詞在句子和短語中的結構作用。
- 語義 - 它涉及單詞的含義以及如何將單詞組合成有意義的短語和句子。
- 語用學 - 它處理在不同情況下使用和理解句子以及句子的解釋如何受到影響。
- 話語 - 它處理前面的句子如何影響下一句話的解釋。
- 世界知識 - 它包括關於世界的一般知識。
NLP步驟
本節介紹NLP中的分析步驟。
詞彙分析
它涉及識別和分析單詞的結構。 語言的詞彙表示語言中的單詞和短語的集合。 詞法分析將整個txt塊分成段落，句子和單詞。
句法分析(解析)
它涉及分析句子中的單詞，語法和安排單詞的方式，以顯示單詞之間的關係。「The school goes to boy」等句子被英語句法分析器拒絕。
語義分析
它從文本中提取確切含義或字典含義。 文本被檢查是否有意義。 它通過映射任務域中的語法結構和對象來完成。語義分析器忽視諸如「熱冰淇淋」之類的句子。
話語整合
任何句子的含義都取決於在它之前的句子的含義。 此外，它也帶來了緊接着的後續句子的含義。
語用分析
在此期間，所說的重新解釋了它的實際意義。 它涉及推導需要真實世界知識的語言方面。