鑽石舞台

本文將構建和訓練基本的字符級RNN（遞歸神經網絡）來對單詞進行分類。展示如何「從頭開始」進行NLP（自然語言處理）建模的預處理數據，尤其是不使用眾多NLP工具庫提供的許多便利功能，因此讀者可以從系統層面角度了解NLP建模的預處理工作。

字符級RNN將單詞作為一系列字符讀取，之後在每個步驟輸出一個預測結果和「Hidden State」，將其先前的Hidden State輸入每個下一步。這裡將最終的預測作為輸出，即單詞屬於哪個類別。

具體來說，這裡將訓練來自18種起源於不同語言的數千種姓氏，並根據拼寫方式預測名稱的來源，樣例如下。

數據下載超鏈接：https://download.pytorch.org/tutorial/data.zip。

解壓縮上述數據得到18個txt文件，將它們放置在data/names目錄下。下面提供一段代碼做預處理。

上述代碼輸出如下。

現在已經整理好了所有數據集中的名字，這裡需要將它們轉換為張量以使用它們。為了表示單個字母，這裡使用大小為<1×n_letters>的「one-hot」向量。一個one-hot向量用0填充，但當前字母的索引處的數字為1，例如 「 b」=<0 1 0 0 0 …>。為了用這些向量組成一個單詞，這裡將其中的一些連接成2維矩陣<line_length × 1 × n_letters>。

可以觀察到數據的維度是<line_length×1×n_letters>，而不是<line_length×n_letters>，是因為額外的1維是因為PyTorch假設所有內容都是批量的——在這裡只使用1的batchsize。

代碼如下。

輸出如下。

在PyTorch中構建遞歸神經網絡（RNN）涉及在多個時間步長上克隆多個RNN層的參數。RNN層保留了Hidden State和梯度，這些狀態完全由PyTorch的計算圖來自動完成維護。這意味着讀者可以以非常「純粹」的方式實現RNN，即只關心前饋網絡（Feed-forward Network）而不需要關注反向傳播（Back Propagation）。

下面樣例中的RNN模塊只有兩個線性層，它接受一個輸入和一個Hidden State，之後網絡輸出結果需要經過一個LogSoftmax層。RNN模型如圖11.1所示。

RNN代碼定義如下。