我們如何使用人工神經網絡查找相似的文檔？

Question

我們如何使用ANN查找一些相似的文檔？ 我知道這是一個愚蠢的問題，但是我是NLP領域的新手。 我使用kNN和詞袋方法制作了一個模型來解決我的問題。 使用它，我可以獲得n個與輸入內容有些相似的文檔（以及它們的緊密程度），但是現在我想使用ANN來實現相同的功能，但我一無所知。

在此先感謝您的幫助或建議。

Answer 1

您可以使用“單詞嵌入”技術，以密集的矢量表示形式呈現單詞。 要查找與矢量相似的文檔，您可以簡單地使用余弦相似度 。

如何使用TensorFlow構建word2vec模型的示例。 另一個示例是如何使用Keras的嵌入層 。

Answer 2

獲取語​​言嵌入的方法是在您選擇的語料庫上對其進行訓練 （足夠大，例如Wikipedia），或者下載經過訓練的嵌入（對於python，有許多經過培訓的或可通過gensim模塊加載的嵌入源-這是一個實際上是Python word2vec的標准）。

您也可以使用GloVe （使用Gloves glove-python ）或FastText詞嵌入。

如果您有興趣，可以找到帶有代碼示例和源論文的嵌入的詳細說明 。

Answer 3

看看https://arxiv.org/pdf/1805.10685.pdf可以為您提供總體思路的論文。 檢查此鏈接以獲取更多參考https://github.com/Hironsan/awesome-embedding-models