0
雷鋒網(wǎng) AI 科技評論按，近日，斯坦福大學發(fā)布了一款用于 NLP 的 Python 官方庫，這個庫可以適用于多種語言，其地址是：https://stanfordnlp.github.io/stanfordnlp/，github 資源如下：
這是 Stanford 官方發(fā)布的 NLP 庫，詳細信息請訪問：https://stanfordnlp.github.io/stanfordnlp/
說明
如果在研究中使用了他們的神經(jīng)管道，可以參考他們的 CoNLL 2018 共享任務系統(tǒng)描述文件：
@inproceedings{qi2018universal,
address = {Brussels, Belgium},
author = {Qi, Peng and Dozat, Timothy and Zhang, Yuhao and Manning, Christopher D.},
booktitle = {Proceedings of the {CoNLL} 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies},
month = {October},
pages = {160--170},
publisher = {Association for Computational Linguistics},
title = {Universal Dependency Parsing from Scratch},
url = {https://nlp.stanford.edu/pubs/qi2018universal.pdf},
year = {2018}
}
但是，這個版本和 Stanford 大學的 CoNLL 2018 共享任務系統(tǒng)不一樣。在這里，標記解析器、詞性還原器、形態(tài)學特性和多詞術語系統(tǒng)是共享任務代碼系統(tǒng)的一個簡潔版本，但是作為對比，還使用了 Tim Dozat 的 Tensorflow 版本的標記器和解析器。PyTorch 中大體上對這個版本的代碼進行了復制，盡管與原始版本有一些不同。雷鋒網(wǎng)
啟動
StanfordNLP 支持 Python3.6 及其以上版本。最好的辦法是從 PyPI 安裝 StanfordNLP，如果已經(jīng)安裝了 pip，那么只需要運行：
pip install stanfordnlp
這也有助于解決 StanfordNLP 的所有依賴，例如對 PyTorch 1.0.0 或者更高版本的依賴。
還有一個辦法，是從 github 存儲庫的源代碼安裝，這可以使基于 StanfordNLP 的開發(fā)和模型訓練具有更大的靈活性。雷鋒網(wǎng)
git clone git@github.com:stanfordnlp/stanfordnlp.git
cd stanfordnlp
pip install -e .
運行 StanfordNLP
從神經(jīng)管道開始
要運行第一個 StanfordNLP 管道，只需在 python 交互式解釋器中執(zhí)行以下步驟：
>>> import stanfordnlp
>>> stanfordnlp.download('en') # This downloads the English models for the neural pipeline
>>> nlp = stanfordnlp.Pipeline() # This sets up a default neural pipeline in English
>>> doc = nlp("Barack Obama was born in Hawaii. He was elected president in 2008.")
>>> doc.sentences[0].print_dependencies()
最后一個命令將打印輸入字符串（或文檔，如 StanfordNLP 所示）中第一個句子中的單詞，以及該句子中單詞的索引，以及單詞之間的依賴關系。輸出應如下所示：
('Barack', '4', 'nsubj:pass')
('Obama', '1', 'flat')
('was', '4', 'aux:pass')
('born', '0', 'root')
('in', '6', 'case')
('Hawaii', '4', 'obl')
('.', '4', 'punct')
訪問 Java Stanford CoreNLP 服務器
除了神經(jīng)管道之外，這個項目還包括一個用 Python 代碼訪問 Java Stanford CaleNLP 服務器的官方類。
有幾個初始設置步驟：
下載 Stanford CoreNLP 和需要使用的語言的模型；
將模型原型放在分發(fā)文件夾中；
告訴 python 代碼 Stanford CoreNLP 的位置：export corenlp_home=/path/to/stanford-corenlp-full-2018-10-05
我們提供了另一個演示腳本，演示如何使用 corenlp 客戶機并從中提取各種注釋。
神經(jīng)管道訓練模型
目前，CoNLL 2018 共享任務中的所有 treebanks 模型都是公開的，下載和使用這些模型的說明：https://stanfordnlp.github.io/stanfordnlp/installation_download.html#models-for-human-languages
訓練你自己的神經(jīng)管道
這個庫中的所有神經(jīng)模塊都可以使用自己的 CoNLL-U 格式數(shù)據(jù)進行訓練。目前，并不支持通過管道接口進行模型訓練。因此，如果要訓練你自己的模型，你需要克隆這個 git 存儲庫并從源代碼進行設置。
via：https://github.com/stanfordnlp/stanfordnlp
雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
