的tokenizedDocument函数具有内置规则，仅适用于英语、日语、德语和韩语。对于英语和德语文本，是unicode的标记的方法tokenizedDocument使用基于Unicode的规则检测标记^®标准附件# 29［1］还有重症监护室的标记器［2］，以便更好地检测复杂的标记，如标签和url。对于日文和韩文文本“mecab”标记化方法使用基于MeCab标记器的规则检测标记［3］．

对于其他语言，您仍然可以尝试使用tokenizedDocument．如果tokenizedDocument不会产生有用的结果，然后尝试手动标记文本。创建一个tokenizedDocument数组中手动标记的文本，设置“TokenizeMethod”选项“没有”．

有关更多信息，请参见tokenizedDocument．

的stopWords和removeStopWords函数只支持英语、日语万博1manbetx、德语和韩语的停止词。

要从其他语言中去掉停顿词，请使用removeWords并指定你自己要删除的停止词。

的addSentenceDetails函数根据标点符号和行号信息检测句子边界。对于英语和德语文本，函数还使用传递给函数的缩写列表。

对于其他语言，您可能需要指定自己的缩写列表以进行句子检测。要做到这一点，使用“缩写”选择addSentenceDetails．

有关更多信息，请参见addSentenceDetails．

对于字符串输入，wordcloud和wordCloudCounts函数使用英语、日语、德语和韩语标记化、停止单词删除和单词规范化。

对于其他语言，您可能需要手动预处理您的文本数据，并指定唯一的单词和相应的大小wordcloud．

在。中指定字的大小wordcloud，将数据输入为包含唯一单词和相应大小的表或数组。

有关更多信息，请参见wordcloud．

文件输入到trainWordEmbedding函数要求用空格分隔的单词。

对于包含非英语文本的文件，您可能需要输入tokenizedDocument数组来trainWordEmbedding．

创建一个tokenizedDocument数组，使用tokenizedDocument函数，并设置“TokenizeMethod”选项“没有”．

有关更多信息，请参见trainWordEmbedding．

的rakeKeywords函数只支持英语、日万博1manbetx语、德语和韩语文本。

的rakeKeywords函数使用基于分隔符的方法提取关键字，以识别候选关键字。在默认情况下，该函数使用标点字符和由stopWords以输入文档的语言细节作为分隔符。

属性指定适当的分隔符集“分隔符”和“MergingDelimiters”选项。

有关更多信息，请参见rakeKeywords．

的textrankKeywords函数只支持英语、日万博1manbetx语、德语和韩语文本。

的textrankKeywords函数通过基于词性标签识别候选关键字来提取关键字。该函数使用的词性标签addPartOfSpeechDetails这个函数只支持英语、日语、德语万博1manbetx和韩语文本。

对于其他语言，请尝试使用rakeKeywords属性指定一组适当的分隔符“分隔符”和“MergingDelimiters”选项。

有关更多信息，请参见textrankKeywords．