停用词列表
如“一”,“和”,单词“到”,和“该”(称为停止词)可以噪声添加到数据。使用停用词列表来帮助创建的话自定义列表分析前去除。
若要使用文档的语言细节从标记化文档中删除默认的停止词列表,请使用removeStopWords
。若要从已标记的文档中删除自定义单词列表,请使用removeWords
。
该函数返回英语,日语,德语,韩语停用词列表。
bagOfNgrams
|bagOfWords
|normalizeWords
|removeLongWords
|removeShortWords
|removeStopWords
|removeWords
|tokenizedDocument