象征化

这令人畏缩的鳕文功能自动检测韩语输入。或者，设置'语'选项令人畏缩的鳕文至'ko'。此选项指定令牌的语言详细信息。要查看令牌的语言详细信息，请使用令敬当。这些语言详细信息决定了行为Removestopwords.那addpartofspeechdetails.那正常化字那AddsentEnCentails.， 和添加性达尔令牌上的功能。

要为令牌化指定其他MECAB选项，请创建一个mechaboptions.目的。要使用指定的MECAB标记选项授权，请使用'tokenizemethod'选择令人畏缩的鳕文。

讲话细节的一部分

这令敬当默认情况下，函数包含令牌详细信息的致辞详细信息的一部分。

命名实体认可

这令敬当默认情况下，函数包含令牌详细信息的实体详细信息。

停止单词

根据令牌语言详细信息，从文档中删除停止单词，使用Removestopwords.。对于韩语止损单的列表设置'语'选项秒表至'ko'。

lemmatization.

根据令牌语言细节释放令牌，使用正常化字并设置了'风格'选择'引理'。

语言无关功能