文本分析工具箱
分析和模型文本数据
Text Analytics Toolbox™为文本数据的预处理、分析和建模提供了算法和可视化。使用工具箱创建的模型可用于情感分析、预测维护和主题建模等应用程序。
文本分析工具箱包括用于处理来自设备日志、新闻源、调查、运营商报告和社交媒体等来源的原始文本的工具。您可以从流行的文件格式中提取文本,预处理原始文本,提取单个单词,将文本转换为数字表示,并构建统计模型。
使用机器学习技术,如LSA,LDA和Word Embeddings,您可以找到来自高维文本数据集的群集并创建功能。使用Text Analytics Toolbox创建的功能可以与其他数据源的功能组合,以构建机器学习模型,以利用文本,数字和其他类型的数据。
开始:
提取文本数据
导入文本数据到MATLAB®从单个文件或大型文件集合,包括PDF、HTML和Microsoft®单词®和Excel®文件。
语言支持万博1manbetx
Text Analytics Toolbox为英语,日语,德语和韩语提供了语言特定的预处理功能。大多数函数也使用其他语言的文本。
清洁文本数据
应用高级过滤功能以删除无关内容,例如URL,HTML标记和标点,以及正确的拼写。
过滤器停止单词并将单词标准化为根形式
在分析中,通过过滤常见单词、出现频率过高或过低的单词、太长或太短的单词,对有意义的文本数据进行优先级排序。减少词汇量,将注意力集中在文档的更广泛的意义或情感上,方法是将单词词根化或词根化到字典形式。
单词嵌入和编码
训练词嵌入模型,如word2vec连续词袋(CBOW)和跳跃图模型。导入预先训练的模型,包括fastText和GloVe。
主题建模
使用机器学习算法(如潜在的Dirichlet分配(LDA)和潜在语义分析(LSA))在大型文本数据中发现和可视化底层模式,趋势和复杂关系。
文档摘要和关键字提取
自动从一个或多个文档中提取摘要和相关关键字,并评估文档的相似性和重要性。
变压器模型
利用伯特和GPT-2等变压器模型,以便与文本数据进行转移学习,以进行情绪分析,分类和摘要。