主要内容

分析德语文本数据

这个示例展示了如何使用主题模型导入、准备和分析德语文本数据。

德语文本数据可能很大,可以包含大量对统计分析产生负面影响的噪声。例如,文本数据可以包含以下内容:

  • 词形的变化。例如,“腐烂,“死记硬背,以及“死记硬背”

  • 添加噪音的词。例如,停止像“der”这样的词, “死,“达斯

  • 标点符号和特殊字符。

这些词云说明了应用于一些原始文本数据和相同文本数据的预处理版本的词频分析。

此示例首先显示了如何导入和准备德语文本数据,然后显示如何使用潜在的Dirichlet分配(LDA)模型来分析文本数据。LDA模型是一个主题模型,该主题模型发现文档集合中的底层主题,并在主题中的单词概率中发现。使用以下步骤准备文本数据并拟合模型:

  • 从CSV文件导入文本数据并提取相关数据。

  • 使用标准预处理技术准备用于分析的文本数据。

  • 适合主题模型并可视化结果。

导入数据

下载数据vorhaben.csv.https://opendata.bonn.de/dataset/vorhabenliste-b%C3%BCrgerbeteiligungen-planungen-und-projekte.该文件可以随时间而更改,因此示例中的结果可能会有所不同。

使用侦探要确定CSV文件的格式并将文本类型设置为字符串。设定'编码'选择'ISO-8859-15'.读取数据使用可阅读函数并查看前几行。

filename =.“vorhaben.csv”;选择= detectImportOptions(文件名,“TextType”'细绳''编码''ISO-8859-15');data = readtable(文件名,选择);头(数据)
ans =.8×19桌子Titel的住址AktuellerBearbeitungsstand Ansprechpartnerin_Ansprechpartner ArtDerB_rgerbeteiligung BeschreibungDesVerfahrensBzw_Begr_ndung_WennKeineB_rgerb InhaltlicheBeschreibungUndZielsetzung Kategorie KostenB_rgerbeteiligung_soweitBezifferbar_ KostenDesGesamtvorhabens LetzterPolitischerBeschlussZumVorhaben_Projekt N_chsteSchritte_geplanterZeitpunktDerUmsetzung纬度经度Schwerpunktm__igBetroffeneThemen斯塔德贝吉尔克VoraussichtlicheBearbeitungsdauer Vorhabennummer WeitereInformationen _________________________________________________________________________________________________________________ ___________________________________________________________________ ____________________________________________________________________________________________________________________________________________________________________________________________________ _______________________________________________________________________________________________________________________________________________________________________________________________________________________________ ________________________________________ __________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________ _________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________ _________ _______________________________________________________________________________ __________________________________________________________________________________________________________________________________________________________________________________________________________________________ ___________________________________________________________________________________________ __________________________________________________________________________________________________________ ________ ________ ________________________________ _______________________ _________________________________ ______________ ______________________________“Bauleitplanverfahren楚Aufstellung DESvorhabenbezogenen↵BebauungsplansNR。6620-1?Bundeskanzlerplatz?↵“”Bundeskanzlerplatz 2-10,53113 Bonn“”Die Offenlage Hat Stattgefunden。Die Politische Beratung und der Satzungsbeschlussessesessesesesesesesessesesesessesessesessesesesesesesesesessesessesesesesesesesesessesessesesesesesesessesesessesesesessesesesesessesesesesessesesesessesesesesesessesesesesesesesesesesesessessesesesesesesesessesessesesseses sinderfolgt。DSN:1810045↵“”人力资源“。Koch,Tel。0228-77 2205,AMT 61-4,↵电子邮件:Rainer.koch@bonn.de↵“Der Bebauungsplanentwurf Wird Mit derBegründungundenvorliegendenUmweltbezogenen Stellungnahmen undGutachtenfüriedaule欧茨·欧斯·欧森特平行的Hierzu Werden Die Planunterlagen IM Internet Zur Einsichtnahme Bereitellt。Ort und dauer der Auslegung Sowie Angaben Dazu,Welche Arten Umweltbezogener InformentenVerfügbarSind,Werden Mindestens Eine Woche VorherOrtsüblichBekannTgemacht。Die Abgegebenen Stellungnahmen Werden Durch Die VerwaltungGeprutüftund DenZuständigenPolitischenGreien Mit EinemAbwägungsvorschlagder Verwaltung Zur Beratung und Beschlussfassung Vorgelegt。Das Ergebnis Wird Den Verfassern / Verfasserinnen Der StellungnahmenMitgeteilt.↵“”FürdasGebietzwischenReuterstraße,Bundeskanzlerplatz,Willy-Brandt-Allee,Eduard-Pflüger-StraßeDtraßburgerWegIst der Bebauungsplan NR。 6620-1 aufzustellen, mit dem Ziel, nach Abriss des Bonn-Centers ein Gebäudeensemble aus einem Bürohochhaus mit maximal 28 Geschossen und zwei weiteren 6 ? 7 geschossigen Bürogebäuden zu realisieren.↵" "" "Nur interne Kosten↵" "-↵" "Bezirksvertretung Bonn 21.04.2015 Drucksachennummer 1511116EB6↵" "-↵" 50.719 7.1169 "" "Bonn" "Beendet↵" 1.612e+06 "-↵" "Bauleitplanverfahren zur Aufstellung des vorhabenbezogenen↵Bebauungsplans Nr. 6522-1 "Didinkirica"" "Graurheindorfer Straße 2-16, 53117 Bonn" "Vorhaben beendet↵" "Hr. Koch, Tel. 0228-77 2205,↵Amt 61-4↵E-Mail: rainer.koch@bonn.de↵" "standardisiertes Beteiligungsverfahren" "Der Bebauungsplanentwurf wird mit der Begründung und den vorliegenden umweltbezogenen Stellungnahmen und Gutachten für die Dauer eines Monats öffentlich ausgelegt. Parallel hierzu werden die Planunterlagen im Internet zur Einsichtnahme bereitgestellt. Ort und Dauer der Auslegung sowie Angaben dazu, welche Arten umweltbezogener Informationen verfügbar sind, werden mindestens eine Woche vorher ortsüblich bekanntgemacht. Die abgegebenen Stellungnahmen werden durch die Verwaltung geprüft und den zuständigen politischen Gremien mit einem Abwägungsvorschlag der Verwaltung zur Beratung und Beschlussfassung vorgelegt. Das Ergebnis wird den Verfassern/Verfasserinnen der Stellungnahmen mitgeteilt.↵" "Für den vorhabenbezogenen Bebauungsplan Nr. 6522-1 ?Didinkirica? der Bundesstadt Bonn, Stadtbezirk Bonn, Ortsteil Bonn-Castell, an der Graurheindorfer Straße 2-16 und der Straße Rosental ist ein Bebauungsplan aufzustellen mit der Zielsetzung, Wohnungsbau mit insgesamt rund 55 Wohneinheiten zu schaffen.↵" "" "nur interne Kosten↵" "-↵" "BV Bonn: 01.12.2015/Planungsausschuss 09.12.2015 Drucksachennummer 1513541 sowie 1711124↵" "-↵" 50.742 7.0973 "" "Bonn" "ca. 1 Jahr↵" 1.612e+06 "-↵" "Bauleitplanverfahren zur Aufstellung des Bebauungsplans↵Nr. 7621-56 ?Sebastianstraße?↵" "Sebastianstraße 180-182, 53115 Bonn" "Die Bekanntmachung des Bebauungsplanes gemäß § 10 BauGB ist im Amtsblatt Nr.25 der Bundesstadt Bonn, am 23.05.2018 erfolgt. Der Bebauungsplan ist somit in Kraft getreten.↵" "Hr. Koch, Tel. 0228-77 2205, Amt 61-4,↵ Email: rainer.koch@bonn.de↵" "standardisiertes Beteiligungsverfahren" "Der Bebauungsplanentwurf wird mit der Begründung und den vorliegenden umweltbezogenen Stellungnahmen und Gutachten für die Dauer eines Monats öffentlich ausgelegt. Parallel hierzu werden die Planunterlagen im Internet zur Einsichtnahme bereitgestellt. Ort und Dauer der Auslegung sowie Angaben dazu, welche Arten umweltbezogener Informationen verfügbar sind, werden mindestens eine Woche vorher ortsüblich bekanntgemacht. Die abgegebenen Stellungnahmen werden durch die Verwaltung geprüft und den zuständigen politischen Gremien mit einem Abwägungsvorschlag der Verwaltung zur Beratung und Beschlussfassung vorgelegt. Das Ergebnis wird den Verfassern/Verfasserinnen der Stellungnahmen mitgeteilt.↵" "Für das Gebiet zwischen Alfred-Bucherer-Straße, Sebastianstraße und dem Fußweg zwischen Röckumstraße und Endenicher Allee ist der Bebauungsplan Nr. 7621-56 aufzustellen, mit dem Ziel, das Grundstück für Wohnbauzwecke zu entwickeln unter besonderer Berücksichtigung altengerechter Wohnformen und Pflege.↵" "" "Nur interne Kosten↵" "-↵" "Bezirksvertretung Bonn 01.03.2016, Drucksachennummer 1610497B3↵" "-↵" 50.724 7.0779 "" "Bonn" "Beendet↵" 1.612e+06 "-↵" "EPICURO - European Partnership for Innovative Cities within and Urban Resilience Outlook" "" "Die einzelnen Aktivitäten des Projekts wurden in einem Abschlussbericht beschrieben. Dieser Abschlussbericht wurde veröffentlicht und ist u.a. auf der städtischen Website www.bonn.de aufrufbar.↵" "Referat Stadtförderung, Lutz Udally, Tel. 0228?77 4007,↵Email: lutz.udally@bonn.de, ↵Koordinierungsstelle Bürgerbeteiligung, Dirk Lahmann, Tel. 0228 -77 4974,↵Email: buergerbeteiligung@bonn.de↵" "komplexes Beteiligungsverfahren" "Lokale Akteure sowie aus dem Zufallspanel der Bürgerbeteiligung an der Themenstellung interessierte Bürgerinnen und Bürger wurden eingeladen, sich an der Konferenz zu beteiligen.↵" "In den vergangenen Jahren führte der Klimawandel zu einer Vielzahl von Folgen für die Umwelt, die Wirtschaft und die Menschen. Städte und Gemeinden sind aufgefordert sich diesen Folgen anzupassen und auf mögliche zukünftige Szenarios, bezogen auf den Klimawandel, vorzubereiten. Um diesen Anpassungsprozess zu fördern, unterstützt die EU Kommission Aktivitäten in den EU-Mitgliedsstaaten, um Europas ?Klima-Resilienz? zu stärken und die Kapazitäten, auf die Folgen des Klimawandels reagieren zu können, auszubauen. EPICURO bildet ein Netzwerk aus 11 europäischen Kommunen und öffentlichen Institutionen, das zwei Jahre lang gemeinsam an dem Ziel arbeitet, Strategien für die urbane Resilienz zu entwickeln und zu fördern. Dabei liegt ein besonderer Schwerpunkt auf der Einbindung von Bürgerinnen und Bürgern, die unmittelbar an den Projektaktivitäten teilnehmen.↵" "" "Nur interne Kosten↵" "Keine, da das Projekt durch EU-Fördermittel finanziert wird.↵" "-↵" "-↵" NaN NaN "" "Bonn, gesamtstädtisch" "Im März 2018 beendet.↵" 1.701e+06 "-↵" "Bauleitplanverfahren zur Aufstellung des Bebauungsplanes Nr. 6719-3 "Schwimmbad Wasserland"" "Christian-Miesen-Straße" "Der Bebauungsplan wurde im Zeitraum vom 19.07.2018 bis zum 20.08.2018 öffentlich ausgelegt.↵" "Fr. Müller, Tel. 0228-77 4473,↵ Amt 61-22 ,↵Email: bettina.mueller@bonn.de↵" "standardisiertes Beteiligungsverfahren" "Öffentlicher Aushang der Planung für zwei Wochen im Stadthaus und Durchführung einer Bürgerinformationsveranstaltung zum Vorhaben und der weiteren Verfahrensschritte vor Ort.↵" "Schaffung von Planungsrecht für den Bau eines neuen Familien-, Schul- und Sportschwimmbades auf den Flächen nördlich des Heizkraftwerkes in Bonn-Dottendorf.↵" "" "Vom Vorhabenträger zu tragen.↵" "Aktuell nicht bezifferbar↵" "Beschluss des Rates vom 22.09.2016 (DS-Nr. 1612541 EB5) sowie 1710085↵" "Das Vorhaben wird aufgrund des erfolgreichen Bürgerentscheids vom 04.08.2018 nicht durchgeführt.↵" 50.707 7.1217 "" "Bonn" "Bis Anfang 2018↵" 1.701e+06 "-↵" "Bürgerbeteiligung an der Konzepterstellung für den Neubau eines Schwimmbades in Bonn-Dottendorf" "Christian-Miesen-Straße" "In einem Bürgerbescheid haben sich die Bonnerinnen und Bonner gegen einen Neubau entschieden. Das Vorhaben ist damit abgeschlossen.↵" "Stadtwerke Bonn ? Energie und Wasser, Peter Weckenbrock, Tel. 0228-7111, Email: kontakt@unserneuesschwimmbad.de; ↵Koordinierungsstelle Bürgerbeteiligung Dirk Lahmann, Tel. 0228-77 4974,↵Email: buergerbeteiligung@bonn.de↵" "komplexes Beteiligungsverfahren" "Im Folgenden wird exemplarisch der Prozess des nächsten Schrittes ?Dialog Architektur? erläutert: Auf der Basis der Ergebnisse des Architekturwettbewerbs werden die Arbeiten in einem größeren Raum über längere Zeit (2-4 Wochen) öffentlich ausgestellt. Die Beteiligung erfolgt in Form eines Dialogs zwischen den planenden Architekten und der interessierten Öffentlichkeit. Diese wird über die Medien informiert und eingeladen. An dem Beteiligungstermin werden zunächst das Wettbewerbsverfahren sowie alle platzierten Planungen vorgestellt. Die Gründe für die Festlegung der Rangfolge der Arbeiten werden erläutert und die Planungen detailliert vorgestellt. Die Erörterung der Architektur wird in kleineren Gruppen fortgesetzt. Die Anregungen und Hinweise werden festgehalten und ausgewertet. Abschließend werden sie im Plenum unter Beteiligung des Architekten erörtert. Die Ergebnisse des Dialogs werden dem Planungsteam für die weitere Bearbeitung übergeben. Die Resultate des Dialogs sowie daraus folgende Anpassungen der Planung werden auf der Homepage veröffentlicht. Die weitere Ausgestaltung des Prozesses der Beteiligung wird im Laufe der Projektentwicklung schrittweise ausgearbeitet.↵" "Für die begleitende Bürgerbeteiligung bei der Konzepterstellung für das neue Schwimmbad soll es zu folgenden Themen eine Beteiligung geben: Dialog Architektur, Schule und Sportbad, Barrierefreiheit, Sauna / Wellness / Spa, Rutschen / Attraktionen, Erschließung sowie dem Betrieb. Der erste Schritt der Beteiligung, die ?Bürgerwerkstatt im Zelt? hat bereits im November 2016 stattgefunden. Die weiteren Schritte der Bürgerbeteiligung erfolgen zeitlich nach dem Bürgerentscheid zum Erhalt/Weiterbetrieb des Kurfürstenbades.↵" "" "Kann noch nicht beziffert werden↵" "Kann noch nicht beziffert werden↵" "DS-Nr. 1613528AA4 sowie 1713161↵" "-↵" 50.707 7.1217 "" "Bonn" "-↵" 1.701e+06 "www.unserneuesschwimmbad.de↵" "Integriertes Handlungskonzept Grüne Infrastruktur (InHK GI) zur↵zukünftigen Freiraumsicherung im Bonner Norden↵" "Siedlungsränder nördlich Beuel, Bonn; Gebietskulisse des Grünen C" "Der zugrunde liegende Förderantrag wurde abgelehnt. Für die Maßnahmen aus dem IHK GI werden interkommunal in den kommenden Jahren Umsetzungsmöglichkeiten erarbeitet.↵" "Hr. Michels, Tel. 0228-77 4401, E-Mail: jonas.michels@bonn.de↵" "komplexes Beteiligungsverfahren" "Im Rahmen des Förderaufrufes wird ein komplexes Beteiligungsverfahren gefordert. Dieses wird mit der Erstellung des IHK durchgeführt und steht kurz vor dem Abschluss.↵" "In der Gebietskulisse des Grünen C sollen die Freiräume auch zukünftig im Sinne von Naherholung, Landwirtschaft und Naturschutz gesichert und weiterentwickelt werden. Hierzu ist ein interkommunales Integriertes Handlungskonzept (InHK) notwendig, welches die zukünftige Weiterentwicklung der Freiräume regelt.Aufbauend auf dem InHK wurden über die Landesförderung "Grüne Infrastruktur" Förderanträge zur Umsetzung gestellt.↵" "" "Nicht einzeln erfasst: Im Gesamtvolumen der Erstellung des IHKs eingebettet.↵" "Das IHK GI enthält über 20 Maßnahmen in allen acht teilnehmenden Kommunen mit einem interkommunalen Gesamtfinanzrahmen von 6,15 Mio. ?. Der Finanzrahmen für die Maßnahmen der Bundesstadt Bonn beträgt rund 447.850 ?.↵" "DS-NR. 1710990, 1811383↵" "Zum jeweiligen Sachstand informiert die Verwaltung und wird entsprechende Beschlussvorlagen erarbeiten.↵" NaN NaN "" "Beuel" "ca. 5 Jahre↵" 1.612e+06 "-↵" "Verlängerung des Teufelsbachweges bis zur L 83n" "Teufelsbachweg zwischen Am Weidenbach und L 83n" "Die Vorplanung wird erarbeitet.↵" "Fr. Schneider, Tel. 0228-77 4481,↵Amt 61-32 ,↵Email: ulrike.schneider@bonn.de↵" "standardisiertes Beteiligungsverfahren" "Es ist eine Bürgerversammlung vorgesehen. Die Bürgerversammlung stellt eine wichtige Möglichkeit zur Beteiligung der Bürger dar. Das unmittelbar Ziel ist, die Kommunikation zu verbessern und die Förderung von Transparenz bei öffentlichen Belangen. Insofern trägt die diskursive Versammlung mittelfristig zur Konfliktprävention bei.↵" "Zur Entlastung von Pützchen/Bechlinghoven vor Durchgangsverkehr und in Verbindung mit der geplanten Anschlussstelle Maarstraße bzw. Schließung der Anschlussstelle Pützchen ist vorgesehen, den Teufelsbachweg bis zur L 83n zu verlängern und als Umgehungsstraße auszubauen. Somit hätte man eine durchgängige Verbindungsstraße zwischen Pützchens Chaussee und L 83n.↵" "" "-↵" "-↵" "-↵" "Verwaltungsinterne Abstimmung der Planung, ca. im Jahr 2020↵" 50.742 7.1614 "" "Beuel" "-↵" 1.701e+06 "-↵"

从变量中提取文本数据InhaltlicheBeschreibungUndZielsetzung(内容的描述和目标)。

textData = data.InhaltlicheBeschreibungUndZielsetzung;

可视化单词云中的文本数据。

图wordcloud (textData);

标记文本数据

使用该文件创建一系列令牌化文件tokenizedDocument函数。

文件= tokenizedDocument (textData);文件(1:​​10)
ans=10×1标记化文档:50个标记:Für das Gebiet zwischen Reuterstraße,Bundeskanzlerplatz,Willy Brandt Allee,Eduard Pflüger Straße and Straßburger Weg ist der Bebaungsplan Nr。6620-1麻省理工学院波恩研究中心,该研究中心位于麻省理工学院博罗霍豪斯学院,最大28名学生和6名学生?7《现实主义》杂志。46代币:Für den vorhabenbezogen Bebaungsplan Nr。6522-1 ? 迪丁基里卡?波恩联邦政府、波恩国家公园、波恩城堡、2-16号格拉海因多夫大道和罗森塔尔大道都是在德国的齐尔塞宗(Zielsetzung)附近,由麻省理工学院(mit insgesamt)的沃农斯堡(Ortsteil Bonn Castell)和沙芬学院(schaffen)的55名学生组成。41枚代币:Für das Gebiet zwischen Alfred Bucherer Straße、Sebastianstraße和dem Fußweg zwischen röckumstraße和Endennicher Allee是北巴翁斯潘的一个标志。7621-56年,麻省理工学院(mit dem Ziel)的奥夫祖斯泰伦(aufzustellen),这是一家名为Grundstück für Wohnbauzwecke的公司,该公司的主要业务部门是一家名为Cecksichtigung的公司。134枚代币:在《世界报》上,福根·福尔根·福尔根·福尔登·福尔登·福勒恩·福勒恩·福勒恩·福勒恩·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·。圣德和吉梅登在福根·安祖帕森(Folgen anzupassen)和塞纳里奥斯(mögliche zukünftige Szenarios)的领导下,在沃祖贝雷滕(vorzubereiten)的克里马万代尔(Klimawandel)街(bezogen auf den Klimawandel)。你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是不是?克丽玛弹性?奥斯祖鲍恩的圣·克尔肯和卡帕齐特·滕(stärken and die Kapazitäten)是一位伟大的领袖。在欧洲11个城市和森林研究所的网络世界里,有一个由城市和森林组成的城市弹性战略。他们的工作包括研究生物和生物,但没有考虑到项目的进展。24枚代币:波恩Dottendorf的Schaffung von Planungsrecht für den Bau eines neuen Familien,Schul-und Sportschwimmades auf den Flächen n nördlich des Heizkraftwerkes。80种代币:新施维姆巴德社区社区社区服务中心:建筑、运动、酒吧、桑拿/康乐/水疗、Rutschen/Attraktionen、Erschließung sowie dem Betrieb。你死了吗?Bürgerwerkstatt im Zelt?这是2016年11月stattgefunden发布的。他们的研究成果来自于研究生院/研究生院。60枚代币:在格伦·弗雷乌姆的《格伦·弗雷乌姆之书》中,他是纳赫霍隆的罪人、土地管理局和自然保护局局长和韦特伦·威登。这是一个完整的组织(InHK)的内部结构,而不是一个完整的组织(InHK)的内部结构,这是一个由联邦政府领导的组织。在土地“基础设施”的基础上,为所有的土地提供土地。51枚代币:祖尔·恩特拉斯顿·冯·佩岑/比克林霍温·杜尔奇冈斯韦尔·凯尔和马亚斯特拉河流域的植物园。普钦省的城市是一个很好的城市,它是一个很好的城市。因此,我们必须在第83n条和第83n条规定的时间内完成这项工作。29种代币:作为埃赫马利根地区的土地管理局局长,他是安格伦森登·圣多芬·斯泰德·斯泰尔·霍霍霍尔茨·罗莱伯·索勒·索勒·索勒·索勒·索勒·索伊,他是埃赫马利根地区管理局局长,他是斯泰德·赫伯特·拉比乌斯·斯泰尔·斯泰尔·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒,他是斯泰尔·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索,在北卡罗莱纳州的沃哈本贝佐根市。6722-2年,麻省理工学院沃登校区,该校区的规划是一个很好的选择。

得到词性标记

用the添加词性细节添加部分speechdetails函数。

= addPartOfSpeechDetails文件(文档);

获取令牌详细信息,然后查看前几个令牌的详细信息。

tdetails = tokenDetails(文件);头(tdetails)
ans =.8×7表令牌文档Number SendenceNumber LineNumber类型语言Partofspeech __________________________________________________trings de Adpositioner“gebiet”1 1 1 1 1 1 1 1 1 1 1 1 1 1 1字母De Adposition“Reuterstraße”1 1 1字母De Perfice-Noun“,1 1 1个标点de标点符号”Bundeskanzlerplatz“1 1 1字母DE名词”,1 1 1标点符号标点符号

PartOfSpeech表中的变量包含令牌的语音份额标记。分别创建所有名词和形容词的单词云。

图idx = tdetails。PartOfSpeech = =“名词”;令牌= tdetails.Token (idx);次要情节(1、2、1)wordcloud(令牌);标题(“名词”)idx = tdetails.partofseech ==“形容词”;令牌= tdetails.Token (idx);次要情节(1、2、2)wordcloud(令牌);标题(“形容词”

准备文本数据进行分析

使用授权文本tokenizedDocument并查看前几个文件。

documentsRaw = tokenizedDocument (textData);文件= documentsRaw;文件(1:​​10)
ans=10×1标记化文档:50个标记:Für das Gebiet zwischen Reuterstraße,Bundeskanzlerplatz,Willy Brandt Allee,Eduard Pflüger Straße and Straßburger Weg ist der Bebaungsplan Nr。6620-1麻省理工学院波恩研究中心,该研究中心位于麻省理工学院博罗霍豪斯学院,最大28名学生和6名学生?7《现实主义》杂志。46代币:Für den vorhabenbezogen Bebaungsplan Nr。6522-1 ? 迪丁基里卡?波恩联邦政府、波恩国家公园、波恩城堡、2-16号格拉海因多夫大道和罗森塔尔大道都是在德国的齐尔塞宗(Zielsetzung)附近,由麻省理工学院(mit insgesamt)的沃农斯堡(Ortsteil Bonn Castell)和沙芬学院(schaffen)的55名学生组成。41枚代币:Für das Gebiet zwischen Alfred Bucherer Straße、Sebastianstraße和dem Fußweg zwischen röckumstraße和Endennicher Allee是北巴翁斯潘的一个标志。7621-56年,麻省理工学院(mit dem Ziel)的奥夫祖斯泰伦(aufzustellen),这是一家名为Grundstück für Wohnbauzwecke的公司,该公司的主要业务部门是一家名为Cecksichtigung的公司。134枚代币:在《世界报》上,福根·福尔根·福尔根·福尔登·福尔登·福勒恩·福勒恩·福勒恩·福勒恩·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·福勒姆·。圣德和吉梅登在福根·安祖帕森(Folgen anzupassen)和塞纳里奥斯(mögliche zukünftige Szenarios)的领导下,在沃祖贝雷滕(vorzubereiten)的克里马万代尔(Klimawandel)街(bezogen auf den Klimawandel)。你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是说,你是不是?克丽玛弹性?奥斯祖鲍恩的圣·克尔肯和卡帕齐特·滕(stärken and die Kapazitäten)是一位伟大的领袖。在欧洲11个城市和森林研究所的网络世界里,有一个由城市和森林组成的城市弹性战略。他们的工作包括研究生物和生物,但没有考虑到项目的进展。24枚代币:波恩Dottendorf的Schaffung von Planungsrecht für den Bau eines neuen Familien,Schul-und Sportschwimmades auf den Flächen n nördlich des Heizkraftwerkes。80种代币:新施维姆巴德社区社区社区服务中心:建筑、运动、酒吧、桑拿/康乐/水疗、Rutschen/Attraktionen、Erschließung sowie dem Betrieb。你死了吗?Bürgerwerkstatt im Zelt?这是2016年11月stattgefunden发布的。他们的研究成果来自于研究生院/研究生院。60枚代币:在格伦·弗雷乌姆的《格伦·弗雷乌姆之书》中,他是纳赫霍隆的罪人、土地管理局和自然保护局局长和韦特伦·威登。这是一个完整的组织(InHK)的内部结构,而不是一个完整的组织(InHK)的内部结构,这是一个由联邦政府领导的组织。在土地“基础设施”的基础上,为所有的土地提供土地。51枚代币:祖尔·恩特拉斯顿·冯·佩岑/比克林霍温·杜尔奇冈斯韦尔·凯尔和马亚斯特拉河流域的植物园。普钦省的城市是一个很好的城市,它是一个很好的城市。因此,我们必须在第83n条和第83n条规定的时间内完成这项工作。29种代币:作为埃赫马利根地区的土地管理局局长,他是安格伦森登·圣多芬·斯泰德·斯泰尔·霍霍霍尔茨·罗莱伯·索勒·索勒·索勒·索勒·索勒·索伊,他是埃赫马利根地区管理局局长,他是斯泰德·赫伯特·拉比乌斯·斯泰尔·斯泰尔·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒,他是斯泰尔·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索勒·索,在北卡罗莱纳州的沃哈本贝佐根市。6722-2年,麻省理工学院沃登校区,该校区的规划是一个很好的选择。

用单个标记替换常用短语(n-gram),并删除停止词。

旧= [“坏的”“Godesberg”];新=“坏Godesberg”;= replaceNgrams文档(文档、旧、新);= removeStopWords文件(文档);文件(1:​​10)
ans = 10×1 tokenizedDocument: 35 token: Gebiet zwischen Reuterstraße, Bundeskanzlerplatz, Willy-Brandt-Allee, Eduard-Pflüger-Straße Straßburger Weg Bebauungsplan Nr。6620-1 aufzustellen, Ziel, Abriss Bonn-Centers Gebäudeensemble Bürohochhaus maximal 28 Geschossen zwei weiteren 6 ?7 geschossigen Bürogebäuden realisieren。33代币:vorhabenbezogenen Bebauungsplan Nr6522 - 1 ?Didinkirica吗?Bundesstadt Bonn, Stadtbezirk Bonn, Ortsteil Bonn- castell, grurheindorfer Straße 2-16 Straße Rosental Bebauungsplan aufzustellen Zielsetzung, Wohnungsbau insgesamt rund 55 Wohneinheiten schaffen。27个token: Gebiet zwischen Alfred-Bucherer-Straße, Sebastianstraße Fußweg zwischen Röckumstraße Endenicher Allee Bebauungsplan Nr。7621-56 aufzustellen, Ziel, Grundstück Wohnbauzwecke entwickeln besonderer Berücksichtigung altengerechter Wohnformen Pflege。81代币:vergangenen Jahren führte Klimawandel Vielzahl Folgen Umwelt, Wirtschaft Menschen。 Städte Gemeinden aufgefordert Folgen anzupassen mögliche zukünftige Szenarios , bezogen Klimawandel , vorzubereiten . Anpassungsprozess fördern , unterstützt EU Kommission Aktivitäten EU-Mitgliedsstaaten , Europas ? Klima-Resilienz ? stärken Kapazitäten , Folgen Klimawandels reagieren , auszubauen . EPICURO bildet Netzwerk 11 europäischen Kommunen öffentlichen Institutionen , zwei Jahre lang gemeinsam Ziel arbeitet , Strategien urbane Resilienz entwickeln fördern . Dabei liegt besonderer Schwerpunkt Einbindung Bürgerinnen Bürgern , unmittelbar Projektaktivitäten teilnehmen . 15 tokens: Schaffung Planungsrecht Bau neuen Familien - , Schul - Sportschwimmbades Flächen nördlich Heizkraftwerkes Bonn-Dottendorf . 57 tokens: begleitende Bürgerbeteiligung Konzepterstellung neue Schwimmbad soll folgenden Themen Beteiligung geben : Dialog Architektur , Schule Sportbad , Barrierefreiheit , Sauna / Wellness / Spa , Rutschen / Attraktionen , Erschließung sowie Betrieb . erste Schritt Beteiligung , ? Bürgerwerkstatt Zelt ? bereits November 2016 stattgefunden . weiteren Schritte Bürgerbeteiligung erfolgen zeitlich Bürgerentscheid Erhalt / Weiterbetrieb Kurfürstenbades . 40 tokens: Gebietskulisse Grünen C sollen Freiräume zukünftig Sinne Naherholung , Landwirtschaft Naturschutz gesichert weiterentwickelt . Hierzu interkommunales Integriertes Handlungskonzept ( InHK ) notwendig , zukünftige Weiterentwicklung Freiräume regelt . Aufbauend InHK wurden Landesförderung " Grüne Infrastruktur " Förderanträge Umsetzung gestellt . 32 tokens: Entlastung Pützchen / Bechlinghoven Durchgangsverkehr Verbindung geplanten Anschlussstelle Maarstraße bzw . Schließung Anschlussstelle Pützchen vorgesehen , Teufelsbachweg L 83n verlängern Umgehungsstraße auszubauen . Somit durchgängige Verbindungsstraße zwischen Pützchens Chaussee L 83n . 19 tokens: Areal ehemaligen Landwirtschaftskammer sowie angrenzenden städtischen Fläche Stadtbezirk Beuel , Ortsteil Hoholz-Roleber soll Möglichkeit Umnutzung landwirtschaftlichen Flächen Wohnnutzung geprüft 25 tokens: Areal Herbert-Rabius-Straße Stadtbezirk Beuel , Ortsteil Beuel-Mitte soll vorhabenbezogene Bebauungsplan Nr . 6722-2 aufgestellt , Ziel , hier Planungsrecht Errichtung Büro - Verwaltungsgebäudes schaffen .

使用该文本正常化正常化字函数。

= normalizeWords文件(文档);文件(1:​​10)
ans = 10×1 tokenizedDocument: 35 token: gebiet zwisch reuterstrass, bundeskanzlerplatz, willy-brandt-alle, eduard-pfluger-strass strassburg weg bebauungsplan nr。6620-1 aufzustell, ziel, abriss bonn-cent gebaudeensembl burohochhaus maximum 28 geschoss zwei 6 ?7布赫热波特。33代币:vorhabenbezog bebauungsplan nr。6522 - 1 ?didinkirica吗?波恩的Bundesstadt Bonn, stadtbezirk Bonn, ortsteil Bonn -castell, grurheindorf strass 2-16 strass rosental bebauungsplan aufzustell zielsetz, wohnungsbaesamt run55 wohnein schaff。27 token: gebiet zwisch alfred-bucherer-strass, sebastianstrass fussweg zwisch rockumstrass endenich alle bebauungsplan nr。7621-56奥夫祖斯特尔,齐尔,恩博茨威克,恩博茨威克,恩博茨威克,恩博茨威克,恩博茨威克。81代币:vergang jahr fuhrt klimawandel vielzahl folg umwelt, wirtschaft mensch。 stadt gemeind aufgefordert folg anzupass moglich zukunft szenarios , bezog klimawandel , vorzubereit . anpassungsprozess ford , unterstutzt eu kommission aktivitat eu-mitgliedsstaat , europas ? klima-resilienz ? stark kapazitat , folg klimawandel reagi , auszubau . epicuro bildet netzwerk 11 europa kommun offent institution , zwei jahr lang gemeinsam ziel arbeitet , strategi urban resilienz entwickeln ford . dabei liegt besond schwerpunkt einbind burgerinn burg , unmittelbar projektaktivitat teilnehm . 15 tokens: schaffung planungsrecht bau neu famili - , schul - sportschwimmbad flach nordlich heizkraftwerk bonn-dottendorf . 57 tokens: begleit burgerbeteil konzepterstell neu schwimmbad soll folgend them beteil geb : dialog architektur , schul sportbad , barrierefrei , sauna / wellness / spa , rutsch / attraktion , erschliess sowi betrieb . erst schritt beteil , ? burgerwerkstatt zelt ? bereit novemb 2016 stattgefund . weit schritt burgerbeteil erfolg zeitlich burgerentscheid erhalt / weiterbetrieb kurfurstenbad . 40 tokens: gebietskuliss grun c soll freiraum zukunft sinn naherhol , landwirtschaft naturschutz gesichert weiterentwickelt . hierzu interkommunal integriert handlungskonzept ( inhk ) notwend , zukunft weiterentwickl freiraum regelt . aufbau inhk wurd landesforder " grun infrastruktur " forderantrag umsetz gestellt . 32 tokens: entlast putzch / bechlinghov durchgangsverkehr verbind geplant anschlussstell maarstrass bzw . schliessung anschlussstell putzch vorgeseh , teufelsbachweg l 83n verlang umgehungsstrass auszubau . somit durchgang verbindungsstrass zwisch putzch chausse l 83n . 19 tokens: areal ehemal landwirtschaftskamm sowi angrenz stadtisch flach stadtbezirk beuel , ortsteil hoholz-roleb soll moglich umnutz landwirtschaft flach wohnnutz gepruft 25 tokens: areal herbert-rabius-strass stadtbezirk beuel , ortsteil beuel-mitt soll vorhabenbezog bebauungsplan nr . 6722-2 aufgestellt , ziel , hier planungsrecht erricht buro - verwaltungsgebaud schaff .

使用擦除标点符号erasePunctuation函数。

文件=侵蚀(文件);文件(1:​​10)
ANS = 10×1 tokenizedDocument:27个标记:格比特zwisch reuterstrass bundeskanzlerplatz willybrandtalle eduardpflugerstrass斯特拉斯堡WEG bebauungsplan NR 66201 aufzustell ZIEL abriss bonncent gebaudeensembl burohochhaus最大28 geschoss ZWEI WEIT 6 7 geschoss burogebaud realisi 25个标记:vorhabenbezog bebauungsplan NR 65221 didinkirica bundesstadt波恩斯塔德贝吉尔克波恩ortsteilbonncastell graurheindorf铅玻璃216铅玻璃罗森塔尔bebauungsplan aufzustell zielsetz wohnungsbau insgesamt RUND 55 wohnein沙夫22个标记:格比特zwisch alfredbuchererstrass sebastianstrass fussweg zwisch rockumstrass安德尼希全部bebauungsplan NR 762156 aufzustell ZIEL grundstuck wohnbauzweck entwickeln besond berucksicht altengerecht wohnform pfleg 64个标记:vergang雅尔fuhrt klimawandel vielzahl folg UMWELTWIRTSCHAFT MENSCH STADT GEMEIND AUFGEFORDERT FOUG ANZUPASS MOGLICH ZUKUNFT SZENARIOS BEZOG KLIMAWANDEL VORZUBEREIT ANPANSUNGSPROZESS FORD UNTESTUTZT欧盟Kommisck Aktivitat Eumitgliedsstaat EUROPAS klimaresilienz鲜明kapazitat folg klimawandel reagi auszubau epicuro bildet netzwerk 11欧罗巴kommun offent机构ZWEI雅尔郎gemeinsam ZIEL arbeitet战略性城市resilienz entwickeln福特大北liegt besond schwerpunkt einbind burgerinn伯格unmittelbar projektaktivitat teilnehm 11个令牌:schaffung planungsrecht BAU NEU Famili的schul sportschwimmbad弗拉克nordlich heizkraftwerkbonndottendorf 41标记:begleit burgerbeteil konzepterstell neu的schwimmbad SOLL folgend他们beteil GEB对话框architektur schul sportbad barrierefrei桑拿健康spa rutsch attraktion erschliess sowi betrieb往昔schritt beteil burgerwerkstatt zelt bereit novemb 2016 stattgefund WEIT schritt burgerbeteil erfolg zeitlich burgerentscheid erhalt weiterbetrieb kurfurstenbad 31个标记:gebietskuliss GRUNC Soll Freiraum Zukunft Sinn Naherhol Landwirtschaft Naturschutz Gesichert WeiterentWickelt Hierzu Interkommunal Interniert Handlungskonzept Inhk Notwend Zukunft WeiterentWickl Freiraum RegELT aufbau inhk wurd landesforder GRUN infrastruktur forderantrag umsetz gestellt 27个标记:entlast putzch bechlinghov durchgangsverkehr verbind geplant anschlussstell maarstrass BZW schliessung anschlussstell putzch vorgeseh teufelsbachweg升83n verlang umgehungsstrass auszubau SOMIT durchgang verbindungsstrass zwisch putzch chausse升83n 18个标记:面ehemal landwirtschaftskamm sowi angrenz stadtisch闪光点Stadtbezirk Beuel Ortsteil Hoholzroleb Soll Moglich Umnutz Landwirtschaft Flach Wohnutz GePruft 19令牌:Areal Herbertrabiusstrass Stadtbezirk Beuel Ortsteil Bebuelmitt Soll Vorhabenbezog Bebauungsplan NR 67222 Aufgestellt Ziel Hier PlanungsRecht Erricht Burricht Burro Verwaltungsgebaud Schaft

在Word云中可视化原始和清洁的数据。

图形子图(1,2,1)WordCloud(DocumentSraw);标题(“原始数据”)子图(1,2,2)WordCloud(文件);标题(“清除数据”

创建预处理功能

创建执行预处理的函数对于以相同方式准备不同的文本数据集合非常有用。例如,您可以使用与训练数据相同的步骤,使用函数预处理新数据。

创建一个函数,用于标记和预处理要用于分析的文本数据。这个函数预处理特格术,执行以下步骤:

  1. 使用授权文本tokenizedDocument

  2. 替换多字短语[“坏”“godesberg”]“坏Godesberg”

  3. 删除停止单词列表(例如“der, “死,“达斯)使用Removestopwords.

  4. 使用单词使用正常化字

  5. 删除标点符号使用erasePunctuation

删除预处理后的空文档removeEmptyDocuments函数。使用预处理功能后删除文档使得更容易删除来自其他来源的标签等相应数据。

在本例中,使用预处理函数预处理特格术,在示例的末尾列出,准备文本数据。

文档=预处理GermanText(文本数据);文件(1:5)
ANS = 5×1 tokenizedDocument:27个标记:格比特zwisch reuterstrass bundeskanzlerplatz willybrandtalle eduardpflugerstrass斯特拉斯堡WEG bebauungsplan NR 66201 aufzustell ZIEL abriss bonncent gebaudeensembl burohochhaus最大28 geschoss ZWEI WEIT 6 7 geschoss burogebaud realisi 25个标记:vorhabenbezog bebauungsplan NR 65221 didinkirica bundesstadt波恩斯塔德贝吉尔克波恩ortsteilbonncastell graurheindorf铅玻璃216铅玻璃罗森塔尔bebauungsplan aufzustell zielsetz wohnungsbau insgesamt RUND 55 wohnein沙夫22个标记:格比特zwisch alfredbuchererstrass sebastianstrass fussweg zwisch rockumstrass安德尼希全部bebauungsplan NR 762156 aufzustell ZIEL grundstuck wohnbauzweck entwickeln besond berucksicht altengerecht wohnform pfleg 64个标记:vergang雅尔fuhrt klimawandel vielzahl folg UMWELTWIRTSCHAFT MENSCH STADT GEMEIND AUFGEFORDERT FOUG ANZUPASS MOGLICH ZUKUNFT SZENARIOS BEZOG KLIMAWANDEL VORZUBEREIT ANPANSUNGSPROZESS FORD UNTESTUTZT欧盟Kommisck Aktivitat Eumitgliedsstaat EUROPAS klimaresilienz鲜明kapazitat folg klimawandel reagi auszubau epicuro bildet netzwerk 11欧罗巴kommun offent机构ZWEI雅尔郎gemeinsam ZIEL arbeitet战略性城市resilienz entwickeln福特大北liegt besond schwerpunkt einbind burgerinn伯格unmittelbar projektaktivitat teilnehm 11个令牌:schaffung planungsrecht BAU NEU Famili的schul sportschwimmbad弗拉克nordlich heizkraftwerkBonndottendorf.

使用。删除空文档removeEmptyDocuments函数。

= removeEmptyDocuments文件(文档);

符合主题模式

将潜在的Dirichlet分配(LDA)主题模型适合数据。LDA模型在主题中发现文档和Infers Word概率的集合中的基础主题。

要将LDA模型适合数据,首先必须创建一个单词袋式模型。单词袋式模型(也称为术语频率计数器)记录了集合的每个文档中的单词出现的次数。使用袋式模型使用Bagofwords.

袋= bagOfWords(文件);

从单词袋式模型中删除空文档。

袋= removeEmptyDocuments(袋);

使用以下公式拟合包含七个主题的LDA模型菲达.要抑制冗长输出,请设置'verbose'0.

numtopics = 7;mdl = fitlda(袋子,numtopics,'verbose', 0);

使用单词云可视化前四个主题。

数字I = 1:4 subplot(2,2, I) wordcloud(mdl, I);标题(“主题”+ i)结束

使用堆叠条形图可视化多个主题混合物。随机查看五个输入文档,并可视化相应的主题混合物。

numdocuments = numel(文件);idx = randperm(numfocuments,5);文件(IDX)
ans = 5×1 tokenizedDocument: 4 token: gastronom angebot sollt verbessert 82 token:如果我能理解他,我就能理解他,我就能理解他,我就能理解他,我就能理解他,我就能理解他,我就能理解他,我就能理解他我们应该做的是,我们应该做的是,我们应该做的是,我们应该做的是,我们应该做的是,我们应该做的是,我们应该做的是,我们应该做的是,我们应该做的是令牌:我们的体育广场是这样的:如果你想要一个孩子,你可以给他一个机会,他可以给你一个机会,他可以给你一个机会,他可以给你一个机会,他可以给你一个机会,他可以给你一个机会,他可以给你一个机会,他可以给你一个机会,他可以给你一个机会,他可以给你一个机会,他可以给你一个机会,他可以给你一个机会,他可以给你一个机会我们的目标是实现我们的目标,我们的目标是实现我们的目标,我们的目标是实现我们的目标,我们的目标是实现我们的目标最理想的是,我们可以为您提供以下服务:美因茨strass berechaft kirch uberwieg beidseit zugepark unschon sonsgang radfahr absolut unkomfortabel unuberseet bus steh andauern stag gegenverkehr parkend fahrzeug durchfahrfahrmhelm zentrum attraktiv Mach solt park seit strass komplett untersagt strassen sollt dafur grunpflanz zbkubel installiert park sollt wenig ausnahm zb kurzparkzon poststell kostenpflicht ortszentrum schon fussgang radfahr sich ausserd okolog ansatz einzig zukunftstracht 50 tokens: "1" "bezirksverodnet" "sollt" "kulturburgermeist" "gewahlt" "hatt" "aufgab" "vertret" "verschied" "bad godesberg" "tatig" "kulturverein" "bzw" "einricht" "theat" "galeri" "orch" "gesangsgrupp" "literaturgrupp" "filmtheat" "ua" "zwei" "drei" "mal" "jahrlich" "rund" "tisch" "einzulad" "gemeinsam" "vorhab" "zb" "kulturf" "geplant" "vorbereitet" "2" "wertvoll" "hrdlickaskulptur" "sollt" "bundesinnenministerium" "graurheindorf" "strass" "wohin" "sieb" "jahr" "entfuhrt" "wurd" "bad godesberg" "zuruckgefuhrt" "hier" "aufgestellt"
topicMixtures =变换(mdl、文档(idx));图barh (topicMixtures (1:5),'堆积')XLIM([0 1])标题(“主题混音”)xlabel(“主题概率”)伊拉贝尔(“文档”)传说(“主题”+字符串(1:numTopics),“位置”“northeastoutside”

例子预处理功能

这个函数预处理特格术,执行以下步骤:

  1. 使用授权文本tokenizedDocument

  2. 替换多字短语[“坏”“godesberg”]“坏Godesberg”

  3. 删除停止单词列表(例如“der, “死,“达斯)使用Removestopwords.

  4. 使用单词使用正常化字

  5. 删除标点符号使用erasePunctuation

函数文件= preprocessGermanText (textData)%标记文本。文件= tokenizedDocument (textData);%替换多词短语旧= [“坏的”“Godesberg”];新=“坏Godesberg”;= replaceNgrams文档(文档、旧、新);删除一个停止词列表。文档= Removestopwords(文件);使单词正常化。= normalizeWords文件(文档);擦掉标点符号。文件=侵蚀(文件);结束

另请参阅

|||||

相关话题