Supervised  Learning Algorithmus für Stellenanzeigeklassifikation und JD-Gewinnung  

Inhaltsverzeichnis

1  Einführung  3

2  Jobsektoren  4

2.1  Begriffsdefinition  4

2.2  Klassifikation der Jobsektoren  5

3  Theoretische Grundlage  6

3.1  Verfahren zur Textkategorisierung  6

3.2  Lokale Grammatiken  8

4  Algorithmus zur Stellenanzeigeklassifikation  10

5  Preprozessing von Stellenanzeigen  13

5.1  Korpora  13

5.2  Normalisierung  14

5.3  Graphenbeschreibung  15

6  Deskriptorenlisten  28

7  Präzision- Recall Werte  32

8  Fazit.  34

9  Literaturverzeichnis  36

9.1  Fachliteratur und Artikel  36

9.2  Internetlinks  37

10  Anhang  39

10.1  Zuordnung der Berufsfelder zu der Jobsektoren  39

10.2  Extrahierte Deskriptoren nach den Jobsektoren  46

2

Supervised Learning Algorithmus für automatische Stellenanzeigeklassifikation und JD-Gewinnung

1 Einführung

Neben den vielen Jobportalen, die als Datenbanken funktionieren, wo Informationen wie Branche, Jobart oder Qualifikationen manuell eingegeben werden, gibt es auch Jobsuchdienste, die das Web durchsuchen, relevante Informationen extrahieren und sie automatisch klassifizieren. Die Klassifizierung erhöht die Wahrscheinlichkeit dem Benutzer präzise und seinen Ansprüchen adäquate Informationen zu liefern. Die extrahierten Informationen zu klassifizieren ist oft ein kompliziertes Unterfangen. Die Jobanzeigen sind meistens nicht kategorisiert oder so kategorisiert, dass die Kategorie nicht ermittelt und die Anzeige nicht zugeordnet werden kann. Nicht zuletzt liegt das Problem an den Suchdiensten selbst. Viele von ihnen gehören zu den Suchdiensten der ersten Generation, die auf der Volltextsuche ohne semantisch-syntaktisch-orthografische Analyse basieren und keine Gegebenheiten der Jobwelt berücksichtigen.

Die vorliegende Arbeit greift das Problem der Information Extraktion basierten Textklassifikation auf und strebt die Erstellung des semiautomatischen Algorithmus für die Stellenanzeigenklassifikation nach vorgegebenen Jobsektoren an. Im theoretischen Teil der Arbeit werden Jobsektoren analysiert, Verfahren der Textklassifikation, Kontexterstellung und Lexikonbootstrapping mithilfe von lokalen Grammatiken besprochen sowie ein konkreter Lösungsansatz dargestellt, der auf der semantisch-syntaktischen Analyse von Stellenanzeigen mithilfe von

Korpusbearbeitungstool UNITEX basiert.

Im praktischen Teil der Arbeit wird ein Verfahren zur semiautomatischen Textklassifikation dargestellt. Es werden Informationen über Textkorpora gegeben, einzelne Preprozessing-Schritte erläutert, lokale Grammatiken von Stellenanzeigen präsentiert, Seedlisten von Fachtermini beschrieben sowie der Lernprozess erklärt. Anschließend werden Ergebnisse im Fazit diskutiert.

2 Jobsektoren

Auf dem deutschsprachigen Markt gibt es zahlreiche Jobportale, die dem Benutzer bei der Jobsuche zur Verfügung stehen. Um den Usern die Suche zu erleichtern, kann nach dem Job in verschiedenen Branchen und Berufsfelder gesucht werden. Dank solcher Klassifizierung ist es möglich, ohne eine konkrete Berufsbezeichnung, nach den Jobangeboten in der bestimmten Branche zu suchen. Ein weiterer Vorteil ist, wenn eine Berufsbezeichnung zu allgemein ist, z.B. Mechaniker oder Manager, dann kann die Suche je nach Interesse präzisiert werden. Jedes Portal klassifiziert sowohl die Branchen als auch die Berufsfelder meistens anders. Es existieren mehrere offizielle Berufsklassifikatoren. Eine eindeutige und universelle Klassifizierung gibt es nicht. Einen interessanten Beitrag zur Klassifizierung der Berufe leistet die Richtlinie „Die Klassifizierung der Berufe des Statistischen Bundesamtes in der Fassung für den Mikrozensus - Ausgabe 1992“ ¹ , die sich bei der Klassifizierung auf der Art der beruflichen (ausgeübten) Tätigkeit stützt. Zwei weitere Klassifizierungen, die teilweise zum Zwecke dieser Arbeit, herangezogen wurden, kommen von der Bundesanstalt für Arbeit ² .

2.1 Begriffsdefinition

In dieser Arbeit bezeichnen die Branchen, folgend als Jobsektoren genannt, Industriebereiche, in denen Unternehmen tätig sind, einzelne Abteilungen von Unternehmen oder auch Berufe; z.B. Medizintechniker. In einem Jobsektor können auch verschiedene Berufsfelder kombiniert werden. So können Jobs z.B. für Manager, Wissenschaftler oder Übersetzer in mehreren Jobsektoren präsent sein.

¹ Vgl.: http://www.gesis.org/download/fileadmin/missy/erhebung/Panel/1996-1999/KldB92_MZ_1_.pdf (12.12.2010)

² Vgl. http://www.mpib-berlin.mpg.de/de/forschung/bag/projekte/lebensverlaufsstudie/pdf/LV_ost_panel/Nonresponse_Dokum entationshandbuch%20Kap62%20Berufsklassifikation%20der%20Bundesanstalt%20f%FCr%20Arbeit. pdf (28.11.2010) und

http://www.gesis.org/fileadmin/upload/dienstleistung/methoden/spezielle_dienste/inhaltsanalyse_berufs klass/isco88_1_.pdf?download=true (30.11.2010)

4

Das Berufsfeld Übersetzung selbst gehört dem Jobsektor Sonstige Dienstleistungen, der alle Berufsfelder aus dem Dienstleistungsbereich enthält, die nicht zu Finanzdienstleistungen, Personaldienstleistungen oder weiteren Jobsektoren passen. Im Jobsektor Sonstiges produzierendes Gewerbe werden die Berufsfelder gruppiert, welche nicht zu den sonst produzierenden Jobsektoren gehören, wie z.B. Baugewerbe/-industrie, Maschinen- und Anlagenbau, Metallindustrie oder Handwerk. Es gibt immer wieder Berufe, die man nicht eindeutig nach den Jobsektoren identifizieren kann. In diesem Fall werden sie der Kategorie Sonstige Branchen zugeordnet.

2.2 Klassifikation der Jobsektoren

In der vorliegenden Arbeit wird die unten aufgelistete, bereits vorgegebene Klassifikation der Jobsektoren verwendet:

 Agentur, Werbung, Marketing & PR  Glas/Keramik Herstellung u.  Banken/ Bank Verarbeitung  Gross- und Einzelhandel  Baugewerbe/ Bauindustrie/ Bau  Handwerk  Bergbau/ Berg  Holz- und Möbelindustrie  Bildung & Training  Hotel, Gastronomie & Catering  Chemie- und Erdölverarbeitende  Immobilien Industrie/ Chemie/ Erdöl / Öl  Druck-, Papier,  IT & Internet  Konsumgüter/Gebrauchsgüter Verpackungsindustrie  Elektrotechnik, Feinmechanik &  Land-, Forst- und Fischwirtschaft, Optik Gartenbau

 Energie- und Wasserversorgung &  Luft- und Raumfahrt Entsorgung  Maschinen- und Anlagenbau

 Fahrzeugbau/-zulieferer  Medien (Film, Funk, TV, Verlage)

 Finanzdienstleister  Medizintechnik

 Freizeit, Touristik, Kultur & Sport  Metallindustrie

 Gesundheit & soziale Dienste  Nahrungs- und Genussmittel

 Personaldienstleistungen  Textilien, Bekleidung & Lederwaren  Pharmaindustrie  Transport & Logistik  Sonstige Branchen  Unternehmensberatung,  Sonstige Dienstleistungen Wirtschaftsprüfung, Recht  Versicherungen  Sonstiges produzierendes  Wissenschaft & Forschung Gewerbe  Telekommunikation

Die vollständige Zuordnung der Berufsfelder zu den Jobsektoren wird in der vorliegenden Arbeit im Kapitel 10.1 dargestellt. Die Zuordnung erfolgte auf der Grundlage von der Berufsklassifikation der Bundesanstalt für Arbeit. 3

3 Theoretische Grundlage

Im diesen Kapitel wird die der vorliegenden Auseinandersetzung zugrunde liegende Problematik behandelt. Zuerst wird der Begriff Textkategorisierung erläutert und anderen IR-Aufgaben gegenüber gestellt. Hierbei wird der Fokus auf die Automatisierungsmethode für das Erstellen von Wörterbüchern -- auf die Bootstrapping-Methode gelegt. Des Weiteren wird der Begriff lokalen Grammatiken erläutert und ihre Rolle in der Information Extraktion beschrieben.

3.1 Verfahren zur Textkategorisierung

Im Allgemeinen bezeichnet der Begriff Textkategorisierung die Zuordnung von Textdokumenten zu einer vorher festgelegten Menge von Kategorien ⁴ . Der

³ Vgl. http://www.mpib-berlin.mpg.de/de/forschung/bag/projekte/lebensverlaufsstudie/pdf/LV_ost_panel/Nonresponse_Dokumen tationshandbuch%20Kap62%20Berufsklassifikation%20der%20Bundesanstalt%20f%FCr%20Arbeit.pdf (28.11.2010)

⁴ Vgl. Riloff, Lehnert (1994), S. : 296-333

6

Supervised Learning Algorithmus für Stellenanzeigeklassifikation und JD-Gewinnung

Hauptunterschied zu den anderen IR-Aufgaben ist ein statisches Set von Kategorien, wobei die klassische Aufgabe von IR im Finden einer Information bei sich dynamisch ändernden Suchanfragen besteht. Eine der möglichen Implementationen von Textkategorisierung ist Filtern von Dokumenten nach besonderen Interessen von Menschengruppen (so wird es zum Beispiel im Newswire gemacht) ⁵ . So funktionieren die Jobsuchdienste, die den Usern die Stellenanzeigenklassifikation nach Berufsfelder oder Sektoren anbieten.

Die meisten traditionellen Algorithmen für Textkategorisierung basieren auf Statistik und stellen die Dokumenten als „Bag of Words“ dar, indem jedes Wort als separate Einheit betrachtet wird. Trotzdem weist eine solche Herangehensweise aufgrund der Synonymie, Polysemie, Kollokationen und Kontexten, in denen die Wörter in natürlicher Sprache vorkommen, bestimmte Restriktionen auf. Alternative Herangehensweise besteht im wissensbasierten Verfahren, das auf explizit dargestelltem Wissen basiert, sei es Regeln, semantische Netze, Patterns oder Kasusrahmen. Die meisten solcher Systemen haben einen großen Erfolg in Spezialdomänen, trotzdem ihr Erstellen braucht viel Zeit und Expertenwissen in entsprechenden Bereichen ⁶ . Das ist die manuelle Arbeit, die im Erstellen von Kontexten und semantischen Verbindungen zwischen Wörtern besteht.

Da die wissensbasierten Systemen präzisere und intelligentere Klassifikationen machen, wurde es versucht, das Erstellen von Kontexten und Wörterbüchern zu automatisieren. Eine der Automatisierungsmethoden für das Erstellen von Wörterbüchern ist Bootstrapping Methode ⁷ : Nach dem Erstellen vom detaillierten Kontext von einem Lexem, kann man anstelle dieses Lexems in demselben Kontext die Lexeme herunterladen, die dieselbe semantische Bedeutung tragen. Riloff/Jones haben das Konzept von Mutual Bootstrapping (gegenseitiges Bootstrapping) in ihrer Arbeit "Learning Dictionaries for Information Extraction by Multi-Level Bootstrapping" dargestellt ⁸ . Dabei werden erst die neuen Wörter, die dieselben

⁵ Vgl. Belkin, Croft (1992), S.: 29-38.

⁶ Vgl. Ebenda

⁷ Vgl. Gross (1999), S. : 228-250. Sieh auch: Gross, Maurice: The Construction of Local Grammars. In Finite-State Language Processing, E. Roche & Y. Schabès (eds.), Language, Speech and Communication, Cambridge 1997, S.: 329-354

⁸ Vgl. Riloff, Jones (1999), S.: 474-479

7

Supervised Learning Algorithmus für Stellenanzeigeklassifikation und JD-Gewinnung

Eigenschaften haben, heruntergeladen und dann entsprechend den schon vorhandenen und neu hinzugefügten Wörtern Kontexte modifiziert. Die vorliegende Arbeit befasst sich mit dem Problem der Textkategorisierung. Die Textkategorisierung erfolgt hierbei auf der Basis von relevanten Deskriptoren, die aus bestimmten Kontexten extrahiert worden sind. Die Identifizierung von Kontexten wurde mithilfe von lokalen Grammatiken durchgeführt.

3.2 Lokale Grammatiken

Lokale Grammatiken sind die empirische Herangehensweise an die Sprache, wobei man alle sprachlichen Phänomene mithilfe von endlichen Automaten beschreibt. Der Termin lokale Grammatiken wurde von Maurice Gross eingeführt. Unter lokalen Grammatiken versteht man die bestimmten „lokalen“ Phänomene, die nicht mithilfe von globalen syntaktischen Regeln beschrieben werden können.

Maurice Gross arbeitete 1975 an der Erstellung einer Lexikongrammatik ⁹ . Das Ziel seines Vorhabens zielte darauf ab, syntaktische Eigenschaften aller französischen Verben zu erarbeiten sowie für jedes Verb ein exaktes Satzschema aufzustellen. Auf der Grundlage einer Forschung, in der eine Gruppe von Linguisten mehr als 400 Eigenschaften von 12.000 Verben analysiert hat, kam Gross zu einem bahnbrechenden Ergebnis, dass das syntaktische Paradigma von jedem einzelnen Verb einzelartig ist. Daher plädierte er für einen neuen Grammatikformalismus, für die Theorie der lokalen Grammatiken, die mit endlichen Automaten darstellbar sind. Nach Maurice Gross sind sie einerseits die Wiedererweckung von endlichen Markov-Automaten für die Beschreibung von der Sprache, aber diese Automaten beabsichtigen keine globale Beschreibung von der Sprache sondern strikt die lokalen Phänomena. „In this perspective, the global nature of language results from the interaction of a multiplicity of local finite-state schemes which we call finite-state local automata“. ¹⁰ In seiner Arbeit “The Construction of Local Grammars” versucht Maurice Gross eine

⁹ Vgl. Gross (1975): “Methodes en sintaxe”

¹⁰ Vgl. Gross (1994): “The Construction of Local Grammars“

8

Supervised Learning Algorithmus für Stellenanzeigeklassifikation und JD-Gewinnung

Grammatik von der Börse-Domäne zu erstellen, weil der Domänenwortschatz und die benutzten Konstruktionen von limitierter Natur zu sein scheinen. Laut Harris ¹¹ charakterisieren sich die Sprachdomänen (z.B. Sprache der Stellenanzeigen, Finanznachrichten oder Arztdiagnosen) durch eine limitierte Anzahl von Ambiguitäten sowie durch gewisse Regularitäten und Strukturen, die für Computerbearbeitung von Vorteil sind. Daher ist es möglich die Grammatik einer Sprachdomäne zu erstellen. In seiner Arbeit „Language and information“ (1988) gibt er an, was eine Sprachdomäne (hier als Untersprache definiert) ausmacht: „A subset of the sentences of a language constitutes a sublanguage of that language if it is closed under some operation of the language […]”. ¹² Die Stellenanzeigen zeigen auch den limitierten Wortschatz und die begrenzte Anzahl der syntaktischen Konstruktionen. Das bietet eine Möglichkeit an, die Stellenanzeige in Formalismus der lokalen Grammatik zu beschreiben. Die lokalen Grammatiken sind häufig zum Zwecke von IE benutzt. Es wurden große Grammatiken für Named Entity Recognition erstellt. Es existieren auch Arbeiten, die die wichtigen für bestimmten Gebieten Informationen extrahieren. Der Jobsektor ist hier keine Ausnahme. Infolge der Zusammenarbeit zwischen LMU CIS und University of Alberta (USA) wurden lokale Grammatiken für französische Stellenanzeigen erarbeitet, welche für die Jobportale relevanten Informationen extrahieren. ¹³ In vorliegender Arbeit wurden Grammatiken entwickelt, die relevante Informationen aus den Stellenanzeigen extrahieren können.

Beim Erstellen von lokalen Grammatiken spielt die Bootstrapping Methode eine große Rolle für Dokumentenkategorisierung. Da die Stellenanzeigen mithilfe von lokalen Grammatiken beschrieben werden können, werden in diesen Grammatiken in bestimmten Stellen relevante Lexeme vorkommen, die zur gleichen semantischen Klasse gehören und für jeden Sektor wichtig sind. Als Beispiele können hier einige semantische Klassen angebracht werden, wie z.B. semantische Klasse Geräte (Geräte,

¹¹ Vgl. Harris (1988), S. : 33 ; Sieh auch :

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.105.2430&rep=rep1&type=pdf (03.01.2011)

¹² Ebenda

¹³ Vgl. Bsiri, Geierhos, Ringlstetter (2008), S.: 201-213. Mehr zu diesem Thema: Bulwahn, Lukas: „Interdisziplinäres Projekt: Entwicklung einer lokalen Grammatik für Nominalphrasen“. CIS LMU München, 2008.

9

Supervised Learning Algorithmus für Stellenanzeigeklassifikation und JD-Gewinnung

mit denen Angestellte umgehen sollen - im Kontext „Umgang mit +”), semantische Klasse Kenntnisse (Kenntnisse, über die Angestellte verfügen sollen - im Kontext „Kentnisse von +”), semantische Klasse Studium, Erfahrung oder Branche.

Für die Arbeit mit lokalen Grammatiken wurde das Tool UNITEX konzipiert. Es wurde an den Laboratorien d'Automatique Documentaire et Linguistique (LADL) unter Betreuung von Maurice Gross und Sébastien Paumier entwickelt. UNITEX ist eine open-source Software, die unter der LGPL Lizenz ¹⁴ benutzt wird. Sie kann von der Webseite des Instituts für Elektronik und Computer Science Gaspard-Monge ¹⁵ heruntergeladen werden.

Mit UNITEX können Texte aus mehreren Sprachen bearbeitet werden. Es verfügt über Wörterbücher für 13 Sprachen, wobei Wörterbücher für Deutsch an der LMU München im CIS Institut ¹⁶ entwickelt wurden.

4 Algorithmus zur Stellenanzeigeklassifikation

Der in dieser Arbeit implementierte Algorithmus zur Stellenanzeigenklassifikation wird auf dem Trainingskorpus von Stellenanzeigen trainiert. Seine Aufgabe besteht in der Extraktion von relevanten Deskriptoren aus den Kontexten sowie in der Identifizierung weiterer Deskriptoren in den ermittelten Kontexten von weiteren Stellenanzeigen. 90% des Korpus dient als Trainingskorpus und 10% des Korpus ist Deployment Korpus. Beide Korpora werden erst preprocessed, d.h. die Stellenanzeigen werden so konvertiert, dass UNITEX damit arbeiten kann. Danach werden mithilfe von lokalen Grammatiken wichtige Kontexte für Stellenanzeigenklassifikation beschrieben. Die

¹⁴ Die „GNU Lesser General Public License“ (LGPL) ist eine von der Free Software Gründung entwickelte Lizenz für freie Software. Unter dieser Lizenz darf man die Software für einen beliebigen Zweck nutzen, die Software vervielfältigen und weitergeben, die Software nach eigenen Bedürfnissen ändern und die geänderten Versionen weitergeben.

¹⁵ Vgl. http://www-igm.univ-mlv.fr/~unitex/index.php?page=3

¹⁶ Centrum für Information und Sprachwissenschaft an der LMU München: www.cis.unimuenchen.de

10

Supervised Learning Algorithmus für Stellenanzeigeklassifikation und JD-Gewinnung

Stelle, wo die relevanten Deskriptoren vorkommen, wird mit Tags

… vermerkt. Für die Trainingsphase wurden Listen mit Seedlexemen erstellt. Jede Seedliste enthält 7-15 Wörter und Wortkollokationen, die den entsprechenden Sektor beschreiben. Für die Seedlisten wurden Wörter und Wortkollokationen ausgewählt, die eindeutig den jeweiligen Sektor beschreiben. Die meisten Seedterme sind Begriffen, welche Berufsfelder beschreiben, die zum jeweiligen Jobsektoren zugeordnet wurden. Für die Sektoren, denen keine Berufsfelder zugeordnet wurden, wurden die Berufe und wichtigen Begriffe von Berufsklassifikation der Bundesanstalt für Arbeit ¹⁷ ausgewählt. Enthält eine Stellenanzeige in der Trainingsphase zu einem Jobsektor passende Lexeme, die in der Seedliste abgespeichert wurden, wird sie dann diesem bestimmten Jobsektor zugeordnet. Es reichte, wenn eins von Seedwörtern in Stellenanzeige vorhanden war, um jeweilige Stellenanzeige zu klassifizieren. Nach Klassifikation wurden aus den Stellenanzeigen relevante Wörter und Wortkollokationen von Deskriptorenstellen extrahiert. Der Administrator wird dann gefragt, ob die extrahierten Deskriptoren den Sektor/ die Sektoren beschreiben, dem/denen die Stellenanzeige zugeordnet wurde. Falls der Administrator zustimmt, werden die Deskriptoren zur entsprechenden Liste hinzugefügt und gleich für weitere Klassifizierung dynamisch benutzt. Der Administrator kann auch die entsprechenden Deskriptoren zu Stoppwörter hinzufügen, wobei sich bei den Stoppwörtern nicht nur um die falschgeschriebenen Formen und Funktionswörter handelt, sondern auch um die Lexeme, deren Bedeutung zu allgemein ist und für die Textklassifikation in keinem Kontext relevant sind (z.B.: Manager). Weiterhin kann der Administrator einen Deskriptor ablehnen, der trotzdem bei weiteren Jobsektoren in Betracht gezogen wird.

Die Trainingsphase fand beim Trainingskorpus dreimal statt, so dass sich die Seedlisten um mehrere Deskriptoren erweitert haben.

Die erstellten Wörterbücher werden für Textkategorisierung in der Anwendungsphase benutzt. Falls der Deskriptor im Titel vorkommt, wird für ihn Score 3 vergeben, falls er im relevanten Kontext auftritt, bekommt er die Score 2. In jedem anderen Fall erhält er

¹⁷ Vgl. http://www.mpib-berlin.mpg.de/de/forschung/bag/projekte/lebensverlaufsstudie/pdf/LV_ost_panel/Nonresponse_Dokumen tationshandbuch%20Kap62%20Berufsklassifikation%20der%20Bundesanstalt%20f%FCr%20Arbeit.pdf (28.11.2010)

11

Supervised Learning Algorithmus für Stellenanzeigeklassifikation und JD-Gewinnung

die Score 1. Wenn die Stellenanzeige 3 Punkte oder mehr für einen entsprechenden Sektor erhält, wird sie diesem Sektor zugeordnet. Die Bewertung der Precision und Recall dieser Klassifizierung wurde in Kapitel 7 der vorliegenden Arbeit vorgenommen. Die Algorithmusschritte werden detailliert im nächsten Kapitel erläutert. Der dargestellte Algorithmus basiert auf Supervised Learning und der Administrator spielt eine große Rolle beim Erstellen von Deskriptorenwörterbüchern. In der Trainingsphase arbeitet der Algorithmus semiautomatisch, weil die Akzeptanz oder das Ablehnen jedes einzelnen Deskriptors durch den Administrator notwendig ist. Die Textkategorisierung selbst wurde automatisch mithilfe von erstellten Wörterbüchern und Graphen durchgeführt.

Supervised Learning Algorithmus für Stellenanzeigeklassifikation und JD-Gewinnung

5 Preprozessing von Stellenanzeigen

5.1 Korpora

Auf der Basis von Training Korpus, das aus 1261 Stellenanzeige besteht, wurden Grammatiken für Stellenanzeigen entwickelt, welche die wichtigen für Stellenanzeigenklassifikation Jobdeskriptoren extrahieren. Das vorhandene Korpus wurde bereits preprocessed, die HTML-Tags wurden entfernt und die Jobtitel wurden im Quadratklammern in jeder Stellenanzeige in Form [ UNK] dargestellt.

Einige Jobtitel wurden trotzdem nicht angegeben [jobtitel nicht angegeben UNK]. Die Länge der Stellenanzeigen variiert von einigen Wörtern bis mehreren Seiten. Die kurzen Stellenanzeigen, die entweder nur aus dem Jobtitel oder aus dem Jobtitel und ein paar Wörter bestehen und meistens nicht syntaktisch strukturiert sind, bringen besondere Schwierigkeiten bei der Klassifikation. Trotzdem stellen die meisten Jobanzeigen im Korpus einen syntaktisch gut strukturierten Text dar. Eine

durchschnittliche Stellenanzeige beinhaltet ca. 150-200 Wörter und verfügt über eine kurze Profilbeschreibung der Jobagentur, falls sie diesen Job im Internet positioniert hat, eine kurze Profilbeschreibung von der Firma, Jobaufgaben, Profil vom Jobsuchenden und Kontaktdaten von der Firma oder Jobagentur. Das Problem bei den Anzeigen war manchmal versehentliches Weglassen von Leerzeichen, Leerzeichen in der Mitte des Wortes oder eine kleine Anzahl von Vertippungen. Die häufigsten Fälle würden beim Normalisierungsschritt korrigiert. Trotzdem wurden nicht alle Probleme lokalisiert und behoben.

13