Robot-Recruiting. Diskriminierungsrisiken nach dem AGG beim Einsatz von (Recruiting-) Algorithmen im Bewerbungsverfahren


Bachelorarbeit, 2020

45 Seiten, Note: 1,0


Leseprobe

Inhaltsverzeichnis

Abhandlung

I. Einführung

II. Was ist „Robot-Recruiting“?
1. Begriffsbestimmung
2. Hintergrund und Entwicklung
3. Was sind Algorithmen und wie funktionieren sie?
a) Der klassische Algorithmus
b) Der selbstlernende Algorithmus

III. Sind Algorithmen objektiver als Menschen?
1. Modellfehler
a) Die Zielvariable
b) Die Kategorisierung
2. Die fehlerhafte Datenbasis
3. Das Black-Box-Problem

IV. Diskriminierungsrisiken beim Einsatz von Algorithmen und KI in der Personalauswahl
1. Diskriminierungsrisiken durch CV- Parsing
2. Diskriminierungsrisiken durch Textanalysen
3. Diskriminierungsrisiken durch Sprachanalysen
4. Diskriminierungsrisiken durch Gesichtserkennungssoftware
5. Diskriminierungsrisiken durch Persönlichkeitstests

V. Die Haftung bei Benachteiligungen durch KI
1. Schadensersatz nach §15 Abs.1 AGG
a) Die Anwendbarkeit des AGG
b) Geschütze Merkmale nach §1 AGG
c) Verstoß gegen das Benachteiligungsverbot
aa) Unmittelbare Benachteiligung
(1) Die „Behandlung“ im Rahmen des §15 Abs.1 AGG
(a) Das Verbot automatisierter Einzelentscheidungen
(b) Ausnahmen nach Art. 22 Abs. 2 DSGVO
(aa) Kenntnis der Betroffenen
(bb) Entscheidungsbeeinflussung der Anwendenden
(cc) Das Problem mit der Einwilligung
(2) „weniger günstige Behandlung“
(3) Kausalität
bb) Mittelbare Benachteiligung
d) Rechtfertigung
e) Vertretenmüssen
aa) Menschliches Versagen
bb) Technisches Versagen
2. Entschädigungsanspruch nach §15 Abs.2 AGG

VI. Handlungsbedarfe und -optionen
1. Mehr Transparenz
a) Kompetenzaufbau unter den Anwendenden
b) Protokollpflicht
c) Kontrollalgorithmen
2. Mehr Kontrolle und Prüfsiegel
a) Algorithmen-TÜV
b) Qualitätssiegel
c) Digitales AGG
d) Verbandsklagerecht

VII. Fazit und Ausblick

Literaturverzeichnis

Abhandlung

I. Einführung

Die zunehmende Digitalisierung verändert die Welt. Die technologischen Fortschritte, insbesondere jene im Bereich der Künstlichen Intelligenz1, führen zu einer beständigen Erweiterung der gegebenen Möglichkeiten. Mittlerweile begegnen dem Menschen Algorithmen in nahezu sämtlichen Lebensbereichen. Dabei erfassen sie Verhaltensweisen und Interessen, sagen zukünftige Bedürfnisse voraus, beeinflussen Entscheidungen und lenken das Handeln.2 Auch in den Personalabteilungen vieler Unternehmen, insbesondere bei der Personalgewinnung (engl. Recruiting), kommen zunehmend Algorithmen, KI und Big Data zum Einsatz.3 Während im klassischen Bewerbungsverfahren Lebensläufe in Papierform gelesen und die Bewerbenden anhand eines persönlichen Gesprächs im Hinblick auf ihre Eignung beurteilt wurden, finden heute weite Teile des Bewerbungsverfahrens digital statt. Bewerbermanagementsysteme bieten Interessierten eine digitale Benutzeroberfläche und ermöglichen es, alle erforderlichen Angaben online zu erbringen.4 Algorithmische Systeme unterstützen Personalverantwortliche bei der Suche und Auswahl geeigneter Kandidaten/-innen, analysieren und bewerten die digitalen Lebensläufe, erstellen umfassende Persönlichkeitsprofile der Bewerbenden und treffen Vorhersagen bezüglich ihrer Eignung.5 Ihr Einsatz im Recruiting verspricht zum einen mehr Effizienz, da durch die Automatisierung vieler Verfahrensschritte der Zeitaufwand, beispielsweise für die Durchsicht von Bewerbungsunterlagen, deutlich verringert werden kann.6 Zum anderen ist damit die Aussicht verbunden den Bewerbungsprozess objektiver zu gestalten.7 Denn anders als Menschen, bewerten algorithmische Systeme Bewerbende durchgängig nach den gleichen vorgegebenen Kriterien.8 Zudem sind derartige Systeme dazu imstande, eine wesentlich größere Menge an Informationen zu verarbeiten, so dass die Bewerbenden ganzheitlicher bewertet werden können, woraus sich bessere und vor allem konsistentere Entscheidungen ergeben.9 Dies gilt allerdings nur unter der Voraussetzung, dass der zugrunde liegende Algorithmus in seiner Konstruktion und Wirkungsweise nicht seinerseits diskriminierend verfährt.10 Neben datenschutzrechtlichen und ethischen Aspekten drängen sich bei der Bewertung von Menschen durch Maschinen insbesondere diskriminierungsrechtliche Fragestellungen auf.11 Gegenwärtig nutzen in Deutschland noch vergleichsweise wenige Unternehmen algorithmische Systeme bei der Personalauswahl. Allerdings wird davon ausgegangen, dass bis zum Jahr 2030 etwa die Hälfte aller Vorauswahl- und Auswahlprozesse von Bewerbenden in deutschen Unternehmen automatisiert ablaufen werden.12 Klassische Ausschreibungen und Einstellungsverfahren werden im Zuge der fortschreitenden Digitalisierung und der stetigen Erweiterung der algorithmischen Lösungen zunehmend an Bedeutung verlieren.13 Gemessen an dem geringen Einsatz algorithmischer Systeme im Recruiting in Deutschland, ist die Aufmerksamkeit, die dieser Technologie in der medialen Berichterstattung zuteilwird, als vergleichsweise hoch einzustufen. Dies ist auf den Umstand zurückzuführen, dass das Schadenspotenzial fehlerhafter automatisierter Prozesse als deutlich höher eingeschätzt wird als das analoger Prozesse.14 Fehler, Verzerrungen und diskriminierende Muster in den Systemen haben weitreiche Auswirkungen, da sie eine Vielzahl von Menschen betreffen.15 So kann es im Extremfall zu einem systematischen Ausschluss ganzer Gruppen von Bewerbenden kommen, was zu einer Verringerung der Diversität in Unternehmen führt.16 Daher müssen mit steigender Bedeutung für die Unternehmen und Bewerbenden die Potenziale und Risiken algorithmischer Systeme sorgsam abgewogen werden.

II. Was ist „Robot-Recruiting“?

1. Begriffsbestimmung

Als „Robot-Recruiting“ wird die automatisierte Durchführung von Bewerbungsverfahren bezeichnet, bei der der Einsatz von Algorithmen, KI und Big Data eine Rolle spielt.17 Insbesondere im Bereich der Personalgewinnung laufen viele administrative Aufgaben immer nach denselben Mustern ab und kosten viel Zeit.18 Durch die Verfügbarkeit einer großen Menge an Datensätzen (Big Data) und Software zur Datenanalyse, Datenverarbeitung und Entscheidungsunterstützung entstehen immer mehr Möglichkeiten, die Effizienz der Bewerbungsprozesse zu steigern.19 Unter anderem kommt bereits zum gegenwärtigen Zeitpunkt Software zum Einsatz, die aktiv nach potenziellen Arbeitnehmern sucht und deren Wechselwilligkeit berechnet (Active Sourcing), den Arbeitsmarkt und seine Entwicklung analysiert (Talent-Analytics) oder digital vorliegende Bewerbungen vorfiltert (CV-Parsing).20 Zudem werden algorithmische Systeme zur Stimmen- und Wortwahlauswertung bei elektronischen Bewerbungsgesprächen mit sogenannten Chatbots oder zur Erkennung von bestimmten Gesichtsausdrücken (z. B. beim Lügen) bei Videointerviews eingesetzt.21 Auch Persönlichkeitstests im Rahmen von Online-Assessments kommen in vielen Unternehmen regelmäßig zum Einsatz.22 Im Vordergrund steht hierbei die Erfassung der kognitiven Leistungsfähigkeit, des Allgemeinwissens sowie bestimmter Persönlichkeitsmerkmale und Interessen oder auch der kulturellen Passung.23 Auf diese Weise werden die Fähigkeiten und Eigenschaften der Bewerbenden messbar gemacht, um sie so leichter miteinander vergleichen zu können.24

2. Hintergrund und Entwicklung

Oberstes Ziel einer jeden Personalabteilung ist es, Fehlbesetzungen zu vermeiden. Denn die Einstellung ungeeigneter, schnell wieder ausscheidender Mitarbeiter ist nicht nur kostspielig, sondern auch zeitaufwendig.25 Zudem ist in den letzten Jahren, insbesondere in Deutschland, ein stetiger Anstieg des Fachkräftemangels zu verzeichnen.26 Während sich Unternehmen früher in der Position befanden, aus einer hinreichend großen Zahl von Bewerbenden die geeignetsten Personen aussuchen zu können, ist derzeit in vielen Branchen eine deutliche Verschärfung des Kampfs um die besten Talente zu beobachten.27 Der demografische Wandel könnte diese Entwicklung weiter verstärken.28 Einige Unternehmen suchen händeringend qualifiziertes Personal und können bestimmte Positionen nur noch mit Mühe erfolgreich besetzen.29 Gleichzeitig steigen die Ansprüche aufseiten der Fachkräfte.30 So legen diese zunehmend Wert auf die Ausübung einer sinnvollen, bedeutsamen Tätigkeit, die zugleich mit ihren persönlichen Werten und Vorstellungen übereinstimmt.31 Vor diesem Hintergrund haben Unternehmen nicht mehr nur ein Interesse daran, die rein fachlichen Qualifikationen der Bewerbenden zu überprüfen. Vielmehr kommt es vermehrt darauf an, zusätzlich auch die sogenannten Softskills in den Blick zu nehmen.32 Die Einschätzung der Leistungsfähigkeit und der Entwicklungspotenziale von Beschäftigten gewinnt in Anbetracht der Knappheit an Arbeitskräften zunehmend an Bedeutung.33 Durch die Nutzung algorithmischer Entscheidungssysteme kann der Auswahlprozess deutlich beschleunigt werden. Zudem wird hierdurch die Möglichkeit eröffnet, Bewerbungen nach anderen als den herkömmlichen Kriterien zu beurteilen, um so in kürzerer Zeit die geeignetsten Kandidaten/-innen für eine offene Stelle zu finden.34

3. Was sind Algorithmen und wie funktionieren sie?

a) Der klassische Algorithmus

Ein Algorithmus kann als eine eindeutige Handlungsvorschrift beschrieben werden, die in eine Computersoftware eingebettet ist und zur strukturierten Lösung eines bestimmten (mathematischen) Problems eingesetzt wird.35 Die ersten mathematischen Algorithmen wurden bereits vor mehr als 2000 Jahren entwickelt.36 Demnach handelt es sich hierbei nicht etwa um eine Erfindung aus dem Bereich der digitalen Informationstechnologie, auch wenn dieses Verfahren im Zuge der Digitalisierung breite Bekanntheit erlangt hat.37 Die heute verbreiteten Algorithmen sind in Computerprogrammen implementiert. Hierbei werden die Handlungsanweisungen in eine bestimmte Computersprache übersetzt, so dass sie durch einen Computer verwendet werden können.38 Klassische Algorithmen basieren auf dem sogenannten „Wenn-Dann-Schema“ und treffen Entscheidungen anhand der ihnen vorgegebenen Datenbasis.39 Die Eingabeinformationen (Input) werden dann anhand bestimmter Anweisungen und Befehle in Ausgabeinformationen (Output), wie etwa Prognosen, Sprachen oder Bewegungen, umgeformt.40 Bei der Datenanalyse (Data-Mining) werden Algorithmen dazu verwendet, große Datenbestände nach bestimmten Mustern oder Ereignissen zu durchsuchen, die oft miteinander zusammenhängen. Auf diese Weise besteht im Bewerbungsprozess die Möglichkeit, die betreffenden Personen nach bestimmten Kriterien automatisiert in Gruppen oder Klassen einzuteilen.41

b) Der selbstlernende Algorithmus

Während klassische Algorithmen vorgegebenen Schritten folgen, verarbeiten selbstlernende Algorithmen eine Vielzahl von Informationen aus der Außenwelt, um darin Korrelationen, also Zusammenhänge, Regelmäßigkeiten und Muster festzustellen die dann auf neue Daten angewendet werden können. Auf diese Weise ermitteln sie selbstständig Lösungswege.42 Zudem sind derartige Algorithmen dazu imstande, durch die Analyse und Auswertung großer Datenbestände eigenständig ihre Datenbasis zu erweitern, um sich so über ihre Anfangskonfiguration hinaus stetig fortzuentwickeln.43 Das sogenannte maschinelle Lernen gilt als Schlüsseltechnologie im Bereich der KI.44 Dabei produzieren selbstlernende Algorithmen durch Mustererkennung komplexe Modelle und leiten Schlussfolgerungen ab, die Menschen dann als Informationsgrundlage für anstehende Entscheidungen dienen.45 Bei der Auswertung personenbezogener Daten im Bewerbungsprozess können selbstlernende Algorithmen beispielsweise umfangreiche Persönlichkeitsprofile der Bewerbenden erstellen, indem sie das aktuelle Verhalten bewerten, um so Vorhersagen zu dem künftigen Verhalten treffen zu können.46 Werden einem Algorithmus die Daten der bislang eingestellten Beschäftigten zur Verfügung gestellt, so kann dieser ermitteln, welche Eigenschaften die bisherigen Kandidaten/innen ausgezeichnet haben, um die auf diese Weise erfassten Korrelationen dann bei der Auswahl zukünftiger Bewerbender anzuwenden.47 Verfahren aus dem Bereich des Deep Learnings oder des Lernens mit tiefen neuronalen Netzen erlauben bereits zum gegenwärtigen Zeitpunkt die Durchführung präziser Bild-, Video-, Sprach- und Textanalysen.48 Viele Systeme, die im Recruiting zum Einsatz kommen, beinhalten klassische wie auch selbstlernende Algorithmen.49 Der Entscheidungsfindungsprozess reicht dabei von der Datenerfassung über die Datenanalyse bis hin zur Deutung und Interpretation der Ergebnisse und der Ableitung einer Entscheidung oder einer Entscheidungsempfehlung.50 Dazu bedarf es häufig mehrerer unterschiedlicher Algorithmen.51

III. Sind Algorithmen objektiver als Menschen?

Das Vertrauen in algorithmische Systeme beruht auf der Annahme, dass sie im Gegensatz zu Menschen keine Vorurteile, Stereotypen oder persönlichen Vorlieben in ihre Entscheidungen miteinfließen lassen.52 Recruitingverantwortliche unterliegen dagegen erwiesenermaßen bewussten oder unbewussten Vorurteilen.53 So wurde nachgewiesen, dass Menschen mit ausländisch klingenden Nachnamen auf dem Arbeitsmarkt bei gleicher Qualifikation eine nur halb so große Chance haben, zum Bewerbungsgespräch eingeladen zu werden wie Bewerbende mit deutschem Nachnamen.54 Zudem sind menschliche Entscheidungen regelmäßig Lebens- und Emotionslagen, Tagesstimmungen, dem Blutzuckerspiegel, Müdigkeit, Launen oder eben Vorurteilen unterworfen.55 Da Personalentscheidungen stets auch über Zugangs- und Teilhabechancen am Arbeitsmarkt entscheiden, könnten algorithmische Systeme dazu beitragen, Auswahlentscheidungen zu objektivieren.56 Dies setzt jedoch voraus, dass sie selbst wertfrei und neutral beurteilen und nicht ihrerseits bestimmten Vorurteilen unterworfen sind. Wie im Folgenden zu zeigen sein wird, ist insbesondere bei selbstlernenden Algorithmen der Vorteil des kontinuierlichen und selbstständigen Weiterentwickelns und Lernens gleichzeitig auch als deren größte Schwachstelle anzusehen, da sie stets in Abhängigkeit von den eingespeisten Daten agieren.

1. Modellfehler

Bereits bei der Entwicklung oder Modellierung von Algorithmen können verschiedene handwerkliche Fehler auftreten.57 Ein solcher Modellfehler liegt beispielsweise vor, wenn sich unbewusste oder bewusste Vorurteile von Programmierer/-innen im Algorithmus widerspiegeln.58

a) Die Zielvariable

Algorithmen sind Werkzeuge, die konstruiert werden, um bestimmte Zwecke zu erfüllen.59 Somit muss zunächst definiert werden, was vorhergesagt oder geschätzt werden soll, was also beispielsweise „gute Mitarbeitende“ ausmacht.60 Diese Bestimmung wie auch die Festlegung von Indikatoren zur Messung bestimmter Kompetenzen stellen die Hauptherausforderung eines jeden Rekrutierungsprozesses dar.61 Dabei verlangt der Einsatz algorithmischer Systeme jedoch ein viel genaueres Vorgehen, als dies bislang nötig war.62 So benötigen Algorithmen genaue Vorgaben bezüglich der Merkmale, die ungeeignete von geeigneten Kandidaten/-innen unterscheiden, um auf Grundlage dieser Informationen mit dem Lernprozess beginnen zu können.63 Insofern bietet der Einsatz algorithmischer Systeme Unternehmen einen Anlass ihre Ziele genauer zu definieren und sich mit der bisherigen Entscheidungspraxis kritisch auseinanderzusetzen.64 Auch wenn algorithmische Systeme dazu imstande sind, selbstständig zu lernen und eigene Lösungswege zu finden, müssen ihnen die Ziele und Rahmenbedingungen von Menschen vorgegeben werden.65 Daher fließen bei der Modellierung von Algorithmen immer auch die Ansichten, Neigungen und Wertmuster ihrer Schöpfer/-innen mit ein.66 Sie können daher nur so objektiv und neutral sein, wie es ihre Konstruktionsweise und ihr Einsatzzweck zulassen.67 Sucht ein Unternehmen beispielsweise geschlechterneutral nach einer Führungskraft, definiert aber als Eignungskriterium Führungserfahrung, so werden männliche Bewerbende schlicht deshalb bevorzugt, weil faktisch nach wie vor mehr Männer als Frauen über Führungserfahrung verfügen.68

b) Die Kategorisierung

Der Hauptzweck der Analyse von Datenbeständen besteht darin, Zusammenhänge zu ermitteln und abstrakte Gruppen zu bilden, um daraufhin Personen, gemäß ihrer Eigenschaften auf diese Gruppen zu verteilen.69 Zu diesem Zweck wird meist von Skalen Gebrauch gemacht, auf Grundlage derer den betreffenden Personen dann entsprechende Zahlenwerte zugeordnet werden (sogenanntes Scoring).70 Im Recruiting findet eine solche algorithmische Differenzierung vorwiegend bei der Vorselektion der Stellenbewerbenden statt.71 Als problematisch kann sich dieses Verfahren erweisen, wenn aus der Zuordnung einer Person zu einer bestimmten Gruppe Schlussfolgerungen für den Einzelfall gezogen werden, so dass für die Betroffenen rechtliche Nachteile entstehen.72 Ziel des Antidiskriminierungsrechts ist es gerade, solche Schlüsse zu verhindern, insbesondere wenn sie sich auf eines der in §1 AGG genannten Merkmale beziehen.73 Zudem ermitteln Algorithmen Korrelationen, nicht aber Kausalitäten.74 So werden von Algorithmen ausschließlich die im Zuge der Programmierung vorherbestimmten Kriterien berücksichtigt, nicht aber atypische Merkmale, die für die Beurteilung des Einzelfalls möglicherweise ebenfalls relevant sind.75 Daher bestehen berechtigte Zweifel daran, dass solche statistischen, algorithmenbasierten Entscheidungen dem Einzelfall gerecht werden können.76 Darüber hinaus kann kein algorithmisches System die Eignung der Bewerbenden exakt bestimmen, da derartige Verfahren auf Näherungsvariablen basieren und sie somit nur Gruppenwahrscheinlichkeiten vorhersagen können.77 Bei unvollständigen Informationen zu dem Hauptmerkmal einer Person wird zudem häufig auf Ersatzvariablen zurückgegriffen, die entweder unmittelbar an geschützte Merkmale anknüpfen oder Korrelationen zu geschützten Merkmalen aufweisen.78 Wird beispielsweise die Ersatzvariable „Teilzeitbeschäftigung“ verwendet, so besteht eine Korrelation zum geschützten Merkmal „Geschlecht“, da Frauen häufiger in Teilzeit arbeiten.79 Daher ergeben sich diskriminierungsrechtliche Probleme häufig aus dem Mangel an spezifischen Daten und dem Rückgriff auf Ersatzvariablen, weil Entscheidungen aufgrund einer bestimmten Gruppenzugehörigkeit getroffen werden.80

2. Die fehlerhafte Datenbasis

Bei Verfahren des maschinellen Lernens entwickeln sich Algorithmen auf Grundlage der vorgelegten Trainingsdaten stetig fort.81 Dabei werden den Algorithmen gute Entscheidungen zu Orientierungszwecken vorgelegt, um sie in die Lage zu versetzen, selbstständig vergleichbare Entscheidungen zu treffen.82 Die vorgelegten Entscheidungen dienen ihnen als vorbildhaftes Muster.83 Wird ein Algorithmus mit unvollständigen, veralteten oder gar diskriminierenden Trainingsdaten gespeist, so ist von einer fehlerhaften Datenbasis die Rede.84 Werden algorithmische Systeme beispielsweise mit aktuellen Verdienststatistiken von Männern und Frauen trainiert, ist davon auszugehen, dass sie die tatsächlich bestehenden Einkommensunterschiede zwischen Frauen und Männern als Norm begreifen und Entscheidungsvorschläge auf Grundlage dieser Erkenntnis formulieren.85 Werden die Algorithmen mit aktuellen Mitarbeiterstatistiken in männerdominierten Berufen gespeist und leiten sie daraus ab, dass für eine bestimmte Arbeitsstelle in der Vergangenheit überwiegend Männer eingestellt wurden, so könnten auch künftig männliche Bewerbende bei der Vorauswahl bevorzugt werden.86 In diesem Zusammenhang geriet Amazon.com in die öffentliche Kritik, weil der Recruiting-Algorithmus des Unternehmens Bewerbungen von Frauen systematisch aussortierte.87 Das System wurde anhand von Daten über die bestehende Amazon-Belegschaft trainiert, die im Tech-Sektor branchenüblich mehrheitlich weiß und männlich ist.88 Dieses Beispiel verdeutlicht, dass selbstlernende Systeme zwar als KI bezeichnet werden, jedoch nicht tatsächlich über Intelligenz verfügen.89 Sie können lediglich Muster erkennen und das Erlernte auf neue Daten anwenden, aber weder selbstständig denken noch Ungerechtigkeiten erkennen.90 Somit fehlt ihnen ein „ethischer Kompass“.91 Sie erkennen zwar, ob ein Zusammenhang zwischen verschiedenen Ereignissen, Eigenschaften und Verhaltensweisen besteht, nicht aber, ob es sich dabei um Ursache und Wirkung handelt.92 Hieraus ergibt sich die Gefahr, dass bestehende Ungerechtigkeiten reproduziert oder gar verstärkt werden.93 Der Eindruck einer maschinellen Intelligenz, auf Grundlage dessen auch der Begriff der KI geprägt wurde, ist schlicht auf die hohe Rechenleistung zurückzuführen, die im Zuge der Digitalisierung und der damit verbundenen Datafizierung erreicht worden ist.94 Denn erst die großen Datenmengen, die Algorithmen heute zur Verfügung stehen, machen sie so wirkungsvoll.95 Darüber hinaus kann es auch durch absichtliche oder unabsichtliche Unter- oder Überrepräsentation von Personengruppen bei dem Modelltraining zu Diskriminierungseffekten kommen.96 Werden die Algorithmen einer Gesichtserkennungssoftware mit einseitigen Trainingsdaten gespeist, wie etwa ausschließlich Bildern von weißen Personen, so haben sie anschließend Schwierigkeiten, schwarze Personen richtig zu erkennen.97 So sorgte eine Gesichtserkennungssoftware von Google für besonderes Aufsehen, als sie dunkelhäutige Menschen als Gorillas einstufte.98 Je mehr Trainingsdaten einem Lernalgorithmus vorgelegt werden, desto besser ist das erzeugte Modell und desto geringer ist die Fehlerquote.99

3. Das Black-Box-Problem

Ein weiterer wesentlicher Nachteil selbstlernender Algorithmen besteht darin, dass sie meist wie eine Black Box arbeiten. Demnach geben sie in der Regel keine Auskunft darüber, warum sie zu einem bestimmten Ergebnis gekommen sind.100 Im schlimmsten Fall kann es so dazu kommen, dass das Geschlecht, die Hautfarbe oder die Religion die Entscheidungsfindung beeinflussen. Zudem können algorithmische Systeme deutlich mehr Variablen verarbeiten als klassische, statistische Verfahren. Dadurch steigt auch das Risiko, dass bestimmte Korrelationen zu geschützten Merkmalen unbemerkt bleiben.101 So ermitteln Algorithmen vielfach Zusammenhänge, die Menschen nicht bewusst sind.102 Insbesondere bei komplexen maschinellen Lernverfahren, die auf der Nutzung neuronaler Netze basieren, können selbst ihre Schöpfer/-innen häufig nicht genau sagen, aus welchen Gründen eine Entscheidung getroffen wurde.103 Es bleibt festzuhalten, dass Algorithmen nicht per se objektivere Entscheidungen treffen als Menschen. Auch sie sind anfällig für Fehler, insbesondere wenn sich der Algorithmus verselbstständigt. Denn sowohl ihre Zielsetzung als auch ihre Modellierung wird von Menschen bestimmt. Zudem haben fehlerhafte algorithmische Systeme besonders gravierende Folgen, da schnell hohe Fallzahlen erreicht werden.104

IV. Diskriminierungsrisiken beim Einsatz von Algorithmen und KI in der Personalauswahl

Im Folgenden sollen die gängigen algorithmischen Systeme zur Auswahl von Bewerbenden und die damit verbundenen Diskriminierungsrisiken einer näheren Betrachtung unterzogen werden.

1. Diskriminierungsrisiken durch CV- Parsing

Sogenannte CV-Parsing-Programme unterstützen Recruitingverantwortliche bei der Durchsicht von Lebensläufen. Dabei werden automatisch Schlüsseldaten erfasst und bewertet, um auf diese Weise festzustellen, welche Kandidaten/-innen für eine offene Stelle grundsätzlich geeignet sind und die betreffenden Personen in die nächste Auswahlrunde zu schicken.105 Lebensläufe können so gezielt nach bestimmten Kriterien durchsucht werden. Kommt ein Unternehmen beispielsweise zu dem Ergebnis, dass die innovativsten Softwareentwickler/-innen in ihrer Freizeit bestimmten Hobbys nachgehen, können Bewerbungsunterlagen gezielt nach diesen Kriterien durchsucht werden.106 Gleichzeitig birgt ein solches automatisches CV-Filtering jedoch auch Gefahren, wie am Beispiel des von Amazon genutzten Recruiting-Algorithmus bereits verdeutlicht wurde. Dieser sortierte Bewerbungen von Frauen systematisch aus, weil für die ausgeschriebene Stelle in der Vergangenheit bevorzugt Männer eingestellt worden waren.107 Assoziiert die Software zudem mit bestimmten Namen wie „Mandy“, „Kevin“ oder „Mohammed“ eine geringe Zuverlässigkeit, laufen Betroffene Gefahr, durch ein Raster zu fallen und keine Einladung zu Vorstellungsgesprächen zu erhalten.108 Darüber hinaus kann ein Algorithmus nach der Durchsicht einer Vielzahl an Bewerbungen zu dem Ergebnis kommen, dass bestimmte Bewerbende aufgrund ihres Wohnortes nicht für eine Stelle geeignet sind. So erkannte beispielsweise eine in den USA eingesetzte Software einen Zusammenhang zwischen einer hohen Fluktuation von Mitarbeitenden und der Entfernung zwischen Wohnort und Arbeitsplatz. Das Programm gab die Empfehlung aus, von der Einstellung von Bewerbenden aus den Außenbezirken abzusehen. Bei diesen handelte es sich vornehmlich um schwarze Personen.109 Auch wenn der Algorithmus in diesem Fall nicht unmittelbar auf die ethnische Herkunft abzielt, kann es durch unbemerkte Korrelationen zu mittelbaren Diskriminierungsformen kommen. Über das Kriterium des Wohnorts können Algorithmen dann bestehende Ungleichbehandlungen intensivieren, da in bestimmten sozial benachteiligten Wohngegenden beispielsweise häufig Personen mit Migrationshintergrund leben.110 Ebenso könnte von einem Stadtteil auf eine bestimmte Religionszugehörigkeit geschlossen werden, wenn dort überdurchschnittlich viele Menschen mit einem bestimmten Migrationshintergrund leben.111 CV-Filtering kann darüber hinaus auch in Chatbots integriert werden. Chatbots sind zumeist textbasierte Systeme, die in sozialen Netzwerken gezielt auf die Eingaben eines menschlichen Dialogpartners reagieren können.112 Sie werden teilweise optisch durch einen sogenannten Avatar repräsentiert und lassen sich an alle gängigen Bewerbermanagementsysteme anbinden.113 Bewerbende können dem Chatbot Fragen rund um die ausgeschriebene Stelle oder das Unternehmen stellen. Zwar sind Chatbots nicht dazu in der Lage, Gesprächsinhalte zu begreifen; allerdings können sie Zusammenhänge aus der Gesprächsführung erkennen und so auf Basis der ihnen zur Verfügung gestellten Konversationsdaten eine geeignete Antwort ermitteln.114 Außerdem können sie die Kandidaten/-innen vorab „screenen“, um auf diese Weise Gemeinsamkeiten zwischen dem Unternehmen und dem Suchprofil festzustellen. Beispielsweise kann ein Chatbot eine Person, die sich aus New York auf eine Stelle in Berlin bewirbt, nach ihrer Umzugsbereitschaft fragen. Wird diese Screening-Frage verneint, kann die Person von vornherein für diese und andere Stellen in Berlin ausgeschlossen werden.115 Beim Einsatz von Chatboots besteht insbesondere die Gefahr, dass unzulässige Fragen gestellt werden, also solche, die an ein Merkmal des §1 AGG anknüpfen.116 Denn eine auf Logik, Effektivität und Rationalität ausgerichtete Maschine könnte erkennen, dass Bewerbende mit bestimmten Eigenschaften für eine Stelle nicht geeignet sind und so gezielt nach diesen Eigenschaften fragen.117 Wie schnell sich solche Chatbots verselbstständigen, wird am Beispiel des Chatbots Tay von Microsoft deutlich. Der weibliche Avatar wurde programmiert, um sich in Foren-Diskussionen einzubringen. Der Chatbot erweiterte kontinuierlich seine Konversationsfähigkeiten, indem er aus den Gesprächen mit menschlichen Dialogpartnern lernte.118 Dabei wurde sein Einsatz nach 24 Stunden eingestellt, da er rechtsradikale und sexistische Äußerungen von Menschen im Forum übernahm und diese reproduzierte.119

[...]


1 Im Folgenden KI genannt.

2 Wolfgang Hoffmann-Riem, AöR 2017, S.4.

3 Boris Dzida, NZA 2017, S.541 (541).

4 Carmen Freyler, NZA 2020, S.284 (285); Robert Peters, Robo-Recruiting – Einsatz künstlicher Intelligenz bei der Personalauswahl, 2020, S.3.

5 Carmen Freyler, NZA 2020, S.284 (284); Boris Dzida, NZA 2017 S.541 (542); Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.11.

6 Boris Dzida, Naemi Groh, NJW 2018, S.1917 (1917).

7 Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.22; Boris Dzida, Naemi Groh, NJW 2018, S.1917 (1917).

8 Judith Scheer, Algorithmen und ihr Diskriminierungsrisiko, 2019, S.10.

9 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.16; Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.22.

10 Boris Dzida, Naemi Groh, NJW 2018, S.1917 (1917).

11 Carmen Freyler, NZA 2020, S.284 (284).

12 Tim Weitzel, Christian Maier, Christoph Weinert, Digitalisierung und Zukunft der Arbeit - Ausgewählte Ergebnisse der Recruiting Trends 2020, S.10.

13 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.24.

14 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.13.

15 Sarah Fischer, Thomas Petersen, Was Deutschland über Algorithmen weiß und denkt, 2018, S.4.

16 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.17; Robert Peters, Robo-Recruiting – Einsatz künstlicher Intelligenz bei der Personalauswahl, 2020, S.7.

17 Künstliche Intelligenz im Personalwesen, Haufe Online Redaktion vom 7.3.2019, abrufbar unter: https://www.haufe.de/personal/hr-management/kuenstliche-intelligenz-im-personalwesen_80_484842.html (zuletzt abgerufen am 30.11.2020).

18 Tim Verhoeven, Paul Goldmann in: Tim Verhoeven, Digitalisierung im Recruiting, 2019, S.7 (18).

19 Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.6.

20 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.10 (11f.).

21 Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.17.

22 Boris Dzida, Naemi Groh, NJW 2018, S.1917 (1919).

23 Joachim Diercks in: Tim Verhoeven, Digitalisierung im Recruiting, 2019, S.79 (80).

24 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.12.

25 Roni Mermelshtine in: StepStone: Recruiting mit Persönlichkeit, 2018, S.12; Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.14.

26 Bundesministerium für Wirtschaft und Energie, Pressemitt. Fachkräftesicherung vom 28.02.2020, Bundeswirtschaftsminister Altmaier: „Wir brauchen Fachkräfte“, abrufbar unter: https://www.bmwi.de/Redaktion/DE/Pressemitteilungen/2020/20200228-altmaier-wir-brauchen-fachkraefte.html (zuletzt abgerufen am 30.11.2020).

27 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.10; Joachim Diercks in: Tim Verhoeven, Digitalisierung im Recruiting, 2019, S.79 (83).

28 Rudi Bauer in: Tim Verhoeven, Digitalisierung im Recruiting, 2019, S.135 (136).

29 Martin Lützeler, Désirée Kopp, ArbRAktuell 2015, S.491 (491); Rudi Bauer in: Tim Verhoeven, Digitalisierung im Recruiting, 2019, S.135 (136).

30 Rudi Bauer in: Tim Verhoeven, Digitalisierung im Recruiting, 2019, S.135 (144).

31 Roni Mermelshtine in: StepStone: Recruiting mit Persönlichkeit, 2018, S.12.

32 Christoph Betz, ZD 2019, S.148 (148).

33 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.14.

34 Boris Dzida, NZA 2017 S.541 (542).

35 Wolfgang Hoffmann-Riem, AöR 2017, S.2 (3 f.); Katharina A. Zweig, Wo Maschinen irren können, 2018, S.11.

36 Armin P. Barth, Algorithmik für Einsteiger, 2014, S.10; Christian Ernst, JZ 2017, S.1026 (1026).

37 Christian Ernst, JZ 2017, S.1026 (1026).

38 Wolfgang Hoffmann-Riem, AöR 2017, S.28; Christian Ernst, JZ 2017, S.1026 (1026).

39 Hans Steege, MMR 2019, S.715 (716).

40 Armin P. Barth, Algorithmik für Einsteiger, 2014, S.8; Christian Ernst, JZ 2017, S.1026 (1026); Thomas Wischmeyer, AöR 2018, S.13.

41 Kilian Vieth, Ben Wagner, Teilhabe, ausgerechnet, Wie algorithmische Prozesse Teilhabechancen beeinflussen können, 2017, S.10.

42 Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.8; Inga Döbel, Miriam Leis, Manuel Molina Vogelsang, Maschinelles Lernen, 2018, S.8.

43 Mario Martini, Blackbox Algorithmus, 2019, S.19; Thomas Wischmeyer, AöR 2018, S.3.

44 Inga Döbel, Miriam Leis, Manuel Molina Vogelsang, Maschinelles Lernen, 2018, S.8.

45 Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.1; Inga Döbel, Miriam Leis, Manuel Molina Vogelsang, Maschinelles Lernen, 2018, S.8.

46 Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.7.

47 Kai v. Lewinski, Raphael de Barros Fritz, NZA 2018, S.620 (620); Boris Dzida, NZA 2017, S.541 (542).

48 Inga Döbel, Miriam Leis, Manuel Molina Vogelsang, Maschinelles Lernen, 2018, S.11.

49 Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.5.

50 Kilian Vieth, Ben Wagner, Teilhabe, ausgerechnet, Wie algorithmische Prozesse Teilhabechancen beeinflussen können, 2017, S.10.

51 Katharina A. Zweig, Wo Maschinen irren können, 2018, S.13.

52 Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.22.

53 Boris Dzida, Naemi Groh, NJW 2018, S.1917 (1917).

54 Siehe Jan Schneider, Ruta Yemane, Martin Weinmann, Diskriminierung am Ausbildungsmarkt: Ausmaß, Ursachen und Handlungsperspektiven, 2014.

55 Mario Martini, Blackbox Algorithmus, 2019, S.47.

56 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.15.

57 Katharina A. Zweig, Wo Maschinen irren können, 2018, S.21.

58 Boris Dzida, Naemi Groh, NJW 2018, S.1917 (1917).

59 Christian Ernst, JZ 2017, S.1026 (1029); Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.3.

60 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.16; Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.77.

61 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.25.

62 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.7.

63 Joachim Diercks in: Tim Verhoeven, Digitalisierung im Recruiting, 2019, S.79 (96).

64 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.21.

65 Wolfgang Hoffmann-Riem, AöR 2017, S.28; Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.15.

66 Mario Martini, JZ 2017, S.1017 (1018).

67 Christian Ernst, JZ 2017, S.1026 (1029).

68 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.21.

69 Kai v. Lewinski, Raphael de Barros Fritz, NZA 2018, S.620 (620); Wolfgang Hoffmann-Riem, AöR 2017, S.12 (13 f.).

70 Katharina A. Zweig, Wo Maschinen irren können, 2018, S.12.

71 Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.17.

72 Thomas Wischmeyer, AöR 2018, S.29; Kai v. Lewinski, Raphael de Barros Fritz, NZA 2018, S.620 (620).

73 Kai v. Lewinski, Raphael de Barros Fritz, NZA 2018, S.620 (620).

74 Wolfgang Hoffmann-Riem, AöR 2017, S.13; Mario Martini, JZ 2017, S.1017 (1018).

75 Christian Ernst, JZ 2017, S.1026 (1028).

76 Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.87.

77 Maximilian Tallgauer, Marion Festing, Florian Fleischmann in: Tim Verhoeven, Digitalisierung im Recruiting, 2019, S.25 (33).

78 Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.27 (28 f.).

79 Ebd., S.28; Sebastian Roloff in: BeckOK-ArbR, 57. Ed., Stand: 01.09.2020, § 3 AGG, Rn.17.

80 Thomas Wischmeyer, AöR 2018, S.29.

81 Mario Martini, JZ 2017, S.1017 (1019); Katharina A. Zweig, Wo Maschinen irren können, 2018, S.18.

82 Peter Buxmann, Holger Schmidt in: Buxmann/Schmidt, Künstliche Intelligenz, 2019, S.3 (8).

83 Mario Martini, Blackbox Algorithmus, 2019, S.50.

84 Boris Dzida, Naemi Groh, NJW 2018, S.1917 (1917).

85 Mario Martini, Blackbox Algorithmus, 2019, S.51.

86 Boris Dzida, Naemi Groh, NJW 2018, S.1917 (1917).

87 Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.34.

88 Felicitas Wilke, „Bewerbungsroboter: Künstliche Intelligenz diskriminiert (noch)“ in: ZEIT.de vom 18.10.2018, abrufbar unter: https://www.zeit.de/arbeit/2018-10/bewerbungsroboter-kuenstliche-intelligenz-amazon-frauen-diskriminierung (zuletzt abgerufen am 30.11.2020).

89 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.15; Thomas Wischmeyer, AöR 2018, S.3.

90 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.15; Mario Martini, Blackbox Algorithmus, 2019, S.50.

91 Mario Martini, JZ 2017, S.1017 (1018).

92 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.15 (16 f.).

93 Christian Ernst, JZ 2017, S.1026 (1028); Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.13.

94 Paul Bünau, Algorithmen und Transparenz, LR 2018, S.98 (99).

95 Karl Geißler in: Kramer IT-Arbeitsrecht, 2. Aufl. 2019, Rn.1070; Paul Bünau, Algorithmen und Transparenz, LR 2018, S.98 (100).

96 Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.79.

97 Eva Wolfangel, „Programmierter Rassismus“ in: ZEIT.de vom 19.06.2018, abrufbar unter: https://www.zeit.de/digital/internet/2018-05/algorithmen-rassismus-diskriminierung-daten-vorurteile-alltagsrassismus (zuletzt abgerufen am 30.11.2020).

98 Chris Köver, „Gesichtserkennung: Kritik macht Algorithmen genauer, nicht nur für weiße Männer“ vom 07.03.2019 in: NETZPOLITIK.org, abrufbar unter: https://netzpolitik.org/2019/gesichtserkennung-kritik-macht-algorithmen-genauer-nicht-nur-fuer-weisse-maenner/ (zuletzt abgerufen am 30.11.2020).

99 Inga Döbel, Miriam Leis, Manuel Molina Vogelsang, Maschinelles Lernen, 2018, S.11.

100 Thomas Wischmeyer, AöR 2018, S.8; Peter Buxmann, Holger Schmidt in: Buxmann/Schmidt, Künstliche Intelligenz, 2019, S.3 (17).

101 Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.82.

102 Eva Wolfangel, „Programmierter Rassismus“ in: ZEIT.de vom 19.06.2018, abrufbar unter: https://www.zeit.de/digital/internet/2018-05/algorithmen-rassismus-diskriminierung-daten-vorurteile-alltagsrassismus (zuletzt abgerufen am 30.11.2020).

103 Mario Martini, JZ 2017, S.1017 (1020); Uwe Kischel in: BeckOk Grundgesetzt Epping/ Hillgruber, 44. Ed., Stand: 15.08.2020, Art. 3 GG, Rn.218c.

104 Tobias Knobloch, Carla Hustendt, Der maschinelle Weg zum passenden Personal, 2019, S.13.

105 Luc Dudler in: Tim Verhoeven, Digitalisierung im Recruiting, 2019, S.101 (109).

106 Boris Dzida, NZA 2017, S.541 (542).

107 Carsten Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S.34.

108 Mario Martini, JZ 2017, S.1017 (1018).

109 Eva Wolfangel, „Programmierter Rassismus“ in: ZEIT.de vom 19.06.2018, abrufbar unter: https://www.zeit.de/digital/internet/2018-05/algorithmen-rassismus-diskriminierung-daten-vorurteile-alltagsrassismus (zuletzt abgerufen am 30.11.2020).

110 Christian Ernst, JZ 2017, S.1026 (1032); Christian Straker in: Hoeren/Sieber/Holznagel, HMR, Teil15.6, Big Data und Arbeit, 52. EL 2020, Rn.39.

111 Thomas Wischmeyer, AöR 2018, S.28.

112 Wolfgang Hoffmann-Riem, AöR 2017, S.14.

113 Luc Dudler in: Tim Verhoeven, Digitalisierung im Recruiting, 2019, S.101 (106).

114 Thomas Wischmeyer, AöR 2018, S.17.

115 Luc Dudler in: Tim Verhoeven, Digitalisierung im Recruiting, 2019, S.101 (109).

116 Carmen Freyler, NZA 2020, S.284 (286).

117 Christian Kuss, Klaus Thönißen, „Was rechtlich zulässig ist und was nicht – Künstliche Intelligenz im Recruiting-Prozess“ vom 13.04.2018, abrufbar unter: https://www.cio.de/a/kuenstliche-intelligenz-im-recruiting-prozess,3564156 (zuletzt abgerufen am 30.11.2020).

118 Thomas Wischmeyer, AöR 2018, S.10.

119 Patrick Beuth, „Twitter-Nutzer machen Chatbot zur Rassistin“ vom 24.03.2016 in: ZEIT.de, abrufbar unter: https://www.zeit.de/digital/internet/2016-03/microsoft-tay-chatbot-twitter-rassistisch (zuletzt abgerufen am 30.11.2020).

Ende der Leseprobe aus 45 Seiten

Details

Titel
Robot-Recruiting. Diskriminierungsrisiken nach dem AGG beim Einsatz von (Recruiting-) Algorithmen im Bewerbungsverfahren
Hochschule
FernUniversität Hagen
Note
1,0
Autor
Jahr
2020
Seiten
45
Katalognummer
V990296
ISBN (eBook)
9783346353139
ISBN (Buch)
9783346353146
Sprache
Deutsch
Schlagworte
robot-recruiting, diskriminierungsrisiken, einsatz, recruiting-, algorithmen, bewerbungsverfahren, agg, automatisierte entscheidungsfindung, künstliche intelligenz, dsgvo
Arbeit zitieren
Alexandra Vesenjak (Autor), 2020, Robot-Recruiting. Diskriminierungsrisiken nach dem AGG beim Einsatz von (Recruiting-) Algorithmen im Bewerbungsverfahren, München, GRIN Verlag, https://www.grin.com/document/990296

Kommentare

  • Noch keine Kommentare.
Im eBook lesen
Titel: Robot-Recruiting. Diskriminierungsrisiken nach dem AGG beim Einsatz von (Recruiting-) Algorithmen im Bewerbungsverfahren



Ihre Arbeit hochladen

Ihre Hausarbeit / Abschlussarbeit:

- Publikation als eBook und Buch
- Hohes Honorar auf die Verkäufe
- Für Sie komplett kostenlos – mit ISBN
- Es dauert nur 5 Minuten
- Jede Arbeit findet Leser

Kostenlos Autor werden