Im Rahmen der Arbeit wird auf Basis des maschinellen Lernens eine automatisierte Methode entwickelt, welche es erlaubt, mithilfe von Bugtrackernachrichten, Sicherheitsschwachstellen in Open Source Projekten zu erkennen. Dies erlaubt es, ökonomische Untersuchungen auf Basis der gewonnenen Daten zu tätigen, um Erkenntnisse zum Thema IT-Sicherheit, Open Source Software und Softwareentwicklung zu gewinnen.
Die Einsatzmöglichkeiten der Erkenntnisse sind im weitem Sinne vielseitig nutzbar. Einerseits geben sie einen Überblick über den Zusammenhang zwischen IT-Sicherheit, Entwicklern und Nutzern von Open Source Software, da diese Bugtrackernachrichten auf ihren Meldungen basieren. Andererseits können diese Erkenntnisse zur Erkennung von Hinweisen auf Sicherheitsschwachstellen in jenen Meldungen genutzt werden, was es Entwicklern erlaubt, diese Meldungen zu priorisieren.
Die Arbeit unterteilt sich in fünf Abschnitte. Zuerst wird im zweiten Kapitel eine Einführung in die Grundlagen der IT-Sicherheit, Open Source Software und des maschinellen Lernens gegeben. Danach wird im dritten Kapitel die aktuelle Forschung zum Thema Sicherheitsschwachstellen in der Softwareentwicklung und ihre Erkennung betrachtet. Auf Basis einer Auswahl an Projekten der Open Source Software Plattform SourceForge wird im vierten Kapitel eine Vorselektion der Bugtrackernachrichten getätigt und diese manuell klassifiziert.
Dies erlaubt es, basierend auf diesen Ergebnissen im fünften Kapitel, das maschinelle Lernen durchzuführen und die Resultate zu validieren. Im sechsten Kapitel wird eine statistische Untersuchung als Beispiel der Anwendung der Ergebnisse der Arbeit getätigt, um Einflussfaktoren in Bezug auf Sicherheitsschwachstellen in der Software zu identifizieren. Zum Abschluss wird im siebten Kapitel ein Fazit verfasst und einen Ausblick auf Ansätze für zukünftige Arbeiten gegeben.
Auf einen Blick
- Note: 1,3
- Manuelle Klassifizierung von 13.226 ausgewählten und Prüfung von 4.070 weiteren Artefakten
- Regressionsuntersuchung anhand von 197 Softwareprojekten
- 100 Quellen im Literaturverzeichnis
- 25 Abbildungen und 20 Tabellen
Inhaltsverzeichnis
1. Einleitung
1.1. Motivation
1.2. Ziele und Nutzen
1.3. Struktur der Arbeit
2. Grundlagen
2.1. Grundlagen zur IT-Sicherheit
2.1.1. Definition der IT-Sicherheit
2.1.2. Schwachstellen in der IT-Sicherheit
2.1.3. Schwachstellendatenbanken
2.2. Grundlagen zu Open Source Software und SourceForge
2.2.1. Definition der Open Source Software
2.2.2. SourceForge als Open Source Plattform
2.2.3. Bugtracker
2.2.4. Artefakt
2.3. Grundlagen des maschinellen Lernens
2.3.1. Einführung
2.3.2. Die Datenpräparation als Vorstufe des maschinellen Lernens
2.3.3. Algorithmen zur Textklassifizierung
2.3.4. Ensembles und Stacking
2.3.5. Evaluierung der Ergebnisse
3. Aktuelle Forschung
3.1. Übersicht der Herangehensweisen der aktuellen Forschung
3.2. Analytische Methoden zur Erkennung von IT-Schwachstellen
3.2.1. Mathematische Modelle
3.2.2. Automatische Methoden
3.3. Empirische Untersuchung von Aufwänden in der IT-Sicherheit
3.4. Diskussion der analytischen und empirischen Untersuchungen zur IT-Sicherheit
4. Patternbasierende Selektion und manuelle Klassifizierung von Artefakten
4.1. Datensammlung und Verarbeitung
4.2. Patternbasierende Selektion von Artefakten
4.3. Manuelle Klassifizierung von Sicherheitsschwachstellen
4.4. Analyse und Ergebnisse der manuellen Klassifizierung
4.5. Erfahrungen der manuellen Klassifizierung
4.6. Diskussion der Ergebnisse
5. Maschinelles Lernen
5.1. Problemstellung und Lösungsansätze
5.2. Datenpräparation
5.2.1. Erkennen von Codeartefakten
5.2.2. Generierung von Tokens
5.2.3. Metadaten Tokens
5.3. Durchführung und Ergebnisse des maschinellen Lernens
5.3.1. Wahl des optimalen k für k -NN
5.3.2. Veränderung der Accuracy durch Metadaten im maschinellen Lernen
5.3.3. Evaluierung der Tokenqualität
5.3.4. Evaluierung der Qualität der Algorithmen
5.4. Ensembles und Stacking
5.5. Validierung der Ergebnisse
5.5.1. Validierung auf den restlichen Artefakten der Datenbank
5.5.2. Validierung auf neuen Artefakten
5.6. Diskussion der Ergebnisse
6. Exemplarische statistische Untersuchung von ökonomischen Zusammenhängen
6.1. Problemstellung der statistischen Untersuchung
6.2. Forschungshypothesen und Modellerstellung
6.3. Statistische Auswertung des Modells
6.4. Einflussfaktoren von Security Bugs, Security Feature Request und Security Discussions
6.5. Diskussion der statistischen Ergebnisse
7. Zusammenfassung, Fazit und Ausblick
Zielsetzung und Themen
Die Arbeit entwickelt ein Verfahren, das sicherheitsrelevante Meldungen in Fehlerverwaltungssystemen von Open-Source-Projekten automatisiert erkennt. Darauf aufbauend untersucht sie, welche Zusammenhänge zwischen Sicherheitsmeldungen, Projektentwicklung und Softwarelebenszyklus bestehen.
- IT-Sicherheit und Schwachstellen in quelloffener Software
- Sammlung und manuelle Klassifizierung von SourceForge-Meldungen
- Musterbasierte Auswahl und Aufbereitung heterogener Texte
- Vergleich von Verfahren des maschinellen Lernens
- Validierung anhand weiterer Projektmeldungen
- Statistische Untersuchung von Einflussfaktoren
Auszug aus dem Buch
4.2 Patternbasierende Selektion von Artefakten
Durch das Sammeln der Artefakte steht eine große Datenmenge zur Verfügung. Diese werden in den folgenden Schritten analysiert und klassifiziert, um Daten für das maschinelle Lernen zu erhalten. Aufgrund der Größe der Datenmenge von über 140.000 Artefakten ist eine Vorselektion notwendig.
Hierbei wird die Hypothese aufgestellt, dass wenn ein Artefakt ein SI beschreibt, dieses mit einer gewissen Wahrscheinlichkeit auch ein Sicherheitsschlüsselwort (Pattern) in der Beschreibung des Problems verwendet wird (Bunke, Koschke & Sohr 2012). Auf Basis des Sans Glossar der Sicherheitsfachbegriffe wurden die hierfür benötigten Pattern erstellt, welche über Regulärere Ausdrücke (im folgendem RegEx für „Regular Expressions” genannt) beschrieben werden, um Wortstämme zu berücksichtigen (sans.org 2015; Neuhaus & Zimmermann 2010). Um Pattern genauer zu definieren, erlaubt das Framework das Verwenden von mehreren Begriffen als ein einziges Pattern. Dies ist notwendig, da einige Pattern umgangssprachlich mehrere Schreibweisen und Abkürzungen besitzen. So beschrieben „passwords”, „password”, „passwd”, „pwd” und „pw” denselben Begriff. Durch diese Funktion ist es nicht notwendig, Pattern für alle Schreibweisen eines betrachteten Wortes zu erstellen. Die verwendeten Pattern sind im Anhang ?? „Regular Expressions des patternbased Refinement” einsehbar.
Wie in Abbildung 13 zu erkennen ist, arbeitet das Framework in 3 unabhängigen Schritten, um ein optimales Ergebnis liefern zu können.
1 Patternbasierende Selektion der Artefakte
Im ersten Schritt werden alle Artefakte mittels der Patternliste gefiltert und das Artefakt in eine Tabelle mit allen selektierten Artefakten kopiert. Dies erlaubt es, mit den selektierten Artefakten arbeiten zu können, ohne dass das ursprüngliche Artefakt verändert wird.
2 Aktualisierung der Selektionspattern
Darauf folgend werden für alle selektierten Artefakte der Datenbankeintrag mit den Pattern, durch welche sie selektiert wurden, aktualisiert. Dies erlaubt die schnellere Betrachtung von Ergebnissen bei geänderten Pattern auf die selektierten Artefakte (Beispielweise bei einer Patternreduktion).
3 Datenbereinigung
Zuletzt werden die selektierten Artefakte auf Duplikate überprüft, die durch einen Doppelpost entstanden sein könnten, und anschließend bereinigt.
Die patternbasierende Selektion ist ein fortlaufender Prozess, bei dem die Erfahrung der manuellen Klassifizierung zur Optimierung der patternbasierenden Selektion verwendet wird, bei der während des gesamten Prozesses Pattern korrigiert, reduziert und neue hinzugefügt wurden. Hierbei ist ein Spam-Problem aufgefallen. Durch eine Vorfilterung aller Artefakte nach Artefakten mit mehr als 15 Webadressen und zur Spamerkennung verwendeten Pattern konnte dies gelöst werden. Hierbei wurden in Spamnachrichten üblichen Wörtern wie „viagra” und „drugs” als Pattern verwendet. Eine manuelle Überprüfung der als Spam klassifizierten Artefakte hat keine Fehleinstufung eines Artefakts als Spam ergeben.
Die selektierten Artefakte werden nun manuell in SI und nSI klassifiziert, welche im folgendem Kapitel als Eingabe für das maschinelle Lernen verwendet werden.
Zusammenfassung der Kapitel
1. Einleitung: Die Einleitung erläutert die Bedeutung sicherer Softwareentwicklung und begründet die Untersuchung von Fehlermeldungen aus Open-Source-Projekten.
2. Grundlagen: Das Kapitel führt in IT-Sicherheit, SourceForge, Fehlerverwaltung und maschinelle Textklassifizierung ein.
3. Aktuelle Forschung: Analytische und empirische Ansätze zur Erkennung von Schwachstellen und zur Untersuchung von Sicherheitsaufwänden werden gegenübergestellt.
4. Patternbasierende Selektion und manuelle Klassifizierung von Artefakten: Das Kapitel beschreibt Datensammlung, musterbasierte Vorauswahl und manuelle Einordnung der Meldungen sowie die dabei gesammelten Erfahrungen.
5. Maschinelles Lernen: Verschiedene Textmerkmale und Lernverfahren werden angewandt, kombiniert und anhand weiterer Meldungen validiert.
6. Exemplarische statistische Untersuchung von ökonomischen Zusammenhängen: Eine Regressionsanalyse untersucht Sicherheitsmeldungen im Verlauf von Projektphasen unter Berücksichtigung von Downloadwachstum und Softwaretyp.
7. Zusammenfassung, Fazit und Ausblick: Abschließend werden Vorgehen und Ergebnisse zusammengeführt und Ansatzpunkte für weitere Untersuchungen aufgezeigt.
Schlüsselwörter
IT-Sicherheit, Sicherheitsschwachstellen, Sicherheitsaufwand, Open-Source-Software, SourceForge, Fehlerverwaltung, maschinelles Lernen, Textklassifizierung, Datenpräparation, reguläre Ausdrücke, Tokenisierung, Ensemblelernen, Validierung, Regressionsanalyse, Softwarelebenszyklus
Häufig gestellte Fragen
Worum geht es in der Arbeit?
Sie untersucht, wie sich sicherheitsrelevante Meldungen aus der Softwareentwicklung automatisiert erkennen und für weitere Analysen nutzen lassen.
Welche Themen stehen im Mittelpunkt?
Im Mittelpunkt stehen IT-Sicherheit, die Auswertung von Projektmeldungen, maschinelle Textklassifizierung und statistische Zusammenhänge im Softwarelebenszyklus.
Welches Ziel verfolgt die Untersuchung?
Sie soll ein automatisiertes Verfahren zur Erkennung sicherheitsrelevanter Meldungen entwickeln und dessen Daten für eine exemplarische ökonomische Untersuchung nutzen.
Welche wissenschaftlichen Methoden werden eingesetzt?
Die Arbeit verbindet Literaturauswertung, musterbasierte Datenauswahl, manuelle Klassifizierung, überwachtes maschinelles Lernen und lineare Regression.
Was wird im Hauptteil behandelt?
Der Hauptteil beschreibt die Gewinnung und Aufbereitung der Meldungen, vergleicht Lernverfahren und erläutert deren Validierung sowie eine anschließende statistische Untersuchung.
Welche Begriffe charakterisieren die Arbeit?
Wichtige Begriffe sind IT-Sicherheit, Sicherheitsmeldungen, SourceForge, Textklassifizierung, maschinelles Lernen und Regressionsanalyse.
Welche Daten dienen als Grundlage?
Untersucht werden Meldungen aus Fehlerverwaltungssystemen von Projekten auf der Open-Source-Plattform SourceForge. Ein Teil davon wird für das Lernen manuell klassifiziert.
Wie werden unterschiedliche Arten von Sicherheitsmeldungen berücksichtigt?
Die manuelle Einordnung unterscheidet unter anderem Sicherheitsfehler, Wünsche nach Sicherheitsfunktionen und sicherheitsbezogene Diskussionen.
Wie wird das erlernte Verfahren überprüft?
Die Validierung verwendet sowohl zuvor nicht musterbedingt ausgewählte Datenbankeinträge als auch neu erhobene Meldungen weiterer Projekte.
Welche Faktoren betrachtet die statistische Untersuchung?
Das Modell berücksichtigt den relativen Anteil sicherheitsrelevanter Meldungen in der vorherigen Projektphase, das Downloadwachstum und den Softwaretyp.
- Quote paper
- Sebastian Wittor (Author), 2016, Automatische Erkennung und Messung von IT-Sicherheitsaufwänden, Munich, GRIN Verlag, https://www.grin.com/document/538839
