Einsatz einer Testsatzsammlung in Grammar Engineering

Wir haben in dieser Arbeit untersucht, wie eine Testsatzsammlung aufgebaut und im Rahmen des Grammar Engineering eingesetzt werden kann. Dabei sind wir zu folgenden Ergebnissen gekommen: Das Erstellen großer Grammatiken muß stärker als bisher strukturiert werden. Dazu haben wir die ingenieurmäßigen Aspekte des Grammar Engineering-Modell zusammengestellt. Verschiedene Arbeitsschritte dieses Modells werden durch eine Testsatzsammlung unterstützt.Die Testsatzsammlung muß unter Bezug auf traditionelle linguistische Wissensquellen erstellt und systematisch annotiert werden. Wir haben eine detaillierte Methode zur Erstellung der Testsatzsammlung und zu ihrer Repräsentation mit SGML erarbeitet. Wir haben erläutert, warum die Dokumentenbeschreibungssprache SGML sich für die Markierung der Testsätze eignet.Bei der Entwicklung einer Grammatik bietet sich eine Testsatzsammlung an für die Anforderungsdefinition, das inkrementelle Entwickeln, das Testen und die Dokumentation einer Grammatik.Wir haben eine Grammatik-Testumgebung mit integrierter Testsatzsammlung implementiert und praktische Erfahrungen damit gesammelt. Dabei hat sich gezeigt, daß die Modularisierung und Dokumentation der Grammatik, die Visualisierung der Ergebnisse sowie die Orientierung an einer Testsatzsammlung zentrale Punkte bei der Grammatikentwicklung sind. Die Visualisierung der Parsingergebnisse hat sich besonders in der Lehre als Motivationsschub für die mit dem System arbeitenden Studenten ausgewirkt. Durch die Testsatzsammlung erreichten wir ferner, daß die Aufgabenstellung und die Kommunikation zwischen Dozenten und Studierenden über die syntaktischen Phänomene konkretisiert wurden. In Kapitel 1 hatten wir Maßnahmen zur Überwindung der Probleme beim Grammar Engineering angeführt, die auf einem von [Erbach und Uszkoreit, 1990] beschriebenen Workshop zusammengestellt worden waren. In userer Arbeit haben wir Lösungswege zur Behebung von einigen dieser Probleme aufgezeigt. Bei diesem Workshop war gefordert worden, daß Forschungsprojekte zur Modularisierung von Grammatiken in Verbindung mit der Entwicklung von Grammar Engineering Methoden durchgeführt werden sollten (Punkt 1). Wir haben gezeigt, daß eine Modularisierung der Grammatik entlang der Klassifizierung der Testsätze möglich ist und daß dadurch die Testsatzsammlung in verschiedenen Phasen des Grammar Engineering einsetzbar ist. Weiterhin wurde auf diesem Workshop die Forderung erhoben, mächtige Werkzeuge für das Grammar Engineering bereitzustellen (Punkt 4). Mit GTU haben wir ein System geschaffen, das die modulare Entwicklung und einfache Austesten von Grammatiken unterstützt. GTU unterscheidet sich von anderen Entwicklungsumgebungen durch die enge Verzahnung der Testsatzsammlung mit den anderen Systemfunktionen. Besonders aber erfüllt unsere Arbeit die dort erhobene Forderung 6, die Erstellung einer Testsatzsammlung (engl. test suite ) für die Diagnose von Fehlern und die Konsistenzprüfung zwischen verschiedenen Zyklen der Grammatikentwicklung.