Ανάπτυξη αλγορίθμων για την επεξεργασία δεδομένων φυσικής γλώσσας

Abstract

Στα πλαίσια της Διδακτορικής Διατριβής αναπτύχθηκε ένα σύστημα αυτόματης κατασκευής μορφολογικών λεξικών. Το σύστημα αυτό αποτελείται από τρία επιμέρους υποτμήματα συνδεδεμένα σειριακά, ώστε καθένα να λαμβάνει ως είσοδο την έξοδο του προηγουμένου. Το πρώτο υποσύστημα δέχεται ως είσοδο τη συλλογή κειμένων που θα αποτελέσει τη βάση δημιουργίας του μορφολογικού λεξικού και αναγνωρίζει τις λέξεις που υπάρχουν σε αυτήν δημιουργώντας μια λίστα μοναδικών λέξεων. Η λίστα αυτή αποτελεί την είσοδο του δεύτερου υποσυστήματος, που στοχεύει στο χωρισμό των λέξεων που έχουν αναγνωριστεί σε δύο τμήματα, το θέμα και την κατάληξη. Για την υλοποίηση του δεύτερου υποσυστήματος αναπτύχθηκαν τρεις διαφορετικές παραλλαγές: α. ένα ευρετικό σύστημα, β. ένα σύστημα που βασίζεται στην απόσταση Levenshtein και γ. ένα σύστημα που βασίζεται στους γενετικούς αλγορίθμους. Η τρίτη παραλλαγή είναι εκείνη που δίνει τα βέλτιστα αποτελέσματα και επιτρέπει μέσω ενός περιορισμένου συνόλου εκπαίδευσης την εύκολη προσαρμογή στις απαιτήσεις του χρήστη σε ότι αφορά την μορφολογική ανάλυση. Η έξοδος του δεύτερου υποσυστήματος, με οποιαδήποτε από τις τρεις παραλλαγές και αν υλοποιηθεί είναι η λίστα λέξεων της εισόδου χωρισμένη σε θέματα και καταλήξεις. Το τρίτο και τελευταίο υποσύστημα παίρνει ως είσοδο τις χωρισμένες λέξεις και επιχειρεί να ομαδοποιήσει τα θέματά τους με τρόπο τέτοιο που να προσομοιώνει τα κλιτικά παραδείγματα ενός μορφολογικού λεξικού. Κάθε θέμα αποτελεί ξεχωριστό στοιχείο εισόδου με χαρακτηριστικά τις καταλήξεις που απαντώνται στο σύνολο των λέξεων. Τα θέματα ομαδοποιούνται σταδιακά χρησιμοποιώντας έναν συσσωρευτικό αλγόριθμο δημιουργώντας ομάδες με παρόμοια χαρακτηριστικά.