Η πολυτροπικότητα σε τηλεοπτικές συνομιλίες: ανάπτυξη και αξιοποίηση οπτικοακουστικών σωμάτων κειμένων στη διερεύνηση και τυποποίηση της πολυτροπικής επικοινωνίας

Abstract

The research presented in this thesis explores the multimodal aspects of communication in the genre of television interviews. Specifically, it unfolds a cross-disciplinary, corpus-based approach on the communicative role of the non-verbal expressions (gestures, facial expressions, body posture) employed by the interview participants and their interplay with speech in terms of their contribution to the structure, content and perception of a participant’s message. Taking into account previous and state-of the-art research on the analysis of non-verbal interaction, the thesis addresses both methodological and research issues. The former deal with the development of a multimodal corpus and the related design of an appropriate coding scheme applied for the annotation of the data via a computational tool catering for the handling of the audiovisual input and the respective structured output format. The resulting annotated corpus attestations are studied in detail in an attempt to find evidence about their systematic role as well as to explore non-verbal communicative patterns through which the speakers regulate their interaction. The analysis focuses on the distribution and frequency of the various features, the classification of non-verbal expressions according to semiotic, semantic and pragmatic criteria as well as their mapping to semantic equivalent and syntactic constituents, shedding light to the detailed ways in which the linguistic and the non-verbal system interact in the effective, synchronised communication of information. Furthermore, the thesis investigates the effect of the situational and conversational setting of each interview, as well as possible cross-cultural diversities, on the interactional behavior of the participants and their preferences. Finally, it concludes with recommendations on the exploitation of the resulting research and future work.

Η παρούσα διατριβή εξετάζει τις πολυτροπικές πλευρές της επικοινωνίας στο κειμενικό γένος των τηλεοπτικών συνεντεύξεων. Συγκεκριμένα, αποτελεί διεπιστημονική και βασισμένη σε σώμα κειμένων προσέγγιση στον επικοινωνιακό ρόλο των μη λεκτικών εκφράσεων (χειρονομίες, εκφράσεις του προσώπου, θέση του κορμού) που υιοθετούν οι ομιλητές των συνεντεύξεων, καθώς και στη διάδρασή τους με τον προφορικό λόγο και τη συνεισφορά τους στη δομή, το περιεχόμενο και την αντίληψη του μηνύματος. Παράλληλα με την αξιοποίηση των πρότερων και σύγχρονων ερευνητικών πορισμάτων, η διατριβή πραγματεύεται τόσο μεθοδολογικά όσο και ερευνητικά ζητήματα. Τα πρώτα αφορούν στην ανάπτυξη πολυτροπικού σώματος κειμένων, διαδικασία που περιλαμβάνει το σχεδιασμό σχήματος επισημείωσης και την εφαρμογή του στα δεδομένα μέσω του κατάλληλου υπολογιστικού εργαλείου που διαχειρίζεται με αποτελεσματικό τρόπο τα οπτικοακουστικά δεδομένα εισόδου, παράγοντας δομημένες περιγραφές. Οι πραγματώσεις του επισημειωμένου σώματος εξετάζονται λεπτομερώς με στόχο να εντοπιστούν ενδείξεις της συστηματικότητάς τους, καθώς και να διερευνηθούν μη λεκτικά επικοινωνιακά πρότυπα συμπεριφοράς, μέσω των οποίων οι ομιλητές ρυθμίζουν τη διάδραση. Η ανάλυση επικεντρώνεται στην κατανομή και τη συχνότητα των διαφόρων τιμών, την κατηγοριοποίηση των μη λεκτικών εκφράσεων βάσει σημειολογικών, σημασιολογικών και πραγματολογικών κριτηρίων, καθώς και την αντιστοίχισή τους με σημασιολογικά και συντακτικά λεκτικά ισοδύναμα, διαφωτίζοντας τους τρόπους με τους οποίους το γλωσσικό και το μη λεκτικό σύστημα αλληλεπιδρούν στην αποτελεσματική και συγχρονισμένη μετάδοση της πληροφορίας. Επιπλέον, εξετάζεται η επίδραση του καταστασιακού και συνομιλιακού περικειμένου κάθε συνέντευξης, καθώς και της διαπολιτισμικής ποικιλότητας, στη διαδραστική συμπεριφορά των ομιλητών και τις προτιμήσεις τους. Τέλος, προτείνονται τρόποι αξιοποίησης και μελλοντικές επεκτάσεις της εν λόγω ερευνητικής δραστηριότητας.