Studying and developing platforms for community-led scientific surveys and annotations
Keywords
Annotations campaigns surveysAbstract
A core research activity in many sciences concerns the gathering of data through
questionnaire-based surveys. On the other hand, annotation projects which require
input by field specialists become invaluable in various areas of research by creating
evaluation data for automated methods. Surveys and annotation projects share
similarities, since they both depend on participants who are prompted to answer a
set of questions, optionally referring to a particular artifact such as text segments.
Both tasks are hindered by their dependence on volunteers, who are reluctant to
participate due to the time required to be spent on them. Additionally, both tasks
may require participants of a particular background, thus burdening the research
conductors with the weight of finding suitable ones. Despite their similarity, these
tasks have been treated separately so far and different tools have been developed
to facilitate each one. In this thesis, we present a platform which finds solutions
for both tasks and in addition improves the procedures from both the organizer’s
perspective and the participant’s one. This is achieved through the incorporation
of rewarding mechanisms which make the participation in these types of tasks more
interesting and competitive and through the creation of an expert recommendation
system that facilitates and reduces the time needed for finding participants that are
domain experts.
Abstract
Σημαντικό κομμάτι των ερευνητικών δρώμενων σε πολλά επιστημονικά πεδιά σχε-
τίζεται με τη συγκέντρωση δεδομένων μέσω ερωτηματολογίων. Από την άλλη,
καμπάνιες επισημείωσης οι οποίες χρειάζονται επιμέλεια από ειδικούς στο χώρο απο-
κτούν ανεκτίμητη αξία σε διάφορους ερευνητικούς τομείς καθώς μέσω αυτών δημιουρ-
γούνται δεδομένα αξιολόγησης για αυτοματοποιημένες μεθόδους. Οι έρευνες και οι
καμπάνιες επισημείωσης παρουσιάζουν αρκετές ομοιότητες μεταξύ τους καθώς αμφότε-
ρες βασίζονται στα δεδομένα συμμετεχόντων απο τους οποίους ζητείται να απαντήσουν
σε ενα σετ από ερωτήσεις για την αξιολόγηση κάποιου συγκεκριμένου αντικειμένου,
όπως ένα κείμενο. Και οι δυο διαδικασίες αντιμετωπίζουν σαν εμπόδιο την ανάγκη για
ανθρώπους-εθελοντές, που συνήθως διστάζουν να συμμετάσχουν λόγω της χρονικής
επένδυσης που χρειάζεται. Επιπλέον, και στις δυο περιπτώσεις συχνά είναι απαραίτητη
η συμμετοχή ανθρώπων με συγκεκριμένο υπόβαθρο, πράγμα που δημιουργεί το ζήτημα
της εύρεσης εξειδικευμένων συμμετεχόντων. Παρά τις ομοιότητες τους, αυτού του
είδους εργασίες αντιμετωπίζονται σαν δυο ξεχωριστά αντικείμενα και μέχρι στιγμής
διάφορα εργαλεία έχουν αναπτυχθεί προκειμένου να τις εξυπηρετήσουν. Σε αυτή την
εργασία, παρουσιάζουμε μια πλατφόρμα η οποία βρίσκει λύσεις ταυτόχρονα και στις
δυο προαναφερθείσες περιπτώσεις και επιπροσθέτως βελτιώνει τις διαδικασίες τόσο α-
πό την πλευρά του οργανωτή όσο και από την πλευρά του συμμετέχοντος. Οι βασικοί
τρόποι μέσω των οποίων αυτό επιτυγχάνεται είναι μέσω της ενσωμάτωσης μηχανι-
σμών επιβράβευσης που καθιστούν την διαδικασία της συμμετοχής πιο ενδιαφέρουσα
και ανταγωνιστική και μέσω της δημιουργίας αυτοματοποιημένων διαδικασιών εύρε-
σης ανθρώπων προερχόμενων από επιστημονικούς τομέις, που διευκολύνει και μειώνει
αισθητά τον χρόνο αναζήτησης για εξειδικευμένους συμμετέχοντες.