Διερεύνηση και τεκμηρίωση σύγχρονων κατανεμημένων μεθόδων και τεχνικών για την εξόρυξη και ανάλυση Μεγάλων Δεδομένων στα άκρα
Keywords
Edge computing ; Big DataAbstract
Η παρούσα διπλωματική εργασία έχει ως στόχο τη διερεύνηση τεχνολογιών και εργαλείων για τη
δημιουργία ενός κατανεμημένου συστήματος υπολογισμού κοντά στο υπολογιστικό άκρο (edge
computing). Ο υπολογισμός στο άκρο αποτελεί σημαντικό ερευνητικό θέμα καθώς η κυρίαρχη
πρακτική της χρήσης του υπολογιστικού νέφους για κάθε υπολογισμό φέρει μειονεκτήματα σε
επίπεδο σημαντικών χρονικών καθυστερήσεων και ασφάλειας δεδομένων. Ως λύση προτείνεται
η μεταφορά μέρους ή του συνόλου των υπολογισμών στο άκρο, δηλαδή κοντά στο σημείο
συλλογής των δεδομένων. Η λύση αυτή, αν και είναι εύκολη για μικρά συστήματα, αρχίζει να
παρουσιάζει σημαντικές προκλήσεις όσο αυξάνεται το μέγεθος και η πολυπλοκότητα του
συστήματος. Στο παράδειγμα της έξυπνης πόλης και του έξυπνου δικτύου ηλεκτρικής ενέργειας
για παράδειγμα, το πλήθος και η ετερογένεια των συσκευών που συμμετέχουν στο σύστημα
αποτελεί σημαντικό παράγοντα που πρέπει να αντιμετωπιστεί. Η παρούσα εργασία επιδιώκει να
προσφέρει στο συγκεκριμένο χώρο προτείνοντας μια αρχιτεκτονική πολλαπλών επιπέδων σε ένα
κατανεμημένο σύστημα επικοινωνίας και υπολογισμού που εκτείνεται από το άκρο έως το νέφος,
αξιοποιώντας την ιδέα της συνέχειας (cloud-edge continuum). Χρησιμοποιώντας συσκευές
χαμηλής κατανάλωσης και υπολογιστικής ισχύος σε συνδυασμό με πιο ισχυρό υλικό όπου αυτό
επιβάλλεται, μπορούμε να διαρθρώσουμε ένα σύστημα στο οποίο θα ομαδοποιούνται χωρικά
συσκευές και η επεξεργασία των δεδομένων τους θα γίνεται κατά τόπους. Τα πολλαπλά επίπεδα
λειτουργούν ως υπολογιστική ομίχλη (fog) μεταξύ άκρου και νέφους, ώστε να παρέχεται ευελιξία
στον υπολογισμό και τη διαχείριση των δεδομένων. Σε επίπεδο τεχνολογιών, επιλέχθηκε η χρήση
ενός εγγενώς κατανεμημένου εργαλείου όπως είναι το Akka, το οποίο αποτελεί υλοποίηση του
actor model. Η επιλογή έγινε για να επιτευχθεί η μέγιστη δυνατή κατανομή πόρων και εργασιών
σε συνδυασμό με ασφάλεια και απλή επικοινωνία όπως αυτά παρέχονται από τους εσωτερικούς
μηχανισμούς του Akka. Παράλληλα γίνεται ανασκόπηση τεχνολογιών οι οποίες θα μπορούσαν
να χρησιμοποιηθούν για την υλοποίηση του συστήματος με τρόπο αποδοτικό και εύκολα
επεκτάσιμο.
Abstract
This thesis aims to investigate technologies and tools for creating a distributed computing system
that operates close to the edge, where data is being collected. Edge computing is an important
research topic as the dominant practice of using cloud computing for every computation carries
drawbacks in terms of significant time delays and data security. As a solution, it is proposed to
transfer part or all of the computation to the edge, i.e. close to the data collection point. This
solution, although fairly easy for small systems, starts to present significant challenges as the size
and complexity of the system increases. In the smart city and smart grid example, for instance,
the number and heterogeneity of devices involved in the system is a major factor to be addressed.
This paper seeks to contribute to this scientific domain by proposing a multi-layer architecture in
a distributed communication and computing system that extends from edge to cloud, exploiting
the idea of a cloud-edge continuum. Using low consumption and low computational power
devices combined with more powerful hardware where necessary, we can structure a system in
which devices are spatially clustered and their data is processed locally. The multiple layers act
as a computational fog between edge and cloud to provide flexibility in computing and data
management. At the technology level, the use of an inherently distributed tool such as Akka,
which is an implementation of the actor model, was chosen. The choice was made in order to
achieve the maximum possible allocation of resources and tasks combined with security and
simple communication as provided by Akka's internal mechanisms. At the same time, a review of
technologies that could be used to implement the system in an efficient and easily scalable manner
is also provided.