Energy Price Forecasting in Italy

Γαλάνης, Παναγιώτης

Μεταπτυχιακή διπλωματική εργασία

Author

Γαλάνης, Παναγιώτης

Date

2024-06-21

Advisor

Γιαννακόπουλος, Θεόδωρος

Galanis19002.pdf (3.493Mb)

Keywords

Machine Learning ; Deep Learning ; Energy Price Forecasting ; LSTM

Abstract

Σκοπός αυτής της εργασίας είναι να διερευνήσει την αποτελεσματικότητα των αλγορίθμων Μηχανικής Μάθησης στην πρόβλεψη των τιμών ηλεκτρικής ενέργειας, με ιδιαίτερη έμφαση στην Ιταλική χονδρική αγορά ηλεκτρικής ενέργειας IPEX, ένα κύριο σημείο αναφοράς στη Νότια Ευρώπη. Αξιοποιώντας τη γνώση του τομέα, συντάχθηκε ένα εκτεταμένο σύνολο δεδομένων που περιλαμβάνει 168 μεταβλητές. Η μελέτη περιλαμβάνει την εφαρμογή διαφόρων παραδοσιακών τεχνικών μηχανικής μάθησης και νευρωνικών δικτύων, χρησιμοποιώντας σημαντικές βιβλιοθήκες Python όπως το scikit-learn και το keras. Οι αγορές ηλεκτρικής ενέργειας αλλάζουν συνεχώς, γεγονός που καθιστά αναγκαία την αλλαγή των δεδομένων εκπαίδευσης των αλγορίθμων μας. Βάσει των πειραμάτων μας, διαπιστώσαμε ότι το ιδανικό διάστημα εκπαίδευσης θα πρέπει να περιλαμβάνει μόνο τις τελευταίες 15 ημέρες ενώ οι προβλέψεις θα πρέπει να γίνονται μόνο για την επόμενη ημέρα και όχι για μεγαλύτερη περίοδο λόγω αύξησης του σφάλματος. Επιπλέον, για την επικύρωση των αποτελεσμάτων, χρησιμοποιήθηκε η διαδικασία Nested Cross Validation αντί του απλού Cross Validation για την αποφυγή data leakage. Καθώς προχωρούμε από βασικές σε πιο προηγμένες μεθοδολογίες, υπάρχει μια σαφής τάση βελτίωσης της απόδοσης. Παρατηρήσαμε μια μείωση στο Μέσο Απόλυτο Ποσοστιαίο Σφάλμα (MAPE) από περίπου 20% σε 5%, μια απόδειξη της δύναμης των νευρωνικών δικτύων στην ακριβή μοντελοποίηση της σχέσης μεταξύ των παραγόντων που επηρεάζουν τις τιμές και των προβλεπόμενων τιμών. Επιπλέον, διεξήχθη μια ανάλυση ευαισθησίας για να αξιολογηθεί η επιρροή της εξειδικευμένης γνώσης του τομέα στα αποτελέσματα, η οποία επισήμανε τον ζωτικό ρόλο που διαδραματίζει κάθε χαρακτηριστικό στην ενίσχυση της αποτελεσματικότητας των αλγορίθμων.

Abstract

Τhe aim of this thesis is to investigate the effectiveness of Machine Learning algorithms in forecasting electricity prices, with a particular emphasis on the Italian wholesale electricity market (IPEX), a key reference point in South Europe. Utilizing domain knowledge, an extensive dataset comprising 168 variables was compiled. The study encompasses the application of various conventional machine learning techniques and artificial neural networks, employing prominent Python libraries like scikit-learn and keras. Electricity markets are constantly changing, which necessitates the updating of our algorithms’ training datasets. Based on our experiments, we found that the ideal training dataset should be rolling and include only the last 15 days. Predictions should be made only for the next day and not for a longer period, as the error increases with the length of the forecast interval. Additionally, for the validation of the results, nested cross-validation was used instead of simple cross-validation because we have time-series data and we want to avoid data leakage. The nested cross-validation procedure provides an almost unbiased estimate of the true error. As we progress from basic to more advanced methodologies, there is a clear trend of enhanced performance. We observed a reduction in the Mean Absolute Percentage Error (MAPE) from around 20% to 5%, a testament to the power of artificial neural networks in accurately modelling the relationship between input factors and the predicted prices. Additionally, a sensitivity analysis was conducted to assess the influence of specialized knowledge on the results, which underscored the vital role that each feature plays in bolstering the algorithms’ effectiveness.