Χρησιμοποιούμε καθημερινά λογισμικά επεξεργασίας εικόνας για να διορθώνουμε ατέλειες του προσώπου στις φωτογραφίες μας και γεμίζουμε τα προφίλ μας στα social media με αυτές. Μπορεί πολλές φορές μια “πειραγμένη” εικόνα να μας τραβάει την προσοχή λόγω της μεγάλης διαφοράς της με το πρωτότυπο. Πολλές φορές όμως μια τέτοια επεξεργασία περνάει απαρατήρητη από το γυμνό μάτι. Ερευνητές του UC Berkeley, σε συνεργασία με ερευνητές της Adobe, δημιούργησαν ένα εργαλείο που όχι μόνο μπορεί να καταλάβει πότε ένα πρόσωπο έχει περάσει από photoshop, αλλά μπορεί και να προτείνει τρόπους αναίρεσης της επεξεργασίας.
Πριν προχωρήσουμε, πρέπει να σημειωθεί ότι αυτό το project αφορά, τουλάχιστον σε αυτό το στάδιο, μόνο επεξεργασία που έχει γίνει από το Adobe Photoshop. Συγκεκριμένα περιορίζεται στον εντοπισμό αλλαγών που έχουν προκύψει από επεξεργασία με τη λειτουργία “Face Aware Liquify”, η οποία επιτρέπει μια μεγάλη γκάμα διορθώσεων σε διάφορα χαρακτηριστικά του προσώπου. Δεν πρόκειται λοιπόν για ένα εργαλείο με καθολική εφαρμογή, είναι ωστόσο μια πολύ σημαντική αρχή.
Η επιλογή των ερευνητών δεν ήταν, φυσικά, τυχαία. Ξεκίνησαν από την υπόθεση ότι ένα μεγάλο και σημαντικό κομμάτι στην επεξεργασία εικόνας γίνεται με τη χρήση δημοφιλών εργαλείων, με το δημοφιλέστερο ανάμεσα τους να είναι το Photoshop της Adobe. Επομένως, το να εστιάσουν στα συγκεκριμένα είδη επεξεργασίας που προσφέρουν αυτά τα εργαλεία θα ήταν ένα καλό σημείο εκκίνησης.
Για τον σκοπό αυτό, έστησαν ένα script το οποίο δημιουργεί φωτογραφίες πορτρέτου μη πραγματικών προσώπων και τις επεξεργάζεται σε μικρό βαθμό και με πολλούς τρόπους: μικρή μετακίνηση των ματιών και έμφαση στο χαμόγελο, πιο στενά μάγουλα και μύτη, και άλλα παρόμοια. Στη συνέχεια, φόρτωσαν στο μοντέλο machine learning όλες τις πρωτότυπες και τις “πειραγμένες” εικόνες, περιμένοντας να δουν αν θα καταφέρει να τις ξεχωρίσει.
Η αποτελεσματικότητα της μηχανής ήταν απρόσμενα υψηλή. Όταν παρουσίασαν σε ανθρώπους τις εικόνες και τους ρώτησαν ποιες έχουν υποστεί επεξεργασία, τα ποσοστά επιτυχίας τους μόλις που ξεπερνούσαν αυτά της τυχαίας επιλογής. Το εκπαιδευμένο νευρικό δίκτυο, από την άλλη, αναγνώριζε τις “πειραγμένες” εικόνες με ποσοστό επιτυχίας 99%.
Πώς εξηγείται τέτοια απόκλιση ανθρώπου-μηχανής; Το νευρικό δίκτυο του μηχανικού μοντέλου λειτουργεί “βλέποντας” μικροσκοπικά μοτίβα στην οπτική ροή της εικόνας, τα οποία οι άνθρωποι δεν είναι σε θέση να αντιληφθούν. Και τα ίδια αυτά μικροσκοπικά μοτίβα, υποδεικνύουν στο δίκτυο την ακριβή επεξεργασία που έχει γίνει, επιτρέποντάς του να προτείνει “αναίρεση” στην επεξεργασία ακόμα και αν δεν έχει δει ποτέ το πρωτότυπο.
Παρά την εξαιρετική δουλειά που έγινε σε αυτό το μοντέλο, δεν μιλάμε ακόμα για επανάσταση στον τομέα των digital forensics. Αφορμή της έρευνας υπήρξε εξάλλου το γεγονός ότι φωτογραφίες προσώπων γίνονται προϊόν κακόβουλης επεξεργασίας, παράνομα και χωρίς τη γνώση των ίδιων των ατόμων. Σε μια εποχή που υπάρχει μεγάλη δυσπιστία για τα ψηφιακά δεδομένα και τον τρόπο διαχείρισής τους, είναι ένα θετικό βήμα προς τη σωστή κατεύθυνση, αλλά το εύρος εφαρμογής του είναι ακόμα πολύ περιορισμένο.
Στη σελίδα του project, μπορείτε να διαβάσετε το paper με τις λεπτομέρειες της έρευνας αλλά και να δείτε τoν κώδικα που δημιούργησαν.
