Το Pinterest περιγράφει τη διαδικασία δημιουργίας παρασκηνίου AI για λήψεις προϊόντων

Το Pinterest αναπτύσσει τη δική του τεχνολογία δημιουργίας κειμένου σε εικόνα AI, η οποία έχει μια ελαφρώς διαφορετική προσέγγιση από άλλες εφαρμογές.

Σύμφωνα με μια πρόσφατη επισκόπηση από την ομάδα Engineering του Pinterest, το μοντέλο “Canvas” του Pinterest έχει σχεδιαστεί για να προσφέρει παραγόμενες επιλογές φόντου για λήψεις προϊόντων, διατηρώντας παράλληλα το ίδιο το προϊόν ως κύρια εστίαση.

Αυτή η διαδικασία απαιτεί πρόσθετη εκπαίδευση. Ενώ τα περισσότερα μοντέλα μεγάλων γλωσσών δημιουργούν εικόνες που βασίζονται σε περιγραφές κειμένου συσχετίζοντας κείμενο με οπτικά στοιχεία από άλλες εικόνες, οι λήψεις προϊόντων συχνά δεν έχουν λεπτομερείς περιγραφές του φόντου τους. Για να το αντιμετωπίσει αυτό, η ομάδα του Pinterest έχει αναπτύξει μια νέα μέθοδο διαχωρισμού του φόντου από το προσκήνιο, επιτρέποντας στους χρήστες να καθοδηγούν το εργαλείο με απλές εντολές.

Σύμφωνα με το Pinterest:

«Η εκπαίδευση του Pinterest Canvas μας δίνει ένα ισχυρό βασικό μοντέλο που κατανοεί πώς μοιάζουν τα αντικείμενα, πώς είναι τα ονόματά τους και πώς συνήθως συντίθενται σε σκηνές. Ωστόσο, όπως αναφέρθηκε προηγουμένως, ο στόχος μας είναι μοντέλα εκπαίδευσης που μπορούν να οπτικοποιήσουν ή να επαναπροσδιορίσουν πραγματικές ιδέες ή προϊόντα σε νέα πλαίσια.»

Εννοιολογικά, το Pinterest στοχεύει να αξιοποιήσει την υπάρχουσα βάση δεδομένων εικόνων προϊόντων για τον εντοπισμό κοινών τύπων πλαισίωσης, τοποθέτησης και φόντου. Αυτό θα βοηθήσει στη βελτίωση της ικανότητας του AI να δημιουργεί υπόβαθρα παρέχοντας πιο ακριβείς και σχετικές επιλογές με βάση αυτά τα καθιερωμένα πρότυπα.

Είναι μια σύνθετη προσέγγιση, αλλά το Pinterest έχει αναπτύξει με επιτυχία ένα σύστημα που το επιτυγχάνει με υψηλό βαθμό ακρίβειας.

«[Χρησιμοποιούμε ένα μοντέλο τμηματοποίησης για να δημιουργήσουμε μάσκες προϊόντων διαχωρίζοντας το προσκήνιο και το φόντο. Οι υπάρχοντες λεζάντες κειμένου συνήθως περιγράφουν μόνο το προϊόν ενώ παραμελούν το φόντο, κάτι που είναι κρίσιμο για την καθοδήγηση του φόντου στη διαδικασία ζωγραφικής, επομένως ενσωματώνουμε πιο ολοκληρωμένες και λεπτομερείς λεζάντες από ένα οπτικό LLM. Σε αυτό το στάδιο, εκπαιδεύουμε ένα LoRA σε όλα τα επίπεδα UNet για να επιτρέψουμε τη γρήγορη, αποδοτική ως προς τις παραμέτρους μικροσυντονισμό. Τέλος, προσαρμόζουμε εν συντομία ένα επιμελημένο σύνολο εικόνων προϊόντων που προωθούνται με έντονο ενδιαφέρον, για να κατευθύνουμε το μοντέλο προς την αισθητική που έχει απήχηση στα Pinners.”

Συνοπτικά, το σύστημα είναι προσαρμοσμένο για να δημιουργεί φόντο με βάση τις υπάρχουσες εικόνες Pin. Επιπλέον, το Pinterest έχει στόχο να ευθυγραμμίσει το μοντέλο με συγκεκριμένα οπτικά στυλ για να βελτιστοποιήσει περαιτέρω τη διαδικασία δημιουργίας.

Τελικά, αυτό θα επιτρέψει στις επωνυμίες να προσδιορίσουν το στυλ που προτιμούν χρησιμοποιώντας κοινούς περιγραφείς και το σύστημα του Pinterest θα παρέχει επιλογές φόντου για φωτογραφίες προϊόντων που ταιριάζουν με αυτήν την αισθητική.

Είναι μια ενδιαφέρουσα ιδέα που το Pinterest δοκιμάζει αυτήν τη στιγμή με επιλεγμένους διαφημιστικούς συνεργάτες.

Αυτός θα μπορούσε να είναι ένας αποτελεσματικός τρόπος για να δημιουργήσετε περισσότερες παραλλαγές των εικόνων Pin σας και να βελτιώσετε την ελκυστικότητα του προϊόντος σας σε διαφορετικά στυλ σχεδίασης.

Μπορείτε να διαβάσετε περισσότερα σχετικά με την προσέγγιση του Pinterest στη δημιουργία υποβάθρου AI εδώ

Πηγή: Social Media Today

Βρείτε περισσότερες πληροφορίες εδώ: http://bit.ly/2BPQn38

Για περισσότερες πληροφορίες επικοινωνήστε μαζί μας στο: [email protected]