META AI: Νέο εργαλείο μετάφρασης ομιλίας «Voicebox»

Το Meta δημιούργησε ένα νέο εργαλείο Voicebox μετάφρασης ομιλίας σε κείμενο. Το σύστημα επιτρέπει τη βελτιωμένη μετάφραση κειμένου σε ήχο. Η Meta έχει εκτυπώσει μια περίληψη του νέου της συστήματος AI « Voicebox », το οποίο μπορεί να επιτρέπει στους πελάτες να μεταφράζουν περιεχόμενο κειμένου σε ήχο, σε ποικιλία τύπων και φωνών.

Introducing Voicebox, a new breakthrough generative speech system based on Flow Matching, a new method proposed by Meta AI. It can synthesize speech across six languages, perform noise removal, edit content, transfer audio style & more.

More details on this work & examples ⬇️

— Meta AI (@MetaAI) June 16, 2023

Η Meta ισχυρίζεται ότι το Voicebox είναι η πρώτη τεχνητή νοημοσύνη που μπορεί να γενικεύσει εργασίες μετατροπής κειμένου σε ομιλία τις οποίες δεν είχε εκπαιδευτεί να εκτελεί και το περιγράφει ως «ανακάλυψη». Επιπλέον, ισχυρίζεται ότι παράγει αποτελέσματα έως και 20 φορές πιο γρήγορα από τα υπερσύγχρονα μοντέλα τεχνητής νοημοσύνης με συγκρίσιμες επιδόσεις. Το νέο σύστημα, που ονομάζεται Voicebox , αποφεύγει την παραδοσιακή αρχιτεκτονική TTS υπέρ ενός μοντέλου που μοιάζει περισσότερο με το ChatGPT του OpenAI ή το Bard της Google.

Οι κύριες διαφορές μεταξύ του Voicebox και παρόμοιων μοντέλων TTS, όπως το ElevenLabs Prime Voice AI, είναι ότι το Meta Voicebox , μπορεί να γενικεύσει μέσω της εκμάθησης εντός περιβάλλοντος. Για παράδειγμα, είναι παρόμοιο με το ChatGPT και άλλα μοντέλα μετασχηματιστών. Το Voicebox της Meta χρησιμοποιεί σύνολα δεδομένων εκπαίδευσης μεγάλης κλίμακας. Προηγούμενες προσπάθειες για τη χρήση τεράστιου όγκου δεδομένων ήχου είχαν ως αποτέλεσμα σοβαρά υποβαθμισμένες εξόδους ήχου. Για το λόγο αυτό, τα περισσότερα συστήματα TTS χρησιμοποιούν μικρά, εξαιρετικά επιμελημένα σύνολα δεδομένων με ετικέτα. Ωστόσο, η Meta ξεπερνά αυτόν τον περιορισμό μέσω ενός καινοτόμου εκπαιδευτικού σχήματος που καταργεί τις ετικέτες και την επιμέλεια για μια αρχιτεκτονική ικανή να «συμπληρώσει» πληροφορίες ήχου.

Σύμφωνα με μια ανάρτηση που δημοσίευσε η Meta AI στις 16 Ιουνίου, το νέο Voicebox είναι το «πρώτο μοντέλο που μπορεί να γενικευτεί σε εργασίες παραγωγής ομιλίας. Αυτό δίνει τη δυνατότητα στο Voicebox να μεταφράζει κείμενο σε ομιλία, να αφαιρεί τον ανεπιθύμητο θόρυβο συνθέτοντας αντικατάσταση ομιλίας και ακόμη και να εφαρμόζει τη φωνή ενός ομιλητή σε διαφορετικές γλώσσες. Σύμφωνα με μια συνοδευτική ερευνητική εργασία που δημοσιεύτηκε από τη Meta, το προεκπαιδευμένο σύστημα Voicebox μπορεί να τα επιτύχει όλα αυτά χρησιμοποιώντας μόνο το επιθυμητό κείμενο εξόδου και ένα ηχητικό κλιπ τριών δευτερολέπτων.

Όπως ορίζεται από το Meta:

Το Voicebox μπορεί να παράγει κλιπ ήχου εξαιρετικής ποιότητας και να επεξεργάζεται προηχογραφημένο ήχο – όπως η εξάλειψη των κόρνων του αυτοκινήτου ή το γαύγισμα του σκύλου – όλα αυτά διατηρώντας το υλικό περιεχομένου και την κομψότητα του ήχου. Το νέο εργαλείο της Meta AI μπορεί επίσης να είναι πολύγλωσσο και παράγει ομιλία σε έξι διαφορετικές γλώσσες. Αργά ή γρήγορα, οι μόδες τεχνητής νοημοσύνης πολλαπλών χρήσεων, όπως το Voicebox , μπορεί να δώσουν φωνές με φυσικό ήχο σε ψηφιακούς βοηθούς και χαρακτήρες που δεν είναι παίκτες εντός του μετασύμπαντος. Μπορούν να επιτρέψουν σε άτομα με προβλήματα όρασης να ακούν γραπτά μηνύματα από συνεργάτες που μαθαίνουν από την τεχνητή νοημοσύνη για τις φωνές τους, να δώσουν στους δημιουργούς νέα όργανα για να δημιουργήσουν και να επεξεργαστούν απλά κομμάτια ήχου για ταινίες και πολλά άλλα».

Όπως σημειώνει η Meta, το Voicebox σάς επιτρέπει επιπλέον να χρησιμοποιείτε τη μόδα της φωνής για μετάφραση, επομένως θα πρέπει να χρησιμοποιήσετε ένα ηχητικό κλιπ ενός άλλου ατόμου ως τρόπο για να κάνετε τη μετάφρασή σας, από κείμενο σε ομιλία, μπορείτε να το κάνετε να ακούγεται σαν να μιλάει κάποιο άλλο άτομο.

Μπορείτε να μάθετε περισσότερα για την πρόκληση του Meta’s Voicebox εδώ:

Πηγή: Social Media Today

Βρείτε περισσότερες πληροφορίες εδώ: http://bit.ly/2BPQn38

Για περισσότερες πληροφορίες επικοινωνήστε μαζί μας στο: [email protected]