IRL : Traduzione in tempo reale AI su OBS e StreamElements Twitch e Youtube

Abbinare strumenti di traduzione in tempo reale con piattaforme di streaming Youtube e Twitch come StreamElements o OBS (Open Broadcaster Software) può migliorare notevolmente l’esperienza di una live IRL con i nuovi applicativi all’intelligenza artificiale.. Ecco come puoi integrare queste tecnologie: OBS Studio è uno dei software di streaming più popolari e versatili, e permette di personalizzare il layout del tuo streaming con vari plugin e integrazioni.

Configurare Google Translate in OBS

Utilizza Google Translate per tradurre il testo in tempo reale. Puoi fare questo con l’app mobile o con la versione web.
Usa un’app di trascrizione vocale (ad esempio, Otter.ai) per convertire la tua voce in testo in tempo reale.
Cattura la finestra della traduzione con OBS. Aggiungi una “Window Capture” (Cattura Finestra) per mostrare la finestra di Google Translate direttamente sul tuo stream.
Personalizza l’aspetto e la posizione della finestra di traduzione per integrarla al meglio nel layout del tuo streaming.

Utilizzare un plugin per la traduzione

Ci sono vari plugin di terze parti per OBS che possono aiutare con la traduzione in tempo reale. Cerca plugin specifici per la traduzione nella libreria di plugin di OBS o su siti come GitHub. StreamElements è una piattaforma che offre strumenti per migliorare l’interazione con gli spettatori durante uno streaming.

Configurare Overlay per la traduzione
Crea un overlay personalizzato su StreamElements che include una sezione dedicata alla traduzione in tempo reale.
Utilizza un widget di testo per visualizzare le traduzioni in tempo reale. Puoi collegare questo widget a un feed di traduzione automatica utilizzando le API di Google Translate o altri servizi di traduzione. nIntegra il feed di testo nel tuo stream OBS utilizzando la funzionalità di “Browser Source” (Sorgente Browser).

Coinsigliamo l’uso di Web Captioner che permette di tradurre una lingua specifica. Seguendo questa mini guida potrai attivarlo. (web)

• Configura Web Captioner per trascrivere il tuo parlato in testo in tempo reale:
  • Accedi e concedi i permessi per usare il microfono.
  • Seleziona la lingua di inputche vuoi tradurre.
• Nelle impostazioni di Web Captioner, copia il link dell’overlay.

Interazione con il pubblico

Usa i bot di chat di StreamElements per tradurre automaticamente i messaggi della chat. Questo può essere configurato utilizzando script personalizzati che inviano i messaggi a un servizio di traduzione e poi restituiscono la traduzione nella chat. Crea comandi personalizzati che gli spettatori possono usare per tradurre specifici messaggi di chat.

Passaggi Tecnici Dettagliati

Setup di Google Translate e OBS
– Scarica e installa OBS Studio.
– Configura una nuova “Window Capture” per catturare la finestra di Google Translate.
– Posiziona la finestra di traduzione nel layout del tuo stream.

Usare API di traduzione
– Registrati per un’API key di Google Translate.
– Scrivi uno script (ad esempio in Python) che utilizza l’API per tradurre il testo in tempo reale.
– Invia l’output dello script a un file di testo che OBS può leggere e mostrare come “Text (GDI+)” source.

Automatizzare la traduzione della chat
– Crea un bot di chat utilizzando servizi come StreamElements, Nightbot o uno personalizzato.
– Integra il bot con l’API di traduzione per tradurre automaticamente i messaggi della chat.

PatrikZero’s Live Subtitles & Translation

Anche se in fase beta è un buon prodotto che consigliamo l’uso e il costo molto limitato per provarlo e testarlo. che utilizza OpenAI’s Whisper AI-