Fish Audio

Fish Audio est une plateforme de génération de discours alimentée par l'IA, conçue pour les créateurs de contenu, les développeurs, les podcasteurs, les producteurs de livres audio, les studios de jeux, les marketeurs et les entreprises. Son système de synthèse vocale convertit des scripts écrits en audio naturel et expressif en utilisant des voix prêtes à l'emploi, des modèles créés par la communauté, des clones vocaux personnalisés ou des enregistrements de référence fournis directement lors de la génération. Les utilisateurs peuvent créer de l'audio via le terrain de jeu basé sur le navigateur ou intégrer la technologie dans des applications via son API et ses SDK Python et JavaScript officiels.

La technologie de clonage vocal S2 de la plateforme peut créer une voix synthétique utilisable à partir d'environ dix secondes d'audio de référence propre. Une voix clonée peut reproduire des caractéristiques telles que le ton vocal, la cadence, l'émotion, l'hésitation et le style de parole. Ses capacités multilingues permettent à une voix clonée dans une langue de parler des langues supplémentaires prises en charge sans réentraînement. Le clonage vocal ne doit être effectué qu'avec l'autorisation du locuteur et en conformité avec les lois applicables sur l'identité, la ressemblance, la divulgation et les médias synthétiques.

Fish Audio prend en charge à la fois la narration à un seul locuteur et le dialogue à plusieurs locuteurs. Avec le modèle S2-Pro, les développeurs peuvent attribuer des voix distinctes à différents tags de locuteur, rendant la plateforme utile pour les podcasts, les conversations fictives, les livres audio, les jeux, les scénarios de formation et le storytelling audio. Des contrôles sont disponibles pour la vitesse de parole, le volume, l'expressivité, la diversité, la qualité de sortie et le format audio.

Le streaming en temps réel prend en charge la génération vocale à faible latence pour les agents conversationnels, les personnages interactifs, les applications de service client, les jeux et d'autres produits qui nécessitent de la parole avant qu'un script entier n'ait été traité. La sortie est disponible dans des formats incluant MP3, WAV, PCM et Opus, avec plusieurs options de taux d'échantillonnage et de débit binaire. Fish Audio fournit également la transcription de la parole en texte via son API, retournant des transcriptions, des horodatages et des résultats segmentés à partir de l'audio téléchargé.

L'API développeur utilise une tarification à l'utilisation sans minimum mensuel, tandis que les droits commerciaux pour les voix clonées sont inclus avec un accès payant éligible. Le modèle S2 de Fish Audio est également promu comme open source et adapté au déploiement auto-hébergé.