¿Cómo funciona Riffusion?
Riffusion emplea un modelo de difusión que permite crear contenido de audio a partir de una serie de comandos. Una vez que se ingresan los comandos, la app comienza a generar contenido de audio de forma instantánea. Además, es posible visualizar el espectrograma del contenido generado en 3D, lo que hace que la experiencia sea aún más interesante.
Una de las características más interesantes de Riffusion es que, al ingresar nuevos comandos, el audio se transiciona suavemente hacia el nuevo contenido, lo que hace que la experiencia sea muy fluida. En caso de que no se ingrese un nuevo comando, la app generará contenido de audio a partir de distintas semillas del mismo comando. De esta forma, es posible generar contenido de audio de forma infinita.
¿Cómo usar Riffusion?
Para obtener los mejores resultados en Riffusion, es necesario seguir algunos consejos básicos:
- Seleccionar una imagen de referencia que permita «condicionar» la generación de audio. La imagen de referencia define el ritmo y el tono general del contenido que se va a generar.
- Uso de la función de «denoising«, que permite controlar la creatividad del contenido generado. Al subir el nivel de denoising, el contenido generado será más creativo, pero menos parecido a la imagen de referencia.
- En cuanto a los comandos, es recomendable utilizar la creatividad al máximo. Es posible utilizar distintos estilos, instrumentos, modificadores, géneros y sonidos para crear contenido único. Además, la app es capaz de asociar palabras con semánticas similares, por lo que es posible obtener buenos resultados con comandos poco convencionales.
- Ajustar el peso de los tokens de un comando. Esto permite dar más importancia a ciertas palabras que a otras, lo que puede ser útil en algunos casos.
Ejemplos de contenido generado con Riffusion
Para mostrar las posibilidades de Riffusion, la app ofrece algunos ejemplos de comandos que funcionan bien. Además, es posible compartir el contenido generado a través de distintas plataformas. Entre los ejemplos ofrecidos por Riffusion se encuentran:
- Una mezcla de un DJ Set de amanecer con un solo de sintetizador fuerte
- Rap de Detroit a Jazz
- Nueva York cinematográfico en una tormenta de polvo a Golden Hour vibes
- Ritmo techno a rap jamaiquino
- Balada de fantasía con voz femenina a estrella pop adolescente
