用一种"新的"机器学习算法可以适应图像生成，从而创造、插值和循环新的音乐片段和流派。Seth Forsgren和Hayk Martiros将稳定扩散（SD）算法适用于音乐，结果创造了一种新的奇怪的"音乐机器"。Riffusion的工作原理与SD相同，将文本提示变成新的、由人工智能生成的内容。主要的区别是，该算法经过专门的声波训练，可以以视觉形式描述音乐和音频。
正如Riffusion网站所解释的那样，声波图（或音频频率的频谱图）是表示声音片段的频率内容的一种视觉方式。X轴代表时间，而Y轴代表频率。每个像素的颜色给出了音频在其行和列给出的频率和时间的振幅。
Riffusion适应了稳定扩散视觉算法的V1.5版本，"没有任何修改"，只是进行了一些微调，以更好地处理与文本配对的声谱/音频谱图的图像。音频处理发生在模型的下游，而该算法也可以通过改变种子来生成提示的无限变化。
在生成新的声谱图后，Riffusion用Torchaudio将图像变成声音。人工智能已经接受了描绘声音、歌曲或流派的频谱图的训练，因此它可以根据各种文本提示生成新的声音片段。例如，像"贝多芬与Radiohead"这样的融合产物，这是一个很好的例子，说明另一个世界或不可思议的机器学习算法可以表现得很好。
在设计完理论后，Forsgren和Martiros将其全部整合到一个互动的网络应用中，用户可以在其中试验人工智能。Riffusion接受文本提示，并"实时无限地生成插值内容，同时将频谱图的时间线以3D形式可视化"。音频从一个片段平滑地过渡到另一个片段；如果没有新的提示，该应用程序将在同一提示的不同种子之间插值。
Riffusion建立在许多开源项目之上，即Next.js、React、Typescript、three.js、Tailwind和Vercel。该应用程序的代码也有自己的Github仓库。
Riffusion远不是第一个生成音频的人工智能，它是ML复兴的另一个后代，它已经启发了Dance Diffusion、OpenAI的Jukebox、Soundraw等的发展，当然这些都不会是最后一个。
了解更多：