让GAN随音乐律动的Python工具,网友:这是我见过的GAN的最佳用法 | reddit高赞

2021-03-16 21:35 126 阅读 ID:303
量子位
量子位

用GAN生成画作已经不是新鲜事了,不过你见过“懂音乐”的GAN吗?

一位外国小哥开发的Python工具,能让GAN生成的图像随音乐律动,几个小时内就在reddit上收获了1.5k个赞。

这个工具名叫Lucid Sonic Dreams,先来感受一下它炫酷的效果:

知乎视频​<svg class="Zi Zi--InsertLink" fill="currentColor" viewBox="0 0 24 24" width="17" height="17"> <path d="M13.414 4.222a4.5 4.5 0 1 1 6.364 6.364l-3.005 3.005a.5.5 0 0 1-.707 0l-.707-.707a.5.5 0 0 1 0-.707l3.005-3.005a2.5 2.5 0 1 0-3.536-3.536l-3.005 3.005a.5.5 0 0 1-.707 0l-.707-.707a.5.5 0 0 1 0-.707l3.005-3.005zm-6.187 6.187a.5.5 0 0 1 .638-.058l.07.058.706.707a.5.5 0 0 1 .058.638l-.058.07-3.005 3.004a2.5 2.5 0 0 0 3.405 3.658l.13-.122 3.006-3.005a.5.5 0 0 1 .638-.058l.069.058.707.707a.5.5 0 0 1 .058.638l-.058.069-3.005 3.005a4.5 4.5 0 0 1-6.524-6.196l.16-.168 3.005-3.005zm8.132-3.182a.25.25 0 0 1 .353 0l1.061 1.06a.25.25 0 0 1 0 .354l-8.132 8.132a.25.25 0 0 1-.353 0l-1.061-1.06a.25.25 0 0 1 0-.354l8.132-8.132z"/> </svg>www.zhihu.com图标

从它的名字清晰的声波梦就能感受到一种梦幻色彩,正如网友所说:

这就像海市蜃楼,好像能看出描绘的物体或场景,但是下一分钟,你又会意识到它们并不存在。

而这样的音乐视效,只需几行代码就可以实现,还支持各种自定义,一起来了解一下吧~

在输入向量中加入音乐特征

Lucid Sonic Dreams默认使用StyleGAN2-ADA架构,并且使用Justin Pinkney的存储库awesome-pretrained-stylegan2中的预训练模型。

根据指定风格的图像数据集进行训练,得到与其风格相似的大量图像。

模型首先从向量生成图像,图像再通过动态效果来展现音乐。

在图像生成过程中,向模型中输入包含512个数值的向量来决定输出图像,而向量的细微变化,在输出图像中也会产生相应地细微的变化。

因此,Lucid Sonic Dreams将从音乐的声波中提取的数值(例如:振幅),添加到输入向量中。对视频中的每一帧都执行此操作,创造出随音乐跳动和变化的艺术效果。

作者开发这一工具的灵感,来自Matt Siegelman的Deep Music Visualizer项目——BigGAN,它能够使其生成的图像与音乐同步变化。

图源:Matt Siegelman

虽然以前也有一些类似的项目,但Lucid Sonic Dreams与众不同的地方在于,它是能够实现自定义Python软件包

可简可繁,满足不同需求

Lucid Sonic Dreams的安装十分简单,只需要运行pip install lucidsonicdreams进行安装就可以了。

首先要实现基本可视化,代码是这样的:

from lucidsonicdreams import LucidSonicDream
L = LucidSonicDream(song = 'song.mp3',
                    style = 'abstract photos')
L.hallucinate(file_name = 'song.mp4')

由此就可以生成抽象风格的视频:

如果想要改变风格、查看可用风格的列表,可以运行命令:

from lucidsonicdreams import show_styles
show_styles()

此外,也可以使用其他风格,只需要将参数值style设为相应的pkl文件路径,就像这样:

L = LucidSonicDream(song = 'raspberry.mp3', style = 'VisionaryArt.pkl')
  L.hallucinate(file_name = 'raspberry.mp4', 
                pulse_react = 1.2, 
                motion_react = 0.7, 
                contrast_strength = 0.5, 
                flash_strength = 0.5)

例如,使用Jeremy Torman训练的模型生成的效果:

Lucid Sonic Dreams的默认设置使它用起来十分容易,但除此在外,它也有很多可调的参数,作者在Colab上详细地罗列了这些参数。

例如,参数pulse_react、motion_react和class_react,分别控制着3个主要视觉组件:Pulse(脉冲)、Motion(运动)和Class(种类)。

Pulse组件,是指视音乐中打击乐元素的视觉效果。从数学上讲,脉冲是声波振幅临时添加到输入向量的结果,而在下一帧视频中,向量则恢复正常。

Motion,指的是视觉效果变形的速度,是将振幅累加到输入向量中的结果。

Class,则是指生成的图像中对象的标签。例如,利用WikiArt图像训练的样式,共有167个种类,包括:梵高、达芬奇、抽象绘画等。

这些类别由音调控制,具体来说,就是将12个音高映射到12个类别。而这些音高的不同振幅,会影响第二输入向量(类向量)的数值,该向量则决定了模型生成的对象。

此外,参数speed_fpm控制该运动的速度,该参数为0时,则使图像在歌曲的无声的部分静止。FPM代表每分钟帧数,也就是每分钟初始化的向量数。

在默认情况下,程序还带有与音频中打击乐元素同步的“对比”和“闪光”效果,分别通过contrast_strength和flash_strength参数进行设置。

调整参数的代码就像这样:

L = LucidSonicDream('pancake_feet.mp3', style = 'modern art')
  L.hallucinate(file_name = 'pancake_feet.mp4', 
                speed_fpm = 0, 
                motion_react = 0.8, 
                contrast_strength = 0.5, 
                flash_strength = 0.7)

除了这些内置的效果外,Lucid Sonic Dreams还支持创建自定义效果。只需创建一个函数,其中至少包含3个参数:

array用来指示应用效果的图像;strength决定对音乐的反应程度;amplitude则是指音乐在任何给定时间点的音量。

然后,将此自定义函数传递给EffectsGenerator对象。比如,利用scikit-image生成旋流效果的代码:

import numpy as np 
  from skimage.transform import swirl
  from lucidsonicdreams import EffectsGenerator  
  def swirl_func(array, strength, amplitude):
    swirled_image = swirl(array, 
                          rotation = 0, 
                          strength = 100 * strength * amplitude,
                          radius=650)
    return (swirled_image*255).astype(np.uint8)  
  swirl_effect = EffectsGenerator(swirl_func,
                                  audio = 'unfaith.mp3', 
                                  strength = 0.2, 
                                  percussive = False)

生成的旋流效果示例:

如果想要使用其他的GAN架构,只需定义一个函数,将噪声向量和类向量(NumPy数组)作为输入,从而输出图像。

实际上,这个函数可以是将输入向量转换为图像的任何函数,甚至不需要使用GAN。

除此之外,Lucid Sonic Dreams支持上传分离后的音轨来控制参数,音乐制作者可以用它作为音乐可视化程序。

例如,使用分离后的打击乐音轨来控制Pulse,同时用一个分离后的“合成和弦”音轨来控制Class:

L = LucidSonicDream(song = 'lucidsonicdreams_main.mp3',
                      pulse_audio = 'lucidsonicdreams_pulse.mp3',
                      class_audio = 'lucidsonicdreams_class.mp3',
                      style = 'wikiart')

既有简便易用的默认模式,又支持各种自定义素材,难怪网友们对它大加赞赏。

OMG,我认为这是我见过的GAN的最佳用法。

还有网友想体验一下VR版本:

也有部分“密恐”患者表示:对它又爱又恨!

Lucid Sonic Dreams在GitHub上开源,感兴趣的小伙伴,快去听个音乐感受一下吧~

相关链接:
[1]https://www.reddit.com/r/MachineLearning/comments/m554cq/project_new_python_package_sync_gan_art_to_music/
[2]https://towardsdatascience.com/introducing-lucid-sonic-dreams-sync-gan-art-to-music-with-a-few-lines-of-python-code-b04f88722de1
[3]https://github.com/mikaelalafriz/lucid-sonic-dreams

—完—

@量子位 · 追踪AI技术和产品新动态

深有感触的朋友,欢迎赞同、关注、分享三连վ'ᴗ' ի ❤

免责声明:作者保留权利,不代表本站立场。如想了解更多和作者有关的信息可以查看页面右侧作者信息卡片。
反馈
to-top--btn