开云体育app下载手机版
Mou Mou Jidian Generator
发电机维修 发电机回收
发电机出售 发电机租赁
客户统一服务热线
0750-797359329
18826473491
0750-797359329
18826473491
全文共4175字，预计学习时长8分钟最近，多项研究接纳了生成反抗网络（Generative Adversarial Networks, 简称GANs）这一技术来生身分辨率为1024x1024的高清图片。超级传神的人脸、动物和其他算法生成的图像令人赞叹不已，要知道，这项技术泛起也不外短短几年。
从分辨率低，像素差的图片到如今栩栩如生的高清画质，在很短的时间内就实现了质的飞跃：这一领域进步多大，请看下图。生成式反抗网络技术人脸处置惩罚实例这一领域相关度最高的研究是英伟达的 StyleGAN和谷歌的BigGAN。要生成高质量的图片需要极高的盘算能力，所以现在仍不是个可以轻松解决的问题。
因此，本文将先容如何在不使用昂贵硬件的前提下使用GANs处置惩罚高清图片，这对手上没有高级显卡（GPU）的人来说是一个绝好时机。本文讨论的所有内容都可以在谷歌的Colaboratory上找到，该平台提供了免费GPU以供公共完成自己的机械／深度学习项目。目的我们要使用一个很特别而简朴的GAN结构来完成任务，在两个高清图片之间举行气势派头转换。
此外，还会将一张普通的高清风物图片编辑成梵高的气势派头。近几年在盘算机视觉领域，气势派头转换很是盛行。《艺术化的神经网络算法》引领了这股潮水，该论文在事先测试好的卷积网络中对图片举行内容和气势派头上的调整。虽然这种方法能处置惩罚高清图片，但它只能用一张图像作为参照，好比说，它只能用《星夜》作为梵高整体绘画气势派头的参照，这不是我们想要的效果。
论文中关于气势派头迁移的实例生成反抗网络技术（GAN）需要大量图片作为输入数据才气完全捕捉画家的气势派头，CycleGAN这篇论文提到了许多关于气势派头迁移的有趣发现。CycleGAN气势派头迁移实例然而，调试GANs对盘算机设置要求很高：只有高阶硬件再花上很长的调试时间才气处置惩罚这一代高分辨率图片。希望本文先容的方法能在处置惩罚高清图片方面资助到大家。
梵高的作品处置惩罚成梵高气势派头的高清图片详细步骤如下建设模型这一步的目的是实现图像到图像的转换（从A域到B域）。可以通过许多方法来实现，也有许多网络模型，其中最有名的可能就是CycleGAN，也有许多与这个话题相关的论文。本文在孪生网络里自界说了一个模型作为判别器，还接纳了一个很特别可是很是简朴的损失函数。选择这个方法的原因是每一个损失项都不那么依赖于每个像素之间的差异：这就意味着网络在生成高清图片时没有几何限制，从而能编辑出画面越发生动的图片。
（这个结论在本例中建立。）下面将简朴先容孪生生成式反抗网络（Siamese GAN）的架构。孪生生成式反抗网络（Siamese GAN）架构孪生生成式反抗网络由生成器和判别器组成。
图片输入生成器，输出编辑过的图片。图片输入判别器，输出一个潜在矢量。孪生判别器有两个功效：其一，指挥生成器生成画面更传神的图片；其二，对于那些画面看起来不真实的图片，维持现有的图片内容，只管保持和原图气势派头一致。
从A域和B域划分随机取图片并命名为A1, A2和B1,B2，X是一张随机图片，G(X)是生成器合成的图片，判别器需要将图片加工成矢量D(X)，如：1. D(B1)和一个牢固点（以原点为例）之间的欧几里得距离必须很是近，与此同时，D(G(A1))必须离这个点很是远。相应地，矢量与牢固点距离越近，能生成的图片越传神。另外，在大多数研究反抗网络的例子中，生成器都要试着缩短从D(G(A1))到这个牢固点之间的距离。
2. 如果要保留A和G(A)之间的“内容”，（D(A1)-D(A2)）和 (D(G(A1)-D(G(A2))) 的余弦相似度必须保持一致。生成器和判别器都市到场这个步骤。孪生判别器第一条凭据矢量巨细的变化而变化，第二条更偏重于矢量的角度。
如果能实现从A域到B域之间的图像转换，目的就完成了。现在有了一个模型，下面就一起探索怎样运用网络来获得高清图片吧。图像提取首先需要两个高清图库，在这个例子中，需要一个风物图库作为A域，以及梵高的作品图库作为B域。
切记，图片越大，预处置惩罚时间就越长，好比裁剪、调整巨细等，但这些操作并不会延长调试网络的时间。然后需要选择输入生成器的图片巨细：显然不能直接使用图片库里的高清图片，否则调试时间会变得很长，网络的规模也很大，这样就不能解决任何实质性的问题了。所以要选择足够小的尺寸（如像素为64*64），以便控制调试时间，即即是好比免费的谷歌Colaboratory等中等体现的图像处置惩罚器也能处置惩罚这些图片。
相应地，想必读者也已经思量到了，输入生成器之前，这些图片需要预先处置惩罚，裁剪成更小的尺寸。输入图片后处置惩罚成为张量，以随机的SxS尺寸打包一同输入进网络。
这听起来很简朴，实际操作也很是简朴！现在，假设用这种方法训练生成反抗网络，直到生成器把所有尺寸调整好的图片都转换成了想要的“梵高风”，这时候问题就来了：如何才气将整张高清图片从A域转换到B域呢？其实很简朴，将图片像素剖析为SxS（如果高清图片原来像素为BxB，就会泛起（B//S）x（B//S）的花样），每个像素尺寸为SxS的图片都市经由生成器处置惩罚，最终组合到一起。有一个更简朴的方法，将图片的尺寸由大裁小，但调试GAN的历程中就会发现问题：通过这种方法调整后的图片再经由生成器转换到B域的时候，和原图放在一起很违和。效果显示，每个像素为SxS的图片中的轮廓都特别清晰，“奇迹”般地失败了。相对来讲，这算是小问题，纵然使用以像素为单元的CycleGAN等方法也会泛起同样的毛病。
轮廓清晰可见如何解决这一问题？习用的方法简朴易懂，而且贯彻了这篇文章想要转达的中心思想。首先需要重新会见数据管道：先将图片处置惩罚成2Sx2S的巨细（如果S=64，就需要裁剪成128x128巨细），然后再转换成BxB高清图片。
接着，设置好生成器之后，建立一个新模型，命名为Combo，功效如下：1. INP：输入一批A域的图片，花样为2Sx2S；2. INPCUT：将每个图片裁剪成4SxS的花样；3. 将淘汰好的4SxS的图片（INPCUT）输进生成器，获得OUTCUT（与INPCUT形状相同，但每个SxS图片都已经编辑过了）；4. 将OUTCUT里的每组4SxS图片组合起来，获得OUT（与INP形状相同，但每个2Sx2S图片都已经编辑过了）；5. 获得输出效果OUT。Combo模型：裁剪、编辑、组合Combo模型的输出就酿成了判别器的输入，而且输入数据的巨细酿成了之前的两倍。
这点轻微的调整不会占用太多盘算时间，而且可以有效解决之前的问题。详细方法如下：现在生成器必须生成边缘和颜色都保持一致的图片，否则判别器无法将这些图片识别为真实图片，这样就无法资助生成器举行优化。详细来讲，对每张有4个界限的SxS图片，生成器必须要生成很是传神的图片，即即是一个界限处置惩罚得欠好都市毁掉增长2x2图像的真实感。
测试实例（从左到右）：A域的图片，编辑后的图片（AB）， B域的图片“全家桶”为了保证现在为止所有步骤都清楚明晰，再温习一下整个网络如何运行的。我们的目的是将A类图片编辑成B气势派头。
2Sx2S的图片巨细是从A类和B类的高分辨率图片来的。A域的图片是Combo的输入，这个模型会先把图片裁剪成4份更小的尺寸，然后使用生成器(G)来转换它们，最后再组合到一起，称其为伪图像（fake images）AB。接着是孪生判别器（D），判别器的输入数据巨细是生成器输入数据巨细的两倍（2Sx2S），其输出是巨细为LENVEC的向量。
D将图片信息解码，处置惩罚成向量D(X)，例如：1. D(B)必须与原点相近（巨细为VECLEN的零向量）：LossD1的值是D(B)到原点距离的欧几里得距离的平方，也就是Eucl(D(A))22. D(AB)必须与原点相隔一定的距离：LossD2 = (max(0, cost — Eucl(D(AB))))²3. 转换向量（D(A1)-D(A2)）和（D(AB1)-D(AB2)）必须是相似向量，才气保留图片的内容：LossD3 = cos_similarity(D(A1)-D(A2), D(AB1)-D(AB2))另外，生成器必须输出合成后的图片AB，好比：1. D(AB)必须与原点距离相近：LossG1 = Eucl(D(AB))²2.转换向量（D(A1)-D(A2)）和（D(AB1)-D(AB2)）必须是相似向量（与判别器相同）：LossG2 = cos_similarity(D(A1)-D(A2), D(AB1)-D(AB2))根据这个方法，生成器就能自主学习并生成指定气势派头的小尺寸图片，其界限不会有任何差错。所以，如果要编辑一整张高清图片，将其分成更小的SxS图像再输入生成器就能获得一张赏心悦目且气势派头统一的高清图片了。高清图片的编辑：虽然并不完美，但笔触十分传神，图像也很连贯。
网络情况越好、性能越好的情况下图片分辨率越高。结语本文先容的方法仍存在一些问题。如果选择了分辨率极高的图片，那么用来调试网络的更小尺寸的图片可能内里没有任何相关信息，很可能就是纯色、单一像素的图片，这样的调试就没有任何实际意义：生成器和判别器都需要处置惩罚一定的信息。判别器必须凭据其内容举行编程，如果数据内容没有意义的话，这个历程中可能会泛起一些问题。
失败案例：生成器在一些区域混淆了气势派头差别的颜色和图形纵然测试乐成，把多个高分辨率的图片组合到一起时，虽然每一部门的气势派头举行了转换，但对一整张高清图片来讲远远不够，最后的效果往往和原图差不多，只变换了一下颜色。实验中发现，测试阶段使用低分辨率的高清数据库，要编辑的时候再切换为原巨细的高清图库的操作能有效解决第一个问题。
这种方法另有更多内容有待开发：除传统气势派头转换以外的其他图像编辑也是可能实现的。要知道，这个例子中的生成器并不知道图片的原貌是什么样的，只能识别分辨率比力低的图片。
所以，如果能给生成器提供更多内容，好比编码后的“内容向量”，就能衍生出种种各样的其他用法，为更庞大的内容为导向的高清图片编辑开启无限可能，好比由一种图像转换成另一种图像、人脸、或动物等。所以，仍有无限可能等候掘客。留言 点赞 关注我们一起分享AI学习与生长的干货编译组：翁梦徽、张璐瑶相关链接：https://towardsdatascience.com/style-transfer-with-gans-on-hd-images-88e8efcf3716如需转载，请后台留言，遵守转载规范。
本文来源：开云体育app下载手机版-voteyun.com
手机网站微信