Runway v0.13.1 官方版

Runway官方版是一款强大的AI智能学习工具，能够为机器提供了一个智能化的学习平台，可以高效的帮助用户处理很多工作；比如使用图像处理AI模型来创建项目，用户不必学习任何的编程语言就可以让机器自动的帮助您处理图片，还支持处理各种输入和输出，与图像、视频、文本、音频、潜伏空间、分割掩码进行交互；Runway中含有丰富的机器学习模型，需要的朋友可以下载探究，如果您也喜欢智能技术，那么这款软件您千万不要错过。

Runway软件功能

图像合成

训练图像生成器（GAN）并创建可以合成无尽图像和资产的模型。

文字制作

创建可自定义的文本生成器，并探索无限的方式来创建新的叙述。

物体检测

建立自己的对象检测模型，以识别图像或视频中的任何对象，场景或元素。

批量处理

自动批处理媒体文件，裁剪所选对象并组织媒体。

电影跟踪

根据场景中人物的存在来提取有关电影的有意义的数据。

运动学分析

训练模型以跟随任何体育视频中的特定运动员或元素。

Runway软件特色

1、通过简单的拖放界面探索最先进的机器学习。

2、新的机器学习模型可以在runwayml的模型目录中找到。

3、与图像，视频，文本，潜在空间，分割蒙版进行交互。

4、将最新的机器学习功能添加到您的工作流程中，而无需编写任何代码。

5、运行稳定，即使使用功能强大的模型，也不必担心是否需要一定的系统要求。

6、Runwayml的插件体系结构使将其轻松连接到您最喜欢的创意软件。

7、从一系列导出格式（MP4，CSV，JSON，JPG等）中选择。

8、可以与各种格式和软件完美配合，并快速处理各种文件。

Runway使用方法

步骤1：建立资料集要训练自己的生成图像模型，您需要根据计算机文件夹中的图像集合来创建数据集。内容和样式相似的图像将产生一个模型，该模型能够更好地合成与原始数据集中的图像相似的图像。这为增强和扩展创意作品提供了巨大的潜力，特别是作为快速迭代视觉创意的工具。但是，从从未从手机中删除过的各种图像集中训练出来的模型不太可能表现良好。

RunwayML培训实验将接受单独的数据集，这些数据集的总文件大小小于5GB，且总数小于25,000张图像。我们知道很多。通常，您收集的数据越多，模型生成的合成图像看起来就越像来自原始数据集的模型就越好，但是建议您收集大约500-5,000张图像。但是，一些用户对仅用300张图像训练的模型的结果感到满意。

您是插画家，画家，摄影师，建筑师，布景设计师，图形设计师，时装设计师，纺织品艺术家，散布作家，阅读乐谱的音乐家，还是与某种可见标记合作或受其启发的人？这样一来，您可能已经拥有大量可视材料，可以在其上训练生成图像模型。

以下是一些从现有工作中创建（或扩大）数据集的策略*：

如果您没有数字副本，请为您的作品拍照！

复制并旋转图像。

创建缩小和放大的新图像。

从视频帧生成图像。

如果您对诸如Processing或p5.js之类的创意编码工具感到满意（还有很多其他工具！），可以自动生成图像吗？

如果您对技术有兴趣，还可以使用一些工具从网站抓取（自动提取）图像。

*模型将学习给定数据集的所有视觉特征。如果创建狗的数据集并且其中一些是倒置的，则可以期望您的模型可能会生成倒置的狗或具有倒置和右倒置特征组合的类似狗的生物。您可能想要也可能不想要。

如果您从网上获取图像，请务必考虑以下问题：

•图像的使用条款是什么？

•如果您打算刮取图像，该技术是否符合网站的服务条款？

•如果图像包含人物，是否通知个人如何使用其图像以及是否表示同意？

•图片是否符合RunwayML的可接受使用政策和行为准则？

如果您只是想尝试训练过程，RunwayML还提供了一些公共数据集，供您创建训练实验时使用。这些数据集中的图像均来自Flickr和公共领域。

我应该如何准备数据集？一旦拥有数百或数千个图像的数据集，以下是一些需要注意的其他事项：

是否有图像损坏？一种迹象可能是图像全黑，出现故障或无法打开。

要训练生成图像模型，数据集中的图像必须是正方形的。这是StyleGAN的约束，StyleGAN是用于训练模型的预训练模型（请参见上文）。RunwayML提供了一个选项，可以在您开始训练实验时自动裁剪图像（请参阅第4步）。

步骤2：建立训练实验启动RunwayML，然后从初始屏幕中单击“ 训练模型 ”。培训目录也可从左侧导航获得。

目前，培训实验仅适用于StyleGAN模型。单击以开始培训，为其命名，然后单击创建。

步骤3：选择资料集选择一个公共数据集，或者要使用您自己的数据，只需单击+按钮或在图像文件夹中拖动。然后，您的数据集将被压缩并上传。这可能需要一些时间，但完成后请单击“ 下一步”。

您上传的所有数据集都将是您帐户的私有数据。

步骤4：选择培训选项在开始训练模型之前，需要考虑几个选项。

选择一个预训练的模型首先选择一个预先训练的模型。训练模型实际上使用称为转移学习的技术在您自己的数据集上重新训练StyleGAN模型（请参见上文）。这不仅大大减少了训练时间，还减少了训练自己的模型所需的图像数量。

StyleGAN最初接受了来自Flickr的70,000张面部图像训练，这就是为什么Flickr Faces HQ被列为第一选择的原因。StyleGAN已在许多其他数据集上进行了重新训练，并且可以选择这些其他的预训练模型（也称为检查点）作为替代起点。（您可以从模型概述页面上发布的链接中了解有关StyleGAN的更多信息以及如何对其进行培训。）

您从开始训练的预训练模型中选择将影响以下各项：

内容：

如果要在梦幻般的卡通人物数据集上训练模型，则可以选择与卧室或汽车相对的猫或狗的预训练模型，以创建一个生成具有更多内聚形式和更高保真度的图像的模型。

或不！有趣的探索不同结果的选项：训练与您的数据集明显不同的模型可能会带来意想不到的视觉结果，尤其是在训练过程的中期。

输出尺寸：

预先训练的模型会生成不同分辨率的图像，您选择的模型会影响训练完成后模型制作的图像大小。这是模型选项的输出分辨率：

1024 x 1024像素：CelebHQ和FlickrFacesHQ

512 x 512像素：汽车，毛毛虫，蛋糕，花卉森林，风景，星云，肖像，彩虹和摩天大楼

256 x 256像素：卧室，猫和狗

如果你喜欢挑预先训练模型的内容，但输出尺寸太小，知道RunwayML提供几种模式来快速高档的图像，你可以很容易地连锁的新训练模式，其中的一个，当你在运行工作区。

培训时间：

通常，预训练模型的图像与数据集中的图像越相似，其训练速度就越快。

此外，与生成较小图像尺寸的模型相比，使用生成较大图像尺寸的预训练模型将花费更多的时间。估计的训练时间将根据您选择的预训练模型和您设置的训练步骤数的组合进行更新（在下面了解更多信息）。

要查看所有“预训练模型”选项，请单击“ 更改”：

选择一种作物图片必须为正方形格式。这是StyleGAN的约束，StyleGAN是用于训练模型的预训练模型。

如果图像不是方形的，则可以选择以下选项：

中央：如果图像的主题通常出现在中央，这是一个不错的选择。

随机：如果图像的主题可以出现在画面的任何位置，这是一个不错的选择。

不裁切：将调整每个图像的大小以适合1：1正方形的宽高比。

设定训练步骤在每个训练步骤中，模型都会学到一些有关在数据集中找到的视觉模式或特征的知识。

确定有效的训练步骤数是一个移动的目标。太少了，您的模型可能无法合成具有连贯的视觉形式的图像，这些图像使人联想到原始数据集中的图像。太多了，您的模型将停止改进，无法学习任何新知识，并且可能会产生较差的图像或图像看起来相同。

培训步骤的最大数量为25,000，但是一个好的起点是3,000。在培训期间和之后，您可以在各个步骤中查看模型的学习进度。

估计的培训时间将根据您选择的预培训模型和您设置的培训步骤数的组合而更新。确保您的帐户有足够的学分用于培训步骤的数量（使用估算费用计算器），否则您的培训实验将停止并保存自己，然后再进行培训。输入培训步骤数，然后单击开始培训以继续。

培训模型使用学分。只有订户可以访问模型培训。

步骤5：训练模型在训练过程开始时，将对所有图像进行预处理并准备进行训练。完成此操作后，将在右侧的ETA Approx状态下发布预计的培训时间。

培训过程在RunwayML的云基础架构中的远程GPU上进行，并且花费数小时的时间并不罕见。在这段时间内，可以使用RunwayML中的其他功能，关闭应用程序，甚至关闭计算机并稍后再检查。

如果您的帐户没有足够的学分，则在达到设定的培训步骤数之前，您的培训实验将停止并保存。要恢复培训，请执行以下操作：更新到最新版本的RunwayML，在您的帐户中添加功劳，从“完成的实验”列表中选择您的“训练实验”（注意在“模型查看卡”中已完成的步骤数），然后点击“ 继续训练”。这将使用您原始的实验作为预训练的“基础”模型来创建一个新的训练实验。在此处输入其他号码训练步骤，然后点击开始训练。

在培训期间以及培训完成后，您可以在各个培训步骤中查看进度，保存特定步骤中的示例图像以及导出进度视频。培训过程结束后，单击“ 下一步”继续。

是否想训练您的模型以执行更多步骤？从“完成的实验”列表中选择您的“训练实验”，然后单击“ 继续训练”。这将使用您原始的实验作为预训练的“基础”模型来创建一个新的训练实验。在此处输入其他号码训练步骤，然后点击开始训练。

第6步：保存模型您的模型现在可以使用了。单击保存到我的模型。

您将被带到模型的概述页面。在这里单击设置以获取以下选项：

将模型公开，以供任何人在RunwayML平台中使用（除非删除模型，否则这是永久的）

重命名模型

删除模型（您随时可以返回到训练实验以重新保存模型）

步骤7：运行模型要运行模型，请点击添加到工作区。如果您还没有一个新的工作区，则将在此步骤中创建一个新的工作区。将模型的输入设置为Vector，将输出设置为Preview，然后单击“远程运行”以浏览模型可以生成的所有可能图像。你会发现什么？

Runway更新日志

1、优化了用户使用界面

2、修复了某些已知bug