AI新风口？首个高质量「文生视频」模型Zeroscope引发开源大战：最低8G显存可跑

---

文生图模型stable diffusion开源后，将「ai艺术」彻底平民化，只需一张消费级显卡即可制作出非常精美的图片。

而文本转视频领域，目前质量较高的只有Runway前不久推出的商用Gen-2模型，开源界还没有一个能打的模型。

最近，Huggingface上有作者发布了一个文生视频模型Zeroscope_v2，基于17亿参数量的ModelScope-text-to-video-synthesis模型进行二次开发。

图片

模型链接：https://huggingface.co/cerspense/zeroscope_v2_576w

相比于原版本，Zeroscope生成的视频没有水印，并且流畅度和分辨率都得到了提升，适配16:9的宽高比。

开发者cerspense表示，他的目标就是和Gen-2进行开源较量，即提高模型质量的同时，还能免费供大众使用。

Zeroscope_v2包括两个版本，其中Zeroscope_v2 567w可以快速生成576x320像素分辨率、帧率为30帧/秒的视频，可用于视频概念的快速验证，只需要约7.9GB的显存即可运行。

使用Zeroscope_v2 XL生成高清视频，分辨率为1024x576，占用约15.3GB的显存。

Zeroscope还可以与音乐生成工具MusicGen一起使用，快速制作一个纯原创短视频。

Zeroscope模型的训练用到了9923个视频片段（clip）以及29769个标注帧，每个片段包括24帧。偏移噪声包括视频帧内对象的随机移位、帧定时（frame timings）的轻微变化或微小失真。

训练期间引入噪声可以增强模型对数据分布的理解，从而可以生成更多样化的逼真视频，并更有效地解释文本描述中的变化。

使用方法

使用stable diffusion webui

在Huggingface上下载zs2_XL目录下的权重文件，然后放到stable-diffusion-webui\models\ModelScope\t2v目录下即可。

在生成视频时，推荐的降噪强度值为0.66到0.85

使用Colab

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

ChatGPT Writer

免费 Chrome 扩展程序，使用 ChatGPT AI 生成电子邮件和消息。

106 查看详情

笔记链接：https://colab.research.google.com/drive/1TsZmatSu1-1lNBeOqz3_9Zq5P2c0xTTq?usp=sharing

先点击Step 1下的运行按钮，等待安装，大约需要3分钟；

图片

当按钮旁边出现绿色复选标记时，继续执行下一步。

图片

点击想要安装模型附近的运行按钮，为了能够在Colab中快速获得3秒左右的剪辑视频，更推荐使用低分辨率的ZeroScope模型（576或448）。

图片

需要在执行更高分辨率模型（如Potat 1或ZeroScope XL）时，权衡执行时间会更长。

再次等待复选标记出现，继续执行下一步。

选择在Step2中安装并希望使用的模型型号，对于更高分辨率的模型，推荐下面的配置参数，不需要太长的生成时间。

图片

接下来，您可以输入目标视频的提示词来改变效果，并且还可以输入否定提示词（negative prompts），然后点击运行按钮。 

等待一会后，生成的视频就会被放置在outputs目录下。

图片

「文生视频」开源竞赛

目前来说，文生视频领域仍处于起步阶段，即便是最好的工具也只能生成几秒钟的视频，并且通常存在较大的视觉缺陷。

但其实文生图模型最初也面临着类似的问题，但仅仅几个月后就实现了照片级真实感。

不过与文生图模型不同的是，视频领域在训练和生成期间所需要的资源都要更比图像更多。

虽然谷歌已经研发出了Phenaki和Imagen Video模型，可以生成高分辨率、更长、逻辑连贯的视频片段，但公众无法使用到这两个模型；Meta的Make-a-Video模型也同样没有发布。

目前可用的工具仍然只有Runway的商用模型Gen-2，此次Zeroscope的发布也标志着文生视频领域第一个高质量开源模型的出现。

以上就是AI新风口？首个高质量「文生视频」模型Zeroscope引发开源大战：最低8G显存可跑的详细内容，更多请关注其它相关文章！

# 目录下  # 谷歌SEO流量秘籍  # 怎样避免网站优化  # 全球知名网站建设案例  # c2c网站建设方案  # 定州视频推广招聘网站  # 衢州网站营销策划推广  # 江安县推广营销中心电话  # 保山企业seo推广  # 视频营销推广案例分析  # 网站建设模板费用  # 上海  # ai  # 谁能  # 更高  # 只需  # 还可以  # 首个  # 高质量  # 显存  # phenaki  # stable diffusion  # runway  # 开源 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 这款在《自然通讯》发表的机器人，为变形金刚来到现实创造可能性  应用生成式人工智能技术改善农业产业  云深处与昇腾CANN携手合作：开设ROS四足机器狗开发训练营  AI技术加速迭代：周鸿祎视角下的大模型战略  从谷歌到亚马逊，科技巨头们的AI痴迷  讯飞星火大模型实现升级 助力通用人工智能人才培养  利用AI技术更好地发展农村电商  国内阅读行业首款对话式AI应用“阅爱聊”封闭内测  AI行业盛会大咖云集！Sam Altam、“AI教父”......一文看懂最新观点  AI生成会议纪要 百度如流升级推出超级助手、智能编码等功能  特斯拉人形机器人将亮相 预计售价不超过15万元  一句话搞定数据分析，浙大全新大模型数据助手，连搜集都省了  AI证件照生成器：实际测试中AI软件展现了绝无仅有的强大效能  AI绘画，还需要懂数学？  人工智能即将进入Windows：企业准备好安全策略设置了吗?  微幼科技晨检机器人与人工晨检相比，有何优势  Moka发布AI原生HR SaaS产品“Moka Eva”，布局AGI时代  微软为 AI 初学者推出免费网课：为期 12 周，共 24 节课  陈根：AI冥想教练为用户提供个性化指导  轻量级的深度学习框架Tinygrad  GPT-4 模型架构泄露：包含 1.8 万亿参数、采用混合专家模型  AI数字人业务频频获点赞，谦寻积极引领示范作用  AI拉动PCB发展|行业发现  重塑未来生活的五项技术趋势  纪录片 《寻找人工智能》全集1080P超清  张勇对话多位诺奖得主 人工智能将无处不在  大模型新品出现井喷，AI产业迎来新时代  走进首家“元宇宙”未来工厂，卡奥斯探知工业之旅出发！  麦肯锡：到 2045 年左右，将有 50% 工作被 AI 接管  美的推出 AI 双视精准避障的自动集尘扫拖机器人 V12，售价仅为2999元  泗洪：畅通城市“血管” ，管下机器人来帮忙  美图吴欣鸿：希望更多人用上AI时代的影像生产力工具  科普：什么是AI大模型  如何利用物联网技术提高企业生产线智能化水平，提升生产效率  在这里见未来！杭州未来科技城全球AI盛会邀您共探最前沿  OpenAI CEO 山姆・阿尔特曼呼吁 AI 领域中美应当合作  多家欧洲企业签署公开信，批评欧盟 AI 法案草案限制产业发展  普林斯顿大学推出 Infinigen AI 模型，生成真实自然环境 3D 场景  大模型的“黄金搭档”来了！腾讯云正式发布AI原生向量数据库，提供10亿级向量检索能力  Xbox游戏工作室负责人：VR/AR领域的用户规模还不足够  【原创】奥比中光：与英伟达合作开发的3D开发套件正式发布 连接英伟达AI应用生态  上天下海登极，青岛与昇腾AI握手一起探索星辰大海  IBM将模拟计算用于人工智能，重塑AI计算  掌阅科技对话式AI应用“阅爱聊”开启内测  人工智能赋能广西自然资源领域监测监管  《上古卷轴5》AI高清材质包优化游戏中所有怪物  “可用”“有用”的讯飞星火认知大模型将亮相世界人工智能大会  6月14日《星空下的对话》 张朝阳陆川将畅聊人生、电影、心理学与AI  笔神作文声讨学而思AI大模型 称用“爬虫”技术盗取数据  建立元宇宙产业联盟：移动、咪咕、华为、小米等加入 

 2023-07-09