Boximator,字节跳动发布的一种视频编辑工具,Boximator能让用户通过简单的操作控制生成视频中主体的运动轨迹。
大家好~这里是小编!本期【放心AI网-核心AI】带你解锁超实用AI神器,精选全网热门工具,助你一键开启智能新体验!
Boximator 是由字节跳动发布的一种视频编辑工具,它能让用户通过简单的操作控制生成视频中主体的运动轨迹。物体将严格按照用户绘制的位置和路径进行运动。这个工具的创新之处在于其直观的交互方式:你可以选择需要运动的物体,然后绘制他结束的位置和运动路径,他就会严格按照你绘制的位置和路径运动。与Runway的运动笔刷相比,Boximator 可以更精确地控制物体的运动结束位置。
Boximator论文:https://arxiv.org/abs/2402.01566
Boximator演示:https://boximator.github.io/#Demo
Boximator项目:https://boximator.github.io/
轨迹控制:用户可以通过圈选方式,简单直观地设定视频中主体的运动轨迹。
多主体支持:Boximator 支持用户同时圈选多个主体,并为每个主体设置不同的运动路径。
路线定制:除了基本的点对点移动外,用户还可以为视频中的主体设置具体的移动路线。
插件兼容性:Boximator 与SD视频模型兼容,可以作为插件使用,增强视频编辑的灵活性和多样性。
用户友好:Boximator 的操作简单直观,无需复杂的视频编辑知识,用户即可控制视频内容。
高度兼容:与当前流行的SD视频模型兼容,可作为插件提供更广泛的应用可能。
创新交互:创新的圈选交互方式,使得视频编辑更加直观和便捷。
视频内容制作:对于视频创作者,Boximator 提供了一种新的制作动态视频的手段。
动画创作:对动画制作者来说,能够简化人物或物体运动轨迹的设计流程。
教育演示:在教育领域,教师可以使用该工具制作直观的动态演示材料。
字节发布的方法,先圈出图片中的主体,再圈出要移动到位置,即可生成主体从起点到终点移动的视频,支持设置移动路线,支持圈选多个主体。与SD视频模型兼容,可作为插件使用。
我们提出了Boximator,这是一种用于精细运动控制的新方法。Boximator采用了两种约束机制:硬性约束(hard box)和软性约束(soft box)。
用户可以利用硬性约束选取视频中某一帧(称为条件帧)的特定对象,然后通过这两种约束方式来大致或严格地指定该对象在未来画面中的位置、形状或运动轨迹。Boximator可以作为现有视频合成模型的一个附加组件。在训练过程中,为了保留原模型的知识,我们选择冻结了原始权重,只对控制模块进行训练。
为了解决训练过程中的挑战,我们引入了一种创新的自我追踪技术,这大大简化了学习框选对象与其关联的过程。
经过实验证明,Boximator在视频质量方面(即FVD,一种视频质量评价标准)达到了行业领先水平,相较于两个基础模型有所提升,并在引入框选约束后进一步增强了效果。其在运动控制上的强大能力,通过包围盒对齐指标的显著提升得到了验证。
评估也显示,用户更偏好Boximator生成的视频效果,而不是基础模型的输出。
今天的AI工具安利就到这里啦!小伙伴们还想看哪些神器?快留言告诉小编,放心AI网-核心AI下期继续带你挖宝!
需要网络免费
资讯AI更多
资讯AI 更多
甲骨文推出新AI智能体和生成式AI功能,助力销售团队提升客户互动
更新时间:2025-04-30
网易有道推出“子曰-o1”推理模型,教育领域迎来新变革
更新时间:2025-04-30
豆包上线深度推理模式:AI逻辑链条可视化,问答搜索新突破
更新时间:2025-04-17
当AI制药不再讲故事
更新时间:2025-04-30
成都华微:AI算力高达16Tops的人工智能芯片已小批量试用
更新时间:2025-04-30
谷歌全新升级Gemini2.0FlashThinking,长上下文处理能力再创新高
更新时间:2025-04-30
网易有道子曰-o1推理模型正式开源发布专为消费级显卡设计
更新时间:2025-04-30
谷歌推出实时AI视频功能Gemini:手机摄像头瞬间解读画面内容。
更新时间:2025-04-09
苹果重组AI高管团队,Siri升级延后至未来五年规划——AI高管团队重组影响Siri升级计划,预计推迟至2026年。
更新时间:2025-04-09
“星际迷航”黑科技照进现实!AI超声技术斩获百万美元大奖,你的心脏健康要被重新定义了!
更新时间:2025-04-16