文章来源:放心AI网发布时间:2025-04-10 14:38:28
Pruna AI 是一家来自欧洲的初创公司,专注于 AI 模型的压缩算法开发。近日,该公司宣布将其优化框架开源,以帮助开发者更高效地压缩和 AI 模型。
Pruna AI 开发的框架结合了多种效率方法,包括缓存、剪枝、量化和蒸馏等,旨在提升 AI 模型的性能。该框架不仅标准化了压缩模型的保存和加载,还能对压缩后的模型进行评估,以判断其质量是否显著下降,同时测量压缩带来的性能提升。
Pruna AI 的联合创始人兼首席技术官约翰・拉赫万(John Rachwan)表示:“我们的框架类似于 Hugging Face 对 transformers 和 diffusers 的标准化,我们为各类效率方法提供了一种统一的调用和使用方式。” 大公司如 OpenAI 已经在其模型中应用了多种压缩方法,例如使用蒸馏技术来创建其旗舰模型的更快版本。
蒸馏是一种通过 “教师 – 学生” 模型提取知识的技术,开发者向教师模型发送请求并记录输出。这些输出随后用于训练学生模型,使其能够近似教师模型的行为。拉赫万指出,虽然许多大公司倾向于自行构建压缩工具,但在开源社区中,往往只能找到基于单一方法的解决方案,而 Pruna AI 提供了一个整合多种方法的工具,极大地简化了使用过程。
目前,Pruna AI 的框架支持多种类型的模型,包括大型语言模型、扩散模型、语音识别模型和计算机视觉模型。但该公司目前主要集中于图像和视频生成模型的优化。已有如 Scenario 和 PhotoRoom 等企业在使用 Pruna AI 的服务。
除了开源版本,Pruna AI 还推出了一个企业版,包含高级优化功能和一个优化代理。拉赫万透露:“我们即将发布的最令人兴奋的功能是压缩代理,用户只需提供模型,并设定速度和准确度的要求,代理将自动找到最佳的压缩组合。”
Pruna AI 按小时收费,类似于用户在云服务上租用 GPU 的方式。通过使用优化后的模型,企业可以在推理时节省大量费用。例如,Pruna AI 成功将一个 Llama 模型的体积缩小了八倍,且几乎没有损失精度。该公司希望客户能够将其压缩框架视为一种投资,最终获得回报。
近日,Pruna AI 完成了650万美元的种子融资,投资者包括 EQT Ventures、Daphni、Motier Ventures 和 Kima Ventures。
项目:https://github.com/PrunaAI/pruna
上一篇: Arcade.dev获1200万美元融资,助力AI代理安全执行任务
Arcade dev 宣布获得1200万美元的种子融资,专注于为 AI 代理提供安全的认证和集成平台。这一轮融资由 Laude Ventures 主导,参与者还包括 Flybridge Ventures、Hanabi Capital、Neotribe 及多位知名投资人。Arca
下一篇: 上海浦东聚焦人形机器人与大模型技术,力图打造创新产业园区
近日,上海浦东新区召开了一场市政府新闻发布会,副区长李慧在会上表示,浦东将全面发力,聚焦人形机器人、大模型以及生物制造等前沿科技领域,致力于构建一批具有特色的产业园区地标。这一举措不仅展现了浦东在
相关攻略 更多
最新资讯 更多
OpenAI几周内发布o3-mini,性能略逊于o1-pro
更新时间:2025-05-06
Runway推全新AI图像生成器Frames,打造电影级视觉表现
更新时间:2025-05-06
微软推出WindowsAI搜索功能测试,提升文件查找体验
更新时间:2025-05-06
OpenAI专家:社交媒体上的AI炒作远比你想象的复杂!
更新时间:2025-05-06
AI始祖重生:世界首个聊天机器人ELIZA在60年后重获新生
更新时间:2025-05-06
大型出版公司Dotdash与OpenAI达成合作,裁员百余人
更新时间:2025-05-06
阶跃星辰上线Step-2mini、Step-2文学大师版语言模型
更新时间:2025-05-06
MiniMax海螺语音全球同步上线包含T2A-01-Turbo等模型
更新时间:2025-05-06
MIT、DeepMind研究揭示视觉语言模型无法理解否定表达的原因
更新时间:2025-05-06
商汤日日新融合大模型交互版开放商用实时音视频对话限时免费
更新时间:2025-05-06