文章来源:放心AI网发布时间:2025-04-10 14:38:28
Pruna AI 是一家来自欧洲的初创公司,专注于 AI 模型的压缩算法开发。近日,该公司宣布将其优化框架开源,以帮助开发者更高效地压缩和 AI 模型。
Pruna AI 开发的框架结合了多种效率方法,包括缓存、剪枝、量化和蒸馏等,旨在提升 AI 模型的性能。该框架不仅标准化了压缩模型的保存和加载,还能对压缩后的模型进行评估,以判断其质量是否显著下降,同时测量压缩带来的性能提升。
Pruna AI 的联合创始人兼首席技术官约翰・拉赫万(John Rachwan)表示:“我们的框架类似于 Hugging Face 对 transformers 和 diffusers 的标准化,我们为各类效率方法提供了一种统一的调用和使用方式。” 大公司如 OpenAI 已经在其模型中应用了多种压缩方法,例如使用蒸馏技术来创建其旗舰模型的更快版本。
蒸馏是一种通过 “教师 – 学生” 模型提取知识的技术,开发者向教师模型发送请求并记录输出。这些输出随后用于训练学生模型,使其能够近似教师模型的行为。拉赫万指出,虽然许多大公司倾向于自行构建压缩工具,但在开源社区中,往往只能找到基于单一方法的解决方案,而 Pruna AI 提供了一个整合多种方法的工具,极大地简化了使用过程。
目前,Pruna AI 的框架支持多种类型的模型,包括大型语言模型、扩散模型、语音识别模型和计算机视觉模型。但该公司目前主要集中于图像和视频生成模型的优化。已有如 Scenario 和 PhotoRoom 等企业在使用 Pruna AI 的服务。
除了开源版本,Pruna AI 还推出了一个企业版,包含高级优化功能和一个优化代理。拉赫万透露:“我们即将发布的最令人兴奋的功能是压缩代理,用户只需提供模型,并设定速度和准确度的要求,代理将自动找到最佳的压缩组合。”
Pruna AI 按小时收费,类似于用户在云服务上租用 GPU 的方式。通过使用优化后的模型,企业可以在推理时节省大量费用。例如,Pruna AI 成功将一个 Llama 模型的体积缩小了八倍,且几乎没有损失精度。该公司希望客户能够将其压缩框架视为一种投资,最终获得回报。
近日,Pruna AI 完成了650万美元的种子融资,投资者包括 EQT Ventures、Daphni、Motier Ventures 和 Kima Ventures。
项目:https://github.com/PrunaAI/pruna
上一篇: Arcade.dev获1200万美元融资,助力AI代理安全执行任务
Arcade dev 宣布获得1200万美元的种子融资,专注于为 AI 代理提供安全的认证和集成平台。这一轮融资由 Laude Ventures 主导,参与者还包括 Flybridge Ventures、Hanabi Capital、Neotribe 及多位知名投资人。Arca
下一篇: 上海浦东聚焦人形机器人与大模型技术,力图打造创新产业园区
近日,上海浦东新区召开了一场市政府新闻发布会,副区长李慧在会上表示,浦东将全面发力,聚焦人形机器人、大模型以及生物制造等前沿科技领域,致力于构建一批具有特色的产业园区地标。这一举措不仅展现了浦东在
相关攻略 更多
最新资讯 更多
调查:超72%的企业选择AI工具时最看重易用性
更新时间:2025-04-11
ZoomAI助手AICompanion功能升级,可识别并自动完成任务
更新时间:2025-04-11
DeepMindCEO预测:五至十年内有望实现AGI
更新时间:2025-04-11
《鱿鱼游戏》明星代言!Perplexity发布新广告,幽默反击GoogleAI失误
更新时间:2025-04-11
阿里QwQ-32B大模型成功上线国家超算互联网平台,助力Chatbot服务
更新时间:2025-04-11
摩尔线程重磅开源两大AI框架,国产GPU训练效率突破90%
更新时间:2025-04-11
"躺赚"背后是陷阱:抖音副总裁警告勿信"AI无人直播"宣传
更新时间:2025-04-11
金山办公申请青丘大模型商标,布局科学仪器与网站服务领域
更新时间:2025-04-11
马斯克xAI收购视频生成初创公司Hotshot,AI视频领域竞争再升级
更新时间:2025-04-11
Anthropic发布MCP传输机制重大升级:告别长连接,迎接更灵活的"StreamableHTTP"
更新时间:2025-04-11