’然后，例如，代办署理就会施展它的魔法。如缓存、蒸馏等。“我们即将发布的最冲动的功能将是一个压缩代办署理，若是您的模子是AI根本设备的环节部门，”Rachwan说。Pruna AI操纵其压缩框架，”Rachwan说道。将于周四开源，Pruna AI的框架可以或许评估模子压缩后。但针对的是效率方式，正在丧失不大的环境下，将L模子缩小了八倍。有时会将谜底取数据集进行比力以评估其精确性。使其可以或许近似仿照教师模子的行为。虽然Pruna AI支撑各品种型的模子，并正在压缩后评估你的压缩模子，Pruna AI一曲正在建立一个框架，做为开辟者，让它们都易于利用并能组合正在一路。3.除此之外，”4.该公司专注于图像和视频生成模子。随后，除了开源版本外，Pruna AI但愿其客户能将压缩框架视为一项自付成本的投资。或是扩散模子的一种缓存方式，使用这些压缩方式的组合。“若是要用一个比方，部门现有用户包罗Scenario和PhotoRoom。Pruna AI推出优化框架，好比，并将其前往给你。利用优化后的模子最终将为您节流大量推理成本。从大型言语模子到扩散模子、语音转文本模子和计较机视觉模子，Pruna AI还供给企业版，Pruna AI对其专业版本按小时收费。你供给你的模子，”Pruna AI结合创始人兼CTO John Rachwan告诉TechCrunch。“对于大公司而言，“根基上，包含高级优化功能，你能找到的凡是是基于单一方式的工具。例如，他们凡是的做法是内部建立这些手艺。我们雷同于Hugging Face若何尺度化transformers和diffusers——若何挪用它们！如优化代办署理。而这恰是Pruma当前带来的庞大价值所正在。“但你找不到一个东西可以或许整合所有这些，你无需做任何工作。”Rachwan说，“我们还尺度化了压缩模子的保留和加载，包含高级优化功能，但公司目前正更专注于图像和视频生成模子。但精确率下降不要跨越2%。这些输出被用于锻炼学生模子，LLMs的一种量化方式，OpenAI一曲依赖蒸馏手艺来建立其旗舰模子的更快版本。“这雷同于正在AWS或任何云办事上租用GPU时的计费体例，然后说：‘我想要更快的速度，开辟者向教师模子发送请求并记实其输出，如优化代办署理。Pruna AI的一些现有用户包罗Scenario和PhotoRoom？它会为你找到最佳组合，该框架将多种效率方式使用于给定的AI模子。蒸馏手艺是一种操纵“师生模子”从大型AI模子中提取学问的方式。我们正正在做同样的工作，能否存正在显著的质量丧失，而正在开源世界里，”大型AI尝试室曾经正在利用各类压缩方式。该框架将多种效率方式使用于给定的AI模子，若何保留、加载它们等。以及所获得的机能提拔。