揭秘提示词压缩技术

---

提示工程是一种在机器学习模型，尤其是预训练语言模型中，通过精心设计输入提示（prompt）来引导模型输出期望结果的技术。在大语言模型的使用中，提示词通常是一段文本，用来引导模型生成特定的输出或完成特定的任务。在多文档搜索、问答系统、文档自动摘要生成以及阅读理解等多样化且复杂的应用场景中，往往会面临输入提示（prompt）长度显著增加的挑战。这种超长prompt不仅加大了大型语言模型（llm）的推理成本，还显著延长了推理时间，从而严重限制了其在需要即时响应的实时应用场景中的适用性。为了克服这一难题，优化prompt设计，如通过压缩技术精简关键信息、采用更高效的prompt格式或结构，变得尤为关键。这样的策略旨在平衡模型性能与实时性需求，确保llm能够在复杂多变的场景下依然保持高效、准确的响应能力。基于以上背景，卓世科技创新的中文提示词压缩技术应运而生。卓世科技对提示词进行压缩的技术旨在保证推理效果的前提下降低推理成本，提升推理速度。其主要的思路如下：

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

（1）定义长prompt的结构：

Prompt=instruction+documents/demonstrations+question。

（2）小语言模型和大语言模型的分布对齐

使用小语言模型（LLM）估计长prompt的各个部分的重要程度，为了缩小大语言模型（LLM）和小语言模型之间的概率分布差距，通过在LLM生成的数据上进行指令微调来有效小语言模型，使得小语言模型更好地模拟LLM的分布。

（3）对documents/demonstrations部分进行两个层次的压缩

3.1、示例层次的压缩

documents/demonstrations部分中通常包含多个文档/示例，而每个文档/示例包含有多个段落。针对每个文档/示例的每个段落，计算出段落与question的相关性，保留得分前3的段落作为该文档/示例的代表上下文x_doc。同时，可计算出该文档/示例中所有段落的平均相关性s_k。

然后根据question部分和文档/示例的代表上下文x_doc计算文档/示例级别的困惑度r_k。最终文档/示例的评分为s1=s_k*r_k。

此时，每个文档/示例计算出三个分数，评分s1、平均相关性s_k以及困惑度r_k。利用这三个分数从长prompt的documents/demonstrations部分中删除部分文档/示例。

3.2重排序

由于模型对prompt的不同位置处的信息的敏感度不同，通常模型对prompt首尾位置处的信息敏感度较好，中间位置的敏感度较差。为了确保prompt的效果，可依据评分对保留的文档进行重排序处理，使得评分较高的文档排列在首位，评分较低排列在中间位置。

Remover

几秒钟去除图中不需要的元素

304 查看详情

3.3文档/示例压缩率计算

针对重排序后的prompt，用户可自定义在词语层次上的压缩率。按照上述文档/示例的排序，使用[1, 2*Kc]的均匀离散分布，来初始化每个文档/示例的压缩率。

3.4词语层次的压缩

在删减文档/示例后的documents/demonstrations部分，可计算每个token的条件困惑度差异。

为了确保压缩后的语义完整，可使用双向最大匹配分词法，以获取到最长的分词词语。同时，为了适应垂直领域，可结合垂直领域内的专业词汇表进行分词，尽量保留垂直领域内的专业词汇。

然后可基于前述计算出的token的条件困惑度差异以及分词的结果，对每个词语进行打分。假设一个中文词语word_i有k个token组成，按照该中文词语word_i是否属于垂直领域的词汇，使用不同的计算方式对其评分。

最后针对每个文档/示例，利用文档/示例中每个词汇的评分，按照得分高低顺序压缩文档/示例，使得其满足文档/示例的压缩率。

（4）压缩后的prompt可输入至大语言模型中，得到响应。

至此，整个提示词压缩的方案介绍完毕，该技术方案相比于其他压缩方案，更加适配中文的词语粒度，尤其在垂直领域可避免丢失专业词汇，在保证语义完整的情况下删减了冗余信息，可有效降低提升推理效率，节约计算成本。

以上就是揭秘提示词压缩技术的详细内容，更多请关注其它相关文章！

# 是一种  # 梧州一对一网站建设优化  # 西安网站建好后怎么推广  # 推广中华节庆文化网站  # 济南专业网站推广方法  # 旅行社网站推广策略  # 广东建设银行网站首页  # 常州品牌网站建设优化  # 导航网站如何做优化推广  # 石家庄微商网站推广  # 沧州关键词优化排名公司  # 工程  # 这一  # 写论文  # 操作流程  # 开源  # 多个  # 压缩率  # 计算出  # 文档  # 排列  # 压缩技术 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 阿里云推出通义万相AI绘画大模型  Bing 聊天机器人现支持在桌面端用语音提问  Meta发布"类人"AI图像创建模型，能解决多出手指等Bug  鸿蒙4即将支持大规模AI模型  网易云音乐和小冰推出AI歌手音乐创作软件，首发内置12名AI歌手  WPS AI 官网上线：可申请体验官资格，支持 Windows、安卓端下载  利亚德加码AI战略，与光年无限图灵机器人全面开展AI研发业务合作  360°/180°双模式，佳能公布可折叠小体积的VR全景相机  国产工业机器人领域“暗潮涌动”，即将迎来新一轮复苏  GPT-4 模型架构泄露：包含 1.8 万亿参数、采用混合专家模型  对Hugging Face开源模型精准投毒！LLM切脑后变身PoisonGPT，用虚假事实洗脑60亿人  人工智能改变网络安全和用户体验的三种方式  “世界人工智能之都”的新烦恼：AI热潮无法拉动大量就业  对艺术家拒绝置若罔闻，Stability AI 将推出适应多种画风的开源模型  李开复：未来几年，人工智能会革了所有人的命，除非你这么做  企业软件行业更将被AI全面重构！Moka李国兴：未来优秀组织和个人将一定是善于使用AI生产力的  世界人工智能大会|“AI领航，共筑未来”高端保险论坛成功举办  视觉中国推出付费AI绘图功能：无版权可用  石头扫拖机器人 G20 618 福利来袭：4999 元，超值配件领到手软  马斯克回应“人工智能让一切变得更好”：我们已经是半机器人了  央视报道！星纪魅族集团车载人机交互技术成世界移动通信大会焦点  意大利警察拟用AI预测犯罪 该算法被指种族歧视严重  华为推出两款商用 AI 大模型存储新品，支持 1200 万 IOPS 性能  科技赋能司法执行 阿里资产免费为全国法院升级VR新服务  国内AI大模型“安卓时刻”到来！阿里云通义千问免费、开源、可商用  AI进军债券交易，BondGPT来了！  调查：过半数艺术家认为 AI 作图无法帮助他们的工作  金山办公：AI是重要的产品战略之一  “黑科技”亮相大湾区轨交论坛 智慧交通迈向“强AI”  磐镭发布全新 GeForce RTX 4080 ARMOUR 显卡，售价为 9499 元  华为将于 7 月发布面向 AI 大模型的新款存储产品  如布AI口袋学习机S12 将亮相综艺节目《好样的！国货》  元宇宙技术带你穿梭“大运河”，江苏书展上的数字阅读馆吸睛小读者  曝光HarmonyOS 4的重要新能力：全面升级AI大模型，小艺实现全面进化  直击上影节 | 光线传媒董事长王长田谈新技术：未来VR放映效果可能媲美影院  Midjourney 5.2震撼发布！原画生成3D场景，无限缩放无垠宇宙  数字彩排、虚拟建厂！这家顶级洗衣机工厂敲开“工业元宇宙”之门  兆讯传媒率先全面拥抱AI 数智广告内容焕发新生机  全新升级的广州麦当劳：面积最大餐厅正式引入智慧机器人  Win11 的画图应用将包含 Windows Copilot 的 AI 工具整合  成都大运会闭幕式引入人形机器人展示表演  当一个网站的内容被 AI 完全接管  探索人工智能和物联网的动态融合  谷歌借AI打破十年排序算法封印，每天被执行数万亿次，网友却说是最不切实际的研究？  云鲸发布全新的扫拖机器人J4系列  WHEE功能介绍  25个AI智能体源码现已公开，灵感来自斯坦福的「虚拟小镇」和《西部世界》  Gartner发布中国企业人工智能趋势浪潮3.0  卫星通信牵引物联网竞争升维，模组厂商如何决胜百亿市场？  复旦发布「新闻推荐生态系统模拟器」SimuLine：单机支持万名读者、千名创作者、100+轮次推荐 

 2024-10-09