生成式AI的三大抓手，让机器的答案更专业、更实事求是

从0 到1 训练大模型的成本和难度高企，因此大模型开发能力未来将集中于少数专业 机构。对银行而言，主要的落地路径是直接应用市场上已训练好的大模型。但拿来即用， 需有正确的方法来应对两大挑战，确保答案质量可靠。

• 挑战一是 “说真话”： 生成式AI的“知识”是基于预训练时已经封装好的“知 识”，它的知识并不能及时更新，更没有融入各家银行自身掌握的专属数据和信息。 因此，直接与其对话时，给出的答案容易出现偏离事实、甚至“胡说八道”。

• 挑战二是“说专业的话”： 大模型虽然有很强的“泛化”知识能力，但在某些专业领 域的知识并不一定能掌握得好；每家金融机构内部一些特定的表达要求、表达风格在 预训练时也未曾捕捉。 那么，如何让模型产生的答案更能契合银行自身的需求呢？有三个关键抓手（参阅图5）

抓手一：利用嵌入（embedding），使大模型能基于给定的数据库来生成答案。例如， 银行可以将理财经理与客户A 的前期通话访谈记录、客户A 在银行渠道的理财产品买卖交 易历史记录，都切割编码放入到向量数据库。当理财经理问系统“客户A 的理财偏好是什 么？ ”这个问题时，系统首先到向量数据库检索出相关信息片段（买卖记录中能显示出产 品偏好、对话记录中也有表示出的产品偏好），之后再将理财经理的问题和搜索到的信息 片段传送给大模型，由大模型整合形成最终的对话式答案。

抓手二：利用强有力的提示词设计，使模型给出契合专业性要求的准确答案。问题 怎么问，即提示词是什么，对模型的输出结果有决定性的影响。一个简单的例子，同样问 ChatGPT“如果我老板让我周六加班，我该怎么办？ ”，当加入半句话“请你以一个劳动法 律师的角色来回答”时，问题的答案就会完全不同

当然，提示词之所以目前已称之为工程，甚至一个新学科，绝不只是体现在单一问题 上应用角色设定、提供背景等简单技巧。在以提示词进行应用开发时，可利用LangChain 把问题解决的长线逻辑和相关例子全部融入进去，使大模型能按照预设的步骤、思考链路、 回答格式来产生答案，从而形成更符合专业领域要求的产出。目前，领先大模型如GPT-4 的提示词已可以容纳32K（约 2 万字）的输入，能支持相当复杂的、含多轮“问答对”的问 题描述。从落地所需的能力来看，提示词工程对团队的要求，根本上是问题拆解、流程梳 理的能力，对软件开发能力的要求较为有限。

抓手三：直接对开源大模型进行指令精调。精调模型会直接修改模型的参数，使得模 型在有限提示词下，一次性生成答案的质量更高（zero-shot 质量更高）。不过，即使模型进 行了精调，若要处理的是需拆解多步逻辑链路的问题，仍需要在提示词上精心设计，只靠 精调模型难以解决所有应用诉求。另外，精调模型需要更多的示例（数量明显多于提示词 设计所需的高质量示例要求，且需要人工标注）和一定的算力资源（需高算力芯片），同时 还需要团队有擅长做模型的数据科学家，这都使得场景应用开发的整体资源投入更高。

因此，若应用方能选择的大模型本身性能足够强大领先，且处理的问题需要多步逻辑 拆解，通常优先考虑直接用“提示词设计”而非“精调”来进行场景应用的开发。反之，针 对不需复杂逻辑拆解、相对直接的“内容问答”类场景（如客服、知识库、培训等），银行 通常有大量现成的高质量“问答对”的数据积累可支撑训练，那么精调不乏为投入产出比 更高的一种路径。