https://github.com/microsoft/generative-ai-for-beginners
Tokenization = how the model "sees" the prompt 标记化 = 模型如何“看到”提示 LLM 将 prompt 视为一系列 tokens,其中不同模型(或模型的版本)可以以不同方式对同一提示进行标记。
Base LLMs = how the foundation model "processes" a prompt 基础 LLMs = 基础模型如何“处理”提示 一旦 prompt 被标记化,基础 LLM(或基础模型)的主要功能就是预测该序列中的 tokens。 注意:LLMs 不理解 prompt 或 tokens 中单词的含义;他们只是看到了一个可以通过下一个预测“完成”的模式。
Instruction-Tuned LLMs = how the model can now see "tasks" 指令调整的 LLMs = 模型现在如何查看“任务” 使用可以包含明确指令的示例或输入/输出对(例如多轮“消息”)对其进行微调,可以训练模型遵循指令并从反馈中学习,从而产生更适合实际应用且与用户目标更相关的响应。
Zero-shot prompting:零样本提示
Few-shot prompting:少样本提示
Chain-of-thought(CoT):思路链(提供相似例子、展示计算流程)
Generated knowledge:提示词中规范输出
Least to most:将问题分解为一系列步骤,然后要求按顺序执行这些步骤
Self-refine:对模型结果进行批判,要求其改进
Maieutic prompting:要求其解释结果的各个部分,减少输出的不一致
AI 系统应公平对待所有人。
AI 系统应可靠、安全地执行。
AI 系统应是安全的并且应尊重隐私。
AI 系统应为所有人提供支持,让人们都参与进来。
AI 系统应明白易懂。
应该有人对 AI 系统负责。