Milvus 是一个专注于向量数据库（Vector Database）的开源系统，它的设计目的是高效存储、管理和检索高维向量数据（如图像、文本、音频的特征向量）。它支持大规模向量的相似性搜索，并广泛应用于推荐系统、图像检索、自然语言处理等领域。

# Milvus的核心概念

## Database(数据库)
Milvus 的逻辑命名空间，类似于传统数据库系统中的数据库，用于隔离和组织数据集合（Collection）。

作用：提供数据的逻辑隔离，支持多租户，不同的数据库之间可以独立操作互不干扰。

用途：在同一个 Milvus 实例中存储不同业务线的数据，例如用户行为数据和商品特征数据。

## Collection（集合）
存储高维向量和相关元数据的基本单位，类似于传统数据库中的“表”。每个 Collection 由 Schema 定义其结构。

作用：用于存储实际的数据，支持对数据的增、删、改、查等操作。

用途：在向量检索任务中，每个 Collection 通常表示一个特定的数据集，如用户向量、商品向量。

## Schema（模式）
定义一个 Collection 的字段及其数据类型的规则和描述。

作用：规定集合中数据的字段类型、主键、向量维度等，确保插入数据符合规范，并优化存储和检索性能。

用途：用于定义向量字段（如 128 维浮点向量）和其他辅助字段（如整型主键或时间戳）。

## Field（字段）
Collection 中的一个数据列，类似于表的列。

作用：定义字段名称、类型和特性（如是否为主键，是否自动生成主键）

支持的类型包括：标量字段：INT64、FLOAT、DOUBLE、VARCHAR 等；向量字段：FLOAT_VECTOR、BINARY_VECTOR。

用途：主键字段用于唯一标识数据记录。向量字段用于存储特征向量，用于相似性搜索。

## Partition（分区）
Collection 的子集，用于数据的逻辑组织和分组。

作用：通过分区将数据按某些规则（如时间、类别）进行分组管理，提高查询性能和数据管理的灵活性。

用途：在电商应用中，可以按商品类别为一个集合创建多个分区，如“电子产品”、“服装”等。

## Index（索引）
为向量字段创建的索引结构，用于加速向量相似性检索。

作用：优化向量的相似性搜索速度，在海量数据中实现毫秒级查询响应。

支持的索引类型：VF（倒排文件）、HNSW（分层图结构）、ANNOY（近似最近邻搜索）

用途：为存储在 Collection 中的高维向量数据提供快速的相似性搜索。

## Metric（度量方式）
衡量向量之间相似度的方法。

作用：决定向量之间相似性的计算方式。

用途：选择适合具体应用的相似性度量方法，例如图像检索使用欧氏距离，推荐系统使用内积。

支持的度量方式：欧氏距离（Euclidean Distance）、内积（Dot Product）、余弦相似度（Cosine Similarity）、汉明距离（Hamming Distance）

## Index File Size（索引文件大小）
决定了 Milvus 在构建索引之前将数据分块的大小。

作用：控制索引的粒度、平衡内存使用与检索性能。

用途：针对大数据集，合理配置索引文件大小，避免内存不足。

## Query（查询）
在 Milvus 中对向量数据进行检索和过滤的操作。

作用：支持通过特定向量字段进行相似性搜索、允许基于标量字段添加过滤条件。

用途：结合向量字段和标量字段实现复杂的查询需求，如“查找与目标向量最相似的 10 个商品，但价格小于 100 的商品”。

## Search（搜索）
基于向量字段的相似性搜索操作。

作用：根据提供的查询向量查找最相似的向量数据，支持返回 K 个最相似的结果。

用途：用于推荐系统、图像搜索、视频检索等场景。

## Insert（插入）
向 Collection 中添加数据的操作。

作用：将向量及相关元数据存储到 Collection 中。

用途：将用户行为特征、商品特征等数据存储到指定的 Collection。

## Delete（删除）
从 Collection 中删除指定数据的操作。

作用：支持基于主键或其他条件删除数据。

用途：清理旧数据或删除错误数据。

## Flush（刷新）
内存中的数据同步到持久化存储中的操作。

作用：确保数据持久化，防止内存丢失。

用途：在插入大量数据后进行 Flush 操作，保证数据安全。

## Compaction（数据整理）
合并多余的段，减少存储空间和提高查询性能的操作。

作用：清理无效数据（如删除标记的数据）。

用途：在频繁数据操作后运行 Compaction，优化存储和查询性能。

## Segment（段）
Collection 的物理存储单元，用于存储实际的数据块。

作用：每个 Collection 中的数据分为若干个 Segment。Segment 是数据管理和查询优化的基础单元。

用途：在插入数据时，自动创建新的 Segment 并管理其生命周期。

## Time Travel（时间穿越查询）
在指定时间点查看 Collection 数据的功能。

作用：支持按时间点进行数据的回溯查询。

用途：用于历史数据的分析和版本控制。

# 概念间的关系

## 关系层次图
```
Database (数据库)
├── Collection (集合)
│  ├── Schema (模式)
│  │   ├── Field (字段)
│  ├── Partition (分区)
│  ├── Segment (段)
│  │   ├── Index (索引)
│  │   └── 数据记录
└── Time Travel (时间穿越查询)
```
## 概念层次关系说明

我认为在概念层面向量数据库和关系数据库本身没有什么可比性，但是作为传统程序使用关系数据库的概念来理解Milvus可能更好理解。

在 Milvus 中，Schema、Database 和 Collection 是层次化的数据组织和定义概念，它们各自的职责和作用如下：
1. Database(数据库)

* 最顶层逻辑容器，提供命名空间和数据隔离。
* 每个 Database 包含多个 Collections。
* 独立性：数据库之间的数据和操作互不干扰，适合不同的业务线或多租户场景。

2. Collection(集合)
* Database 中的核心数据存储单元，存储具体的数据。
* Collection 是操作对象，例如插入、查询、删除等操作都针对 Collection。
* 每个 Collection 必须有一个 Schema 定义其结构。
* 一个 Collection 可以进一步划分为多个 Partitions，以逻辑分组数据。

3. Schema(模式)
* 说明：定义单个Collection的结构，即字段的名称、类型、维度等
* Schema 包含多个 Fields，规定：
  * 每个字段的名称、类型、是否为主键。
  * 向量字段的维度（例如 128 维）。
* 作用关系：
  * Schema 决定了 Collection 中可以存储什么样的数据。
  * 插入的数据必须符合 Schema 规则。

4. Field（字段）
* Collection 的数据列，每个 Field 是 Schema 的一部分。
* 不同 Field 存储不同类型的数据，如主键（ID）、时间戳、向量字段等。
* Field 的定义直接影响数据存储的查询效率，例如：
  * 主键字段（唯一标识数据）。
  * 向量字段（用于相似性搜索）。

5. Partition（分区）
* Collection 的逻辑子集，用于对数据进一步组织和分组。
* Partition 的关系：
  * 一个 Collection 可以有多个 Partitions。
  * 每个 Partition 包含部分数据记录。
* 分区的作用：
  * 提高查询性能。例如，可以按时间分区，只查询某些分区的数据。
  * 管理数据。例如，将不同类别的数据存储到不同分区。
6. Segment（段）
* Partition 的物理存储单元，存储实际的数据块。
* Segment 的关系：
  * 一个 Partition 中包含多个 Segments。
  * Segment 是插入数据时生成的基础单位，管理数据的生命周期。
* 作用关系：
  * 提供并行化的数据存储和查询。
  * 定期进行 Compaction（合并小段），提高性能。
7. Index（索引）
* Segment 的附加结构，用于加速向量相似性搜索。
* 索引的关系：
  * 每个 Segment 可以有一个或多个索引。
  * 索引基于 Segment 的向量字段生成。
* 作用关系：
  * 为 Collection 数据提供高效的相似性搜索。
  * 不同的索引类型适用于不同的数据分布和搜索需求。
8. Query/Search（查询/搜索）
* 操作级别的功能，用于对 Collection 中的数据进行检索。
* 查询的关系：
  * 查询可以针对整个 Collection，也可以针对指定的 Partition。
  * 查询结果基于向量字段的相似性，同时可以结合标量字段进行过滤。
* 作用关系：
  * 与 Collection、Schema 和 Index 紧密相关。
  * 检索效率和精度依赖于索引、分区以及字段的合理设计。
9. Time Travel（时间穿越查询）
* 历史查询功能，允许在指定时间点查看 Collection 数据。
* 时间穿越查询的关系：
* 依赖于 Segment 的元数据和存储快照。
* 查询结果基于 Collection 和 Partition 的历史状态。
* 作用关系：
  * 用于审计、数据版本控制和历史分析。

## 概念层次关系总结表

| 概念 | 上级关系 | 下级关系 | 作用 |
| --- | --- | --- | --- |
| Database | 顶层容器 | Collection | 提供逻辑命名空间，隔离不同业务线的数据。 |
| Collection | Database | Schema、Partition | 数据存储的核心单元，支持高维向量和标量字段的操作。 |
| Schema | Collection | Field | 定义 Collection 的字段结构，规定存储数据的规则。 |
| Field | Schema | 数据记录 | 定义字段名称、类型、主键属性和向量维度等。 |
| Partition | Collection | Segment  |按逻辑分组数据，提高查询效率和数据管理灵活性。 |
| Segment | Partition | Index | 数据的物理存储块，是数据插入和查询的基本单位。 |
| Index | Segment | - | 提高向量检索效率，支持多种索引算法（如 IVF、HNSW）。 |
| Query/Search | Collection、Partition | - | 支持向量检索和标量字段过滤，是 Milvus 的主要功能之一。 |
| Time Travel | Collection | Segment 快照| 支持基于时间点的历史数据查询。 |

1. 顶层管理逻辑：Database

* 数据库是最高级别的逻辑单位，管理多个集合（Collection）。
* 不同数据库间完全隔离，用于多租户或多业务线的场景。
* 数据存储核心：Collection

2. Collection 是核心数据单元，所有插入、查询、删除等操作围绕它展开。
* 它的结构由 Schema 决定，数据被存储在多个 Partitions 和 Segments 中。

3. 数据逻辑与物理组织：Partition 和 Segment
* Partition 是数据的逻辑分组。
* Segment 是数据的物理存储块，是索引和查询的直接操作对象。

4. 查询加速工具：Index
* 为 Segment 的向量字段创建索引，加速大规模向量相似性搜索。

5. 多功能数据检索：Query/Search
* 检索结合了向量字段的相似性搜索和标量字段的过滤。

6. 历史数据支持：Time Travel
* 依赖 Segment 快照，支持历史版本的数据查询。

认识Milvus向量数据库

## Models (模型)
AI 模型是旨在处理何生成信息的算法，通常模仿人类的认知功能。通过从大型数据集中学习模式何间接，这些模型可以进行预测、文本、图像或其它输出，从而增强跨行业的各种应用程序。

有许多不同的 AI 模型，每种模型都适用于特定的试用案例。随软管ChatGPT机器生成式AI功能通过文本输入何输出吸引了用户，但许多模型何公司都提供了不同的输入何输出。

下表根据模型的输入和输出类型对多个模型进行分类：
![image.png](/static/img/4475f933f7d74805795fa32d5fa8a4f0.image.webp)

## Prompts (提示词)

提示是基于语言的输入的基础，这些输入可指导 AI 模型生成特定输出。对于熟悉 ChatGPT 的人来说，提示可能看起来只是在发送到 API 的对话框中输入的文本。然而，它包含的远不止于此。在许多 AI 模型中，提示的文本不仅仅是一个简单的字符串。

ChatGPT 的 API 在一个提示中有多个文本输入，每个文本输入都分配了一个角色。例如，有 system 角色，它告诉模型如何行为并设置交互的上下文。还有 user role，通常是来自用户的 Importing。

制作有效的提示既是一门艺术，也是一门科学。ChatGPT 专为人类对话而设计。这与使用 SQL 之类的东西来 “ask a question” 完全不同。一个人必须与 AI 模型进行交流，类似于与另一个人交谈。

正是这种交互方式的重要性，以至于“Prompt Engineering”一词已经成为一门独立的学科。有一系列新兴的技术可以提高提示的有效性。投入时间制作提示可以大大提高结果输出。

分享提示已成为一种公共实践，并且正在积极地进行关于这一主题的学术研究。例如，创建有效的提示（例如，与 SQL 形成对比）是多么违反直觉，[最近的一篇研究论文](https://arxiv.org/abs/2205.11916)发现，您可以使用的最有效的提示之一以短语“深呼吸并逐步完成此工作”开头。这应该可以告诉你为什么语言如此重要。我们还不完全了解如何最有效地利用这项技术的先前迭代，例如 ChatGPT 3.5，更不用说正在开发的新版本了。

## Prompt Templates （提示模板）

创建有效的提示包括建立请求的上下文，并将请求的各个部分替换为特定于用户输入的值。

## Embeddings （嵌入）

嵌入是文本、图像或视频的数字表示形式，用于捕获输入之间的关系。

嵌入的工作原理是将文本、图像和视频转换为浮点数数组（称为向量）。这些矢量旨在捕获文本、图像和视频的含义。嵌入数组的长度称为向量的维数。

通过计算两段文本的向量表示之间的数值距离，应用程序可以确定用于生成嵌入向量的对象之间的相似性。

![image.png](/static/img/90eea10531e36ff229a93d1ca662886c.image.webp)

作为探索 AI 的 Java 开发人员，没有必要理解复杂的数学理论或这些向量表示背后的具体实现。对它们在 AI 系统中的角色和功能有基本的了解就足够了，尤其是在您将 AI 功能集成到应用程序中时。

嵌入在 Retrieval Augmented Generation （RAG） 模式等实际应用中尤其相关。它们能够将数据表示为语义空间中的点，这类似于欧几里得几何的二维空间，但维度更高。这意味着就像欧几里得几何中平面上的点可以根据其坐标来接近或远一样，在语义空间中，点的接近反映了含义的相似性。在这个多维空间中，关于相似主题的句子被放置在更近的位置，就像图表上彼此靠近的点一样。这种接近有助于文本分类、语义搜索甚至产品推荐等任务，因为它允许 AI 根据相关概念在这个扩展的语义环境中的 “位置” 来识别和分组。

您可以将此语义空间视为一个向量。

## Tokens

Token 是 AI 模型工作原理的构建块。在输入时，模型将单词转换为标记。在输出时，他们将标记转换回单词。

在英语中，一个标记大约相当于一个单词的 75%。作为参考，莎士比亚全集总计约 900,000 字，可翻译成大约 120 万个Token。

![image.png](/static/img/661030c8944a562e8110417cea33f6db.image.webp)

也许更重要的是Token = 货币。在托管 AI 模型的上下文中，您的费用由使用的Token数量决定。输入和输出都会影响总Token计数。

此外，模型还受Token限制的约束，这些限制限制了在单个 API 调用中处理的文本量。此阈值通常称为 “上下文窗口”。模型不会处理任何超过此限制的文本。

例如，ChatGPT3 有 4K Token限制，而 GPT4 提供不同的选项，例如 8K、16K 和 32K。Anthropic 的 Claude AI 模型具有 100K Token限制，而 Meta 最近的研究产生了 1M Token限制模型。

## Structured Output （结构化输出）

AI 模型的输出传统上以 java.lang.String 的形式到达，即使您要求以 JSON 格式回复也是如此。它可能是正确的 JSON，但不是 JSON 数据结构。它只是一个字符串。此外，在提示中请求 “for JSON” 并不是 100% 准确的。

这种复杂性导致了一个专业领域的出现，该领域涉及创建提示以产生预期的输出，然后将生成的简单字符串转换为可用于应用程序集成的数据结构。

![image.png](/static/img/7b5b743c6205c7e5bdd3e455029b34d9.image.webp)

结构化输出转换采用精心设计的提示，通常需要与模型进行多次交互才能获得所需的格式。

## Bringing Your Data & APIs to the AI Model (将您的数据和 API 引入 AI 模型)

GPT 3.5/4.0 数据集仅延长至 2021 年 9 月。因此，该模型表示它不知道需要该日期之后知识的问题的答案。如何为 AI 模型配备尚未训练的信息？

有三种技术可用于自定义 AI 模型以合并您的数据：

* Fine Tuning（微调）：这种传统的机器学习技术涉及定制模型和更改其内部权重。然而，对于机器学习专家来说，这是一个具有挑战性的过程，并且由于 GPT 等模型的大小，它非常耗费资源。此外，某些型号可能不提供此选项。
* Prompt Stuffing：一种更实用的替代方案涉及将数据嵌入到提供给模型的提示中。给定模型的 token 限制，需要技术在模型的上下文窗口中呈现相关数据。这种方法俗称 “填充提示”。Spring AI 库可帮助您实现基于“填充提示”技术（也称为检索增强生成 （RAG））的解决方案。
* Function Calling（函数调用）：此技术允许注册自定义的用户函数，这些函数将大型语言模型连接到外部系统的 API。

## Retrieval Augmented Generation （RAG 检索增强）

用于解决将相关数据纳入提示以实现准确 AI 模型响应。该方法涉及批处理风格的编程模型，其中作业从您的文档中读取非结构化数据，对其进行转换，然后将其写入矢量数据库。概括地说，这是一个 ETL （提取、转换和加载） 管道。

作为将非结构化数据加载到矢量数据库的一部分，最重要的转换之一是将原始文档拆分为更小的部分。将原始文档拆分为较小部分的过程有两个重要步骤：
1. 将文档拆分为多个部分，同时保留内容的语义边界。例如，对于包含段落和表格的文档，应避免在段落或表格的中间拆分文档。对于代码，请避免在方法实现的中间拆分代码。
2. 将文档的各个部分进一步拆分为大小占 AI 模型Token限制的一小部分。

RAG 的下一阶段是处理用户输入。当 AI 模型要回答用户的问题时，该问题和所有“相似”文档片段都会被放入发送到 AI 模型的提示中。这就是使用向量数据库的原因。它非常擅长寻找相似的内容。

![image.png](/static/img/10653020fc024b411c2f42692c20574d.image.webp)

## Function Calling （函数调用）

大型语言模型 （LLMs） 在训练后被冻结，导致知识过时，并且无法访问或修改外部数据。函数调用机制解决了这些缺点。它允许您注册自己的函数，以将大型语言模型连接到外部系统的 API。这些系统可以为 LLMs实时数据，并代表它们执行数据处理操作。

1、AI 概念

法网与小程序对接说明

让我们学习AI，拥抱AI，一起迎接AGI的到来，共同见证AI改变世界。

学习心法：把AI当人看

> 笔记内容基于《知学堂AI大模型全栈工程师》课程

## 什么是提示工程（Prompt Engineering）

提示工程也叫指令工程

* Prompt 就是你发给大模型的指令，比如：讲个笑话、用Python编一个贪吃蛇游戏、给女朋友写封情书等
* 学会提示工程，就像学用鼠标、键盘一样，是 AGI 时代的基本技能

我们要懂原理，会把AI当人看，就能够知道为什么有的指令有效有的无效，怎么提升指令有效的概率。

高质量prompt核心要点：具体、丰富、少起义

## Prompt 的典型构成

不要固守「模版」。模版的价值是提醒我们别漏掉什么，而不是必须遵守模版才行。

* **角色：** 给 AI 定义一个最匹配任务的角色，比如：「你是一位软件工程师」「你是一位小学老师」
* **指示：** 对任务进行描述
* **上下文：** 给出与任务相关的其它背景信息（尤其在多轮交互中）
* 例子：必要时给出举例，学术中称为 one-shot learning, few-shot learning 或 in-context learning；实践证明其对输出正确性有很大帮助
* **输入：** 任务的输入信息；在提示词中明确的标识出输入
* **输出：** 输出的格式描述，以便后继模块自动解析模型的输出结果，比如（JSON、XML）

「定义角色」为什么有效？

* 模型训练者并没想到过会这样，完全是大家「把 AI 当人看」玩出的一个用法
* 实在传得太广，导致现在的大模型训练数据里充满了角色定义，所以更有效了
* 有一篇论文证实的现象，可以说明为啥「你是一个 xxx」特别有效

> 大模型对 prompt 开头和结尾的内容更敏感

先定义角色，其实就是在开头把问题域收窄，减少二义性。

Prompt Engineering，提示工程

让我们学习AI，拥抱AI，一起迎接AGI的到来，共同见证AI改变世界。

>  笔记内容基于《知学堂AI大模型全栈工程师》课程

## AGI
AGI（Artificial General Intelligence） 通用人工智能，什么时候到来？

> 行业中：
>
> 乐观预测：明年（不太靠谱）
>
> 主流预测：3-5年
>
> 悲观预测：10年

AGI时代，将会行成新的社会分层：

1. **AI使用者**，就是使用别人开发好的AI产品（人人都在用）
2. **AI产品的开发者**，设计和开发AI产品
3. **基础模型相关**，训练基础大模型或者为大模型提供基础设施（基础模型相关门槛特别高，机会特别难遇到。比如：全球做基础大模型训练的只需要1000人）

## AI产品开发者的核心能力

首先，三懂
1. 懂业务：要懂用户、懂客户、懂需求、懂市场、懂运营、懂商业模式
2. 懂AI：懂AI能做什么、不能做什么，怎样才能做得更好、更快、更便宜
3. 懂编程：懂如何通过编程实现一个符合业务需求得产品

争取三懂，至少两懂，任何人无论如何要懂AI。所以有三种人：
1. AI全栈工程师：懂业务、懂AI、懂编程
2. 业务方向：懂业务、懂AI
3. 编程方向：懂编程、懂AI

建议：

> 编程向的，要尽可能靠近业务，争取全栈，否则走不远
>
> 业务向的，试试学编程，自主性更强。AI 编程，门槛已经低多了（但绝不是没门槛）

## 大模型 AI 能干什么？
大模型，全称「大语言模型」，英文「Large Language Model」，缩写「LLM」。

以下是基于大语言模型下的对话产品和对应试用的大模型：
![image.png](/static/img/42202aaf61c3bd65fbda552e45023a7a.image.webp)

大语言模型绝不只是聊天机器人，它的能量远不止于此。

如果业务中存在输出、分类、聚类、持续互动等场景，都适合使用大模型，甚至任何场景。

从程序员的角度思考，大模型就是一个函数，给输入生成输出；任何可以用语言描述的问题，都可以输入给大模型，就能生成结果。

## 大模型是怎么生成结果的

其实，它只是根据上文，猜下一个词（的概率）。

![lm-autoregressive.gif](/static/img/c2f3cef1b909ea593eb56e9987c958a7.lm-autoregressive.gif)

训练和推理是大模型工作的两个核心过程；用人来类比，训练就是学习，推理就是运用。
> 训练：
>
> 大模型阅读了人类说过的所有的话。这就是「机器学习」
>
> 训练过程会把不同 token 同时出现的概率存入「神经网络」文件。保存的数据就是「参数」，也叫「权重」
>
> 推理：
>
> 我们给推理程序若干 token，程序会加载大模型权重，算出概率最高的下一个 token 是什么
>
> 用生成的 token，再加上上文，就能继续生成下一个 token。以此类推，生成更多文字

> Token是什么？
>
> 可能是一个英文单词，也可能是半个，可能是一个中文词，或者一个汉字，也可能是半个汉字，甚至三分之一个汉字
>
> 大模型在开训前，需要先训练一个 tokenizer 模型。它能把所有的文本，切成 token；所以说大模型处理的单位就是token
>
> 很多中文的大模型会把一个字甚至一个词当成一个token，而在openai英文为主的大模型通常是把汉字分成2个token。所以在中文大模型中一个token通常代表1到1.5个汉字，而在英文模型里边可能需要1.5到2个token才能代表1个汉字；所以一般情况下中文的大模型处理的速度要比英文的大模型要高成本要低。
>

这套生成机制的内核叫[Transformer架构]。Transformer是主流的，但是不是最先进的。

![image.png](/static/img/92e26d37637f18114d29ff9a8939c10e.image.webp)

## 用好AI的核心心法

**把AI当人看**

和人怎么相处就和AI怎么相处。学习的时候把AI当老师，工作的时候把AI当助手，休闲的时候把AI当朋友。

## 大模型应用业务架构

![image.png](/static/img/35079984bf9c71a8c641647b2895f759.image.webp)

Embedded模式是之前的，Copilot是现在的比较主流的，Agent 还太超前。业务中最关键的是呀理清业务，拆除SOP。

## 大模型应用技术架构

> 大模型应用技术特点：门槛低，天花板高。

### 1. 纯 Prompt

当人看：你说一句，ta 回一句，你再说一句，ta 再回一句

![image.png](/static/img/0d2a0903d9ec0a7933b044af026216fd.image.webp)

### 2. Agent + Function Calling
Agent：AI 主动提要求

Function Calling：AI 要求执行某个函数

当人看：你问 ta 过年去哪玩，ta 先问你有多少预算

![image.png](/static/img/e7603c2b765b070739956da898e37384.image.webp)

### 3. RAG（Retrieval-Augmented Generation）
Embeddings：把文字转换为更易于相似度计算的编码。这种编码叫向量

向量数据库：把向量存起来，方便查找

向量搜索：根据输入向量，找到最相似的向量

当人看：考试答题时，到书上找相关内容，再结合题目组成答案，然后，就都忘了

![image.png](/static/img/9feeae8af00c9153224400431567981c.image.webp)

### 4. Fine-tuning（精调/微调）
当人看：努力学习考试内容，长期记住，活学活用。

![image.png](/static/img/ad6e3d2e99edf3286e4695cc829a62ea.image.webp)

## 如何选择技术路线
下面是个不严谨但常用思路。

> 最重要的是准备测试数据，用对话应用验证的可行性

![image.png](/static/img/0dcf307ddae9efd66bc1a7c56b1fd027.image.webp)

值得尝试 Fine-tuning 的情况：

> 提高模型输出的稳定性
>
> 用户量大，降低推理成本的意义很大
>
> 提高大模型的生成速度
>
> 需要私有部署

## 如何选择基础模型

基础模型选型，也是个重要因素。合规和安全是首要考量因素。`(没有最好的大模型，只有最适合的大模型)`

![image.png](/static/img/200676723ab467fa15d950715c8f168f.image.webp)

唯一值得相信的榜单：[LMSYS Chatbot Arena Leaderboard](https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard)