高级

涉及模型原理与工程实现

• Transformer

  一种擅长理解序列关系的神经网络架构，也是现代大语言模型的基础。

• 注意力机制

  让模型在处理信息时，动态关注更重要部分的机制。

• 量化

  用更低精度表示模型数值，以减少内存占用和推理成本的技术。

• 线性代数

  用于表示数据、衡量误差或优化训练过程的数学与数据概念。

• 协方差

  用于表示数据、衡量误差或优化训练过程的数学与数据概念。

• 梯度

  用于表示数据、衡量误差或优化训练过程的数学与数据概念。

• 梯度下降

  不断调整模型参数，让模型预测错误越来越小的优化方法。

• 目标函数

  用于表示数据、衡量误差或优化训练过程的数学与数据概念。

• 学习率

  用于表示数据、衡量误差或优化训练过程的数学与数据概念。

• 正则化

  用于表示数据、衡量误差或优化训练过程的数学与数据概念。

• 偏差方差权衡

  用于表示数据、衡量误差或优化训练过程的数学与数据概念。

• 感知机

  神经网络内部的结构组件或训练机制。

• 激活函数

  神经网络内部的结构组件或训练机制。

• 线性整流函数

  神经网络内部的结构组件或训练机制。

• S 形函数

  神经网络内部的结构组件或训练机制。

• Softmax 函数

  神经网络内部的结构组件或训练机制。

• 反向传播

  神经网络内部的结构组件或训练机制。

• 随机失活

  神经网络内部的结构组件或训练机制。

• 批量归一化

  神经网络内部的结构组件或训练机制。

• 卷积神经网络

  神经网络内部的结构组件或训练机制。

• 循环神经网络

  神经网络内部的结构组件或训练机制。

• 长短期记忆网络

  神经网络内部的结构组件或训练机制。

• 门控循环单元

  神经网络内部的结构组件或训练机制。

• 编码器解码器

  神经网络内部的结构组件或训练机制。

• 字节对编码

  用于让模型表示、理解或生成自然语言的概念。

• 词片

  用于让模型表示、理解或生成自然语言的概念。

• 句子片段算法

  用于让模型表示、理解或生成自然语言的概念。

• 位置编码

  用于让模型表示、理解或生成自然语言的概念。

• 自注意力

  用于让模型表示、理解或生成自然语言的概念。

• 多头注意力

  用于让模型表示、理解或生成自然语言的概念。

• 掩码语言模型

  用于让模型表示、理解或生成自然语言的概念。

• 因果语言模型

  用于让模型表示、理解或生成自然语言的概念。

• 专家混合模型

  会影响 AI 如何表示、生成或检索信息的模型架构或方法。

• 稀疏模型

  会影响 AI 如何表示、生成或检索信息的模型架构或方法。

• 生成对抗网络

  会影响 AI 如何表示、生成或检索信息的模型架构或方法。

• 变分自编码器

  会影响 AI 如何表示、生成或检索信息的模型架构或方法。

• 自编码器

  会影响 AI 如何表示、生成或检索信息的模型架构或方法。

• 视觉 Transformer

  会影响 AI 如何表示、生成或检索信息的模型架构或方法。

• 图神经网络

  会影响 AI 如何表示、生成或检索信息的模型架构或方法。

• 检索模型

  会影响 AI 如何表示、生成或检索信息的模型架构或方法。

• 重排序器

  会影响 AI 如何表示、生成或检索信息的模型架构或方法。

• 交叉编码器

  会影响 AI 如何表示、生成或检索信息的模型架构或方法。

• 双编码器

  会影响 AI 如何表示、生成或检索信息的模型架构或方法。

• 知识蒸馏

  会影响 AI 如何表示、生成或检索信息的模型架构或方法。

• 剪枝

  会影响 AI 如何表示、生成或检索信息的模型架构或方法。

• 模型合并

  会影响 AI 如何表示、生成或检索信息的模型架构或方法。

• 集成学习

  会影响 AI 如何表示、生成或检索信息的模型架构或方法。

• 人类反馈强化学习

  用于训练模型或把模型适配到具体任务的方法和产物。

• 直接偏好优化

  用于训练模型或把模型适配到具体任务的方法和产物。

• 低秩适配

  用于训练模型或把模型适配到具体任务的方法和产物。

• 参数高效微调

  用于训练模型或把模型适配到具体任务的方法和产物。

• 领域自适应

  用于训练模型或把模型适配到具体任务的方法和产物。

• 课程学习

  用于训练模型或把模型适配到具体任务的方法和产物。

• 超参数调优

  用于训练模型或把模型适配到具体任务的方法和产物。

• 学习率调度

  用于训练模型或把模型适配到具体任务的方法和产物。

• 贪心解码

  会影响已训练模型如何生成、运行和服务输出的设置或系统组件。

• 束搜索

  会影响已训练模型如何生成、运行和服务输出的设置或系统组件。

• 键值缓存

  会影响已训练模型如何生成、运行和服务输出的设置或系统组件。

• 连续批处理

  会影响已训练模型如何生成、运行和服务输出的设置或系统组件。

• 倒数排名融合

  用于寻找、排序并为 AI 回答提供依据的信息检索组件或方法。

• 端侧推理

  会影响已训练模型如何生成、运行和服务输出的设置或系统组件。

• 指令层级

  用于向生成式模型提供指令、上下文、结构或安全边界的概念。

• 混合检索

  用于寻找、排序并为 AI 回答提供依据的信息检索组件或方法。

• 余弦相似度

  用于寻找、排序并为 AI 回答提供依据的信息检索组件或方法。

• 近似最近邻

  用于寻找、排序并为 AI 回答提供依据的信息检索组件或方法。

• 向量索引

  用于寻找、排序并为 AI 回答提供依据的信息检索组件或方法。

• 排序器

  用于寻找、排序并为 AI 回答提供依据的信息检索组件或方法。

• 自主智能体

  让 AI 系统能够规划、调用工具并完成多步骤工作的组件或模式。

• 多智能体系统

  让 AI 系统能够规划、调用工具并完成多步骤工作的组件或模式。

• 智能体评估

  让 AI 系统能够规划、调用工具并完成多步骤工作的组件或模式。

• 曲线下面积

  用于衡量 AI 系统质量、可靠性、风险或责任的概念。

• 困惑度

  用于衡量 AI 系统质量、可靠性、风险或责任的概念。

• 双语评估替换

  用于衡量 AI 系统质量、可靠性、风险或责任的概念。

• 自动摘要评估

  用于衡量 AI 系统质量、可靠性、风险或责任的概念。

• 对抗攻击

  用于衡量 AI 系统质量、可靠性、风险或责任的概念。

• 潜空间扩散

  让 AI 处理图像、音频、视频或多种数据类型的方法与能力。

• 数据漂移

  用于构建、部署、监控和运维 AI 系统的工程实践或平台组件。

• 概念漂移

  用于构建、部署、监控和运维 AI 系统的工程实践或平台组件。

• 特征库

  用于构建、部署、监控和运维 AI 系统的工程实践或平台组件。

• Kubernetes

  用于构建、部署、监控和运维 AI 系统的工程实践或平台组件。

• 分布式训练

  用于构建、部署、监控和运维 AI 系统的工程实践或平台组件。

• 联邦学习

  用于构建、部署、监控和运维 AI 系统的工程实践或平台组件。