我要提问
ARTICLE DETAIL

资讯详情

前沿编程新知与开发实战干货的深度解读。

从键值存储到原生向量搜索,Amazon DynamoDB 的演进与价值

从键值存储到原生向量搜索,Amazon DynamoDB 的演进与价值 8 月 11 日亚马逊云科技宣布 Amazon DynamoDB 的向量搜索功能正式可用该功能能够实现实时索引和搜索向量。这使得企业能够对 Amazon DynamoDB 中的数据进行语义检索为智能体提供坚实的信息支撑这意味着Amazon DynamoDB 真正从传统的 NoSQL 数据库跃迁成为了智能体时代的原生数据底座。AI 智能体应用爆发 亟待极致的实时性与召回率随着 AI 智能体应用的全面爆发相关智能体应用对向量搜索的需求已经远远超越传统的 RAG检索增强生成单轮回答需要向量搜索充当智能体的“持久记忆系统”因此向量数据库不再仅仅作为外部数据库而存在需要承担智能体“长期记忆”的角色。智能体的单次任务执行可能就需数千次的向量查询它需要向量数据库能够高频写入新的交互记录并根据任务进展动态更新其“记忆”。同时随着向量数据集规模增长至数十亿甚至数万亿传统的大规模向量搜索往往需要在搜索速度、扩展规模和准确性之间做出妥协如果不降低召回率或吞吐量系统延迟就会随着向量数量的增加而不断攀升。智能体的决策高度依赖上下文的准确性尤其是“召回率”的高低决定了智能体会不会“胡说八道”。召回率衡量的是“数据库中所有真正相关的信息系统到底找出了多少”。如果召回率低意味着关键的业务背景或相关事实被遗漏那么大模型在缺失关键信息的情况下极容易产生“幻觉”。而实时性则决定了智能体会不会基于“过时的记忆”进行决策和行动不能“拿前朝的尚方宝剑斩本朝的官”。与对话类的问答不同智能体需要实时感知数据的变化尤其是在多轮会话时如果数据存在滞后那么智能体就会基于过期记忆进行决策导致决策失效。因此在当前 AI 智能体应用爆发的背景下为保障智能体多轮对话的连贯性和准确性以及为保障复杂任务的执行成功率都需要AI 智能体的数据底座能够提升向量搜索的实时性、实现足够高的召回率。原生向量搜索的价值打破双数据库障碍此前在大多数企业中向量数据库与业务数据库都是分开存放的。如果要构建智能体等 AI 应用如果要实现向量搜索以支持智能体应用那么就需将数据复制到专属的向量数据库中并耗费精力维护两套服务之间的数据同步管道。此外市面上不少向量数据库如 Pinecone、Weaviate、Qdrant 等往往需要客户配置基础设施、管理容量即便处于闲置状态也要支付最低保留费用。这不仅增加了运维负担、数据迁移成本和软件授权费用更给大规模业务下保持稳定的低延迟带来了严峻挑战。比如说由于业务数据和向量数据分属两个系统必须通过 ETL 管道或消息队列等方式进行同步哪怕只有几分钟甚至几秒的同步延迟都会导致智能体读到过时的数据。更麻烦的是如果用户状态发生变化而旧数据没有及时在向量库中失效那么语义检索会同时召回新旧两条记录由于向量数据库只负责“语义相似度召回”不负责“逻辑状态过滤”智能体将无法判断哪条是当前真相导致输出错误状态。因此此次亚马逊云科技为 Amazon DynamoDB 正式推出了原生向量搜索功能之后就使其成为少数具备原生向量搜索功能的完全无服务器数据库之一能够使得客户实现与业务数据一体化的原生向量搜索无需数据复制无需同步管道无需额外合同向量与业务数据共享相同的无服务器基础架构和相同的按请求付费定价模式。正如 Globant 企业级 AI 首席执行官 Gastón Milano 所表示的“我们已经在 Amazon DynamoDB 上构建客户解决方案因此在同一个数据库中拥有原生向量搜索极具价值无需将数据复制到单独的向量存储或管理第二个系统。它是完全无服务器的几乎可以在任何规模下自动扩展因此我们只需为每个客户的使用量付费并且它能够提供面向用户的 AI 体验所需的实时、低延迟搜索。这让我们的工程师可以专注于构建 AI 应用而不是管理基础设施。”万亿级规模的极致性能毫秒级延迟与 99%召回率Amazon DynamoDB 提供的原生向量搜索不仅能实现 99%以上的超高召回率还能够提供毫秒级延迟。该功能专为任意规模的数据而设计即便是面对数万亿级别的向量也能游刃有余。作为领先的无服务器数据库在整合了原生向量搜索功能之后Amazon DynamoDB 不仅帮助客户免去了基础设施管理和最低使用门槛还支持自动缩容至零。企业可以直接在业务数据旁边对任意规模涵盖数十亿乃至数万亿级的向量进行索引与搜索省去了引入独立向量数据库的繁琐流程形成了独特的架构优势。现在向量数据与业务数据现在可以共享同一套无服务器基础设施企业可以直接在 Amazon DynamoDB 中构建智能体记忆库、检索增强生成RAG管道以及推荐功能无需将数据同步复制到独立的向量数据库中。依托相同的表结构、相同的 API 以及相同的无服务器计费模式企业无需在架构上做出妥协。借助 Amazon DynamoDB 向量搜索功能企业可以将向量嵌入与其他常规数据属性保存在一起并自由使用所选的模型包括 Amazon Bedrock 上提供的模型来生成这些向量。客户能够创建向量索引并执行近似最近邻搜索Approximate Nearest Neighbor通过选择向量索引分区键来实现灵活扩展并根据具体属性进行过滤以精准圈定结果范围。作为开发 AI 解决方案的公司Guardoc 的资深工程师 Anatol Zakrividoroga 表示“我们已经将业务数据保存在 Amazon DynamoDB 中因此能够直接在其中存储和搜索向量而无需复制数据或维护单独的向量数据库这保持了我们安全架构的简洁。在探索 Amazon DynamoDB 的原生向量搜索时我们对其完全无服务器的特性感到非常兴奋随着我们监测的活动量增长到几乎任何规模它都能自动扩展同时我们只需为实际用量付费。对我们而言最重要的是它提供了威胁检测所依赖的实时、低延迟相似度搜索使我们能够在不配置基础设施的情况下在异常发生瞬间捕获它们。”从键值存储到原生向量搜索 Amazon DynamoDB 的演进从2012年的 Amazon DynamoDB 正式发布开创了无服务器ServerlessNoSQL 数据库先河到2018年的正式支持 ACID 事务能够胜任金融交易等关键任务再到2026年此次的原生向量搜索发布全面拥抱生成式 AI成为 AI 智能体的理想数据底座。应该说Amazon DynamoDB 的每一次重大更新都在致力于降低架构复杂度和消除运维负担让开发者能够始终将精力聚焦于业务创新本身。正如亚马逊云科技在 2022 年 Amazon DynamoDB 推出十周年之际撰写的一篇博文中所强调的那样“Amazon DynamoDB 将在持续的旅程中继续代表客户进行创新。我们将继续朝着端到端的现代化数据战略使命迈进……客户不再只想在他们的数据库中存储和查询数据。然后他们想要分析这些数据以创造价值无论是更好的个性化或推荐引擎还是可以使用机器学习运行预测分析的预测系统。”从云时代的键值存储到 AI 智能体时代的原生向量搜索Amazon DynamoDB 做到了持续创新为客户的数据不断创造价值提供了坚固的数据底座。
返回列表