在东说念主工智能应用茂密发展确当下,亚马逊云科技推出了一系列立异的可不雅测性处理决策,旨在为企业打造愈加高效、可靠的AI应用落地旅途。这些决策聚焦于AI应用设立过程中的三大中枢枢纽:方针集中、跟踪以及日记纪录开云体育(中国)官方网站,从而全面擢升了应用的可不雅测性。
AI应用的设立靠近着多重挑战。其中,立时性问题尤为隆起,即便基础模子约束迭代,AI应用的输出收尾仍难以皆备展望。举例,关于兼并问题,AI可能会给出迥异的谜底,这无疑加多了可跟踪性的难度。设立者需要深远跟踪每个谜底的生成过程,以笃定谜底的质地。AI应用的恶果评估也颇具主不雅性,难以通俗判定对错,需要更为科学合理的统计测量神态。而跟着业务限制的扩大,怎么贬抑AI应用的平均资本,也成为了企业靠近的一浩劫题。
为了大意这些挑战,亚马逊云科技将AI应用设立过程细分为技艺考证、实施膨大以及坐褥优化三个阶段。在技艺考证阶段,设立者不错密切存眷模子性能方针,如准确性、速率和结识性等,从而遴荐最好模子。同期,通过跟踪统共这个词应用的反馈时辰和处理逻辑,设立者不错进一步优化设立历程。在实施膨大阶段,当业务逐渐铺开,设立者需要确保从内测到全面推行的顺利进行,并借助可不雅测性处理决策快速分析和定位可能出现的问题。而在坐褥优化阶段,设立者则不错利用可不雅测性数据对资本和用户步履进行深远分析,以留下客户,并通过A/B测试等神态,决定是否引入新的模子或历程。
亚马逊云科技的可不雅测性处理决策涵盖了多个层面。最初,通过与大模子提供商如OpenAI、Anthropic等的API集成,亚马逊云科技提供了方便的SDK,用于集中每次调用的输入输出token数、蔓延等关键方针。其次,在框架层面,亚马逊云科技一样提供了相应的SDK,以跟踪统共这个词职责历程,包括不同模子和模块之间的调用联系。亚马逊云科技还大略监控GPU的资源使用情况,以提高资本效益。
这些SDK严格效力OpenTelemetry社区界说的步伐,大略与亚马逊云科技的职业如CloudWatch、X-Ray等达成无缝集成,提供直不雅的可视化展示和分析功能。设立者不错在CloudWatch中显著地看到组件之间的联系图,并通过点击具体组件,深远了解其行动职责流的每个法子,包括调用的模子、次数、耗时等,从而快速定位瓶颈并优化蔓延。
除了集成现存的开源框架外,亚马逊云科技还推出了自有的多Agent框架——Bedrock Agent和Sagemaker Strands Agent。Bedrock Agent大略在贬抑台直不雅展示每个Agent的交互过程,包括输入输出、耗时等关键信息,有助于设立者更好地统一和优化历程。而Sagemaker Strands Agent则通过SDK自动集中跟踪和方针数据,设立者只需将数据导出到CloudWatch、X-Ray等职业进行可视化和分析。这两种框架上风互补,大略兴奋不同场景下的需求。
在亚马逊云科技的一次演示中,通过基于Sagemaker Strands Agent的亚马逊云科技小助手Demo,现场展示了怎么利用可不雅测性处理决策跟踪多Agent交互、调用大模子等过程,并分析方针数据。该Demo继承了多Agent框架,包括一个主助手Agent和三个小Agent,差别厚爱亚马逊云科技文档搜索、资分内析和架构图谋划。其中两个Agent垄断了先进的MCP技艺,充分展示了可不雅测性在新兴AI技艺中的应用后劲。
亚马逊云科技的可不雅测性处理决策为AI应用设立提供了全见地的赞成,不仅提高了设立效率、优化了性能和贬抑了资本,还加快了AI应用的落地程度。通过深远集中和分析AI应用的方针、跟踪和日记数据开云体育(中国)官方网站,可不雅测性器具匡助设立者全面了解了模子遴荐、历程优化、资分内析等各个枢纽,从而达成了更好的客户体验,并为企业带来了可不雅的收益。亚马逊云科技与开源社区的精采互助,以及多种可不雅测性框架的集成,为设立者提供了机动万般的遴荐。而与亚马逊云科技职业的无缝集成,则使得AI应用的设立、部署和优化变得愈加高效和可控。