ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

谷歌Gemini 2.5 API新推隐式缓存功能,开发者成本有望大幅削减

时间:2025-05-10 12:10:33来源:ITBEAR编辑:快讯团队

近期,科技界传来一则新动态,谷歌在其Gemini 2.5 API中引入了名为“隐式缓存”的新功能,旨在通过智能化手段降低开发者的成本。据科技媒体WinBuzzer于5月9日报道,这一创新技术能自动识别并重用API请求中的常见前缀,从而帮助开发者实现成本的大幅缩减,最高可达75%。

具体而言,“隐式缓存”功能适用于Gemini 2.5系列中的Pro和Flash模型。该功能无需开发者进行任何手动配置,系统默认启用,大大简化了操作流程。它通过自动检测并重用API请求中的重复前缀,有效提升了效率,降低了成本。

值得注意的是,“隐式缓存”与谷歌早前在2024年5月推出的“显式缓存”有所不同。后者需要开发者自行配置,而前者则完全由系统自动处理,不仅节省了成本,还显著提升了用户体验。为了最大化隐式缓存的效果,谷歌建议开发者在构建提示词时,将稳定且常见的内容置于开头,随后再添加用户特定的变量内容。

谷歌还指出,如果开发者在短时间内发送具有相似前缀的请求,将有助于提高缓存的命中率,进一步提升效率。不过,为了享受这一功能,开发者需要满足一定的Token数量要求:Gemini 2.5 Flash模型需至少1024个Token,而Gemini 2.5 Pro模型则需至少2048个Token。

为了帮助开发者更好地了解缓存的使用情况,谷歌在API响应中新增了“cached_content_token_count”字段。这一字段将显示缓存Token的使用详情以及优惠计费信息,让开发者能够清晰掌握成本节约的具体情况。

尽管谷歌宣称“隐式缓存”功能能够带来高达75%的成本节省,但实际效果仍需第三方进行验证。同时,由于不同开发者的使用模式可能存在差异,因此具体节省的幅度也可能有所不同。

谷歌并未完全放弃“显式缓存”方案。作为可选方案,显式缓存仍然支持Gemini 2.5及2.0模型,并允许开发者自定义缓存内容和生存时间(TTL,默认1小时)。这一灵活性使得开发者能够根据自身需求选择最适合的缓存方案。

更多热门内容
百度地图导航现东鹏特饮广告,代理商称合作费或超千万
近日,据多位网友截图显示,在百度地图导航的过程中,导航路面被植入了“累了困了喝东鹏特饮”的广告。对此,一位百度内部员工向九派财经证实该广告的真实性。 一家百度地图广告一级代理商的工作人员告诉九派财经,东鹏特…

2025-05-10

松下控股大动作:全球范围内计划裁员1万人
据日本广播协会(NHK)报道,当地时间9日,日本松下控股株式会社宣布,作为集团结构改革的一环,计划在全球范围内裁员1万人。 据报道,松下控股表示,裁员范围将包括5000名日本员工和5000名海外员工,主要将在…

2025-05-10

阿里官宣组织文化大调整:内网互通,跨业务流动新机制引员工热议
从多位知情人士处独家获悉,阿里巴巴今天在内部正式官宣了四项组织文化调整举措:一是,打通内网论坛“阿里味儿”;二是,调整员工跨业务流动机制;三是,继续做好510阿里日活动、阿里家书和年陈文化等文化仪式;四是,启…

2025-05-10