在人工智能领域迅速推进的今天，meta的FAIR研究小组携手佐治亚理工学院，共同推出了一款名为CATransformers的创新框架。该框架的核心设计理念聚焦于减少碳排放，力图通过改进模型结构和硬件性能，大幅度降低AI技术在运营过程中所产生的碳足迹，为AI技术的可持续发展铺设道路。
随着机器学习技术在推荐系统、自动驾驶等领域的广泛应用，其背后的计算需求呈现出爆炸式增长。然而，这一技术的高能耗问题也日益严峻。传统的AI系统往往需要强大的计算资源，并依赖于专门的硬件加速器来运行，这不仅在模型的训练和推理阶段消耗了大量的能源，而且在运营过程中产生了大量的碳排放。硬件从制造到报废的整个生命周期，都会产生所谓的“隐含碳”，进一步加剧了生态环境的负担。
当前，多数减排策略主要集中在提升运营效率上，例如优化能耗和提高硬件的利用率，但这些策略往往忽视了硬件设计及制造阶段的碳排放。为了应对这一挑战，CATransformers框架应运而生。它采用多目标贝叶斯优化引擎，全面评估模型架构和硬件加速器的性能，以在延迟、能耗、精度和总碳足迹之间找到最佳的平衡点。
CATransformers框架尤其针对边缘推理设备进行了深度优化。通过对大型CLIP模型进行剪枝，该框架生成了一系列碳排放较低但性能卓越的变体。例如，CarbonCLIP-S在保持与TinyCLIP-39M相当精度的同时，碳排放减少了17%，延迟也控制在了15毫秒以内。而CarbonCLIP-XS不仅比TinyCLIP-8M的精度提升了8%，碳排放还减少了3%，延迟更是低于10毫秒。
研究结果显示，如果仅优化延迟而忽视其他因素，隐含碳的排放量可能会增加高达2.4倍。然而，如果采用综合考虑碳排放和延迟的设计策略，可以实现19%到20%的总排放削减，同时延迟的损失几乎可以忽略不计。CATransformers框架的推出，为可持续机器学习系统的设计提供了坚实的基础，展示了在AI开发初期就考虑硬件能力和碳影响的开发模式，可以实现性能与可持续性的双重提升。
