【ITBEAR】在2024年IDEA大会上，美国国家工程院外籍院士、IDEA研究院创院理事长沈向洋发表了题为“从技术突破到产业融合”的演讲，分享了他对人工智能“三件套”——算力、算法和数据的最新见解。
沈向洋指出，在技术爆发期，对技术的深刻理解尤为重要。他认为，未来十年，AI的发展可能需要增长100万倍的算力，远超摩尔定律预测的100倍增长。英伟达作为AI行业的领军企业，其影响力已远远超出了硬件和芯片供应商的范畴。
根据EPOCH AI的数据，每年最新的大模型对算力的需求都在以惊人的速度增长，年均增长率超过四倍。截至目前，全球已经消耗了超过1000万张GPU算力卡。沈向洋表示：“英伟达从硬件芯片供应商变成了行业的核心支柱，如今能拿到英伟达的卡，可以说就成功了一半。”
沈向洋透露，英伟达CEO黄仁勋将于次日到香港科技大学接受荣誉博士学位，并计划与其探讨技术、领导力和创业的故事，特别是关于未来十年算力是否还能保持100万倍的增长。
在算法方面，沈向洋指出，自2017年Transformer架构问世以来，AI和深度学习的发展基本沿着这一方向推进。但GPT-4之后，算法范式出现了新突破，特别是OpenAI推出的新技术，如多模态的GPT-4V和最新的o1推理学习能力，展示了算法创新的新方向。
沈向洋强调，新一代模型如o1引入了强化学习的理念，使模型具备了自我改善的能力。这种新方法更接近人类的思考方式，能够处理多个领域的问题，包括数据分析、编程、物理和化学等。他预测，未来几年，沿着Self-Reinforcement Learning（SRL）的道路，算法领域将出现更多令人惊艳的突破。
在数据方面，沈向洋提到，大模型的蓬勃发展不仅依赖于参数规模的增长，还需要海量数据的支持。例如，GPT-3使用了2万亿的token数据，而GPT-4则增加到12T，甚至可能达到20T。他预测，如果GPT-5问世，可能需要200T规模的数据。然而，互联网上的优质数据已接近极限，因此合成数据成为新的研究方向。
沈向洋介绍了IDEA研究院在合成数据方面的探索，通过语境图谱技术生成新的语料，解决过往文本数据合成方案的多样性匮乏问题。实验结果显示，该技术能持续为大模型带来能力提升，表现超过目前的最佳实践，平均节约成本85.7%。
沈向洋还提到，IDEA研究院致力于AI和数字经济领域的前沿研究与产业落地，包括低空经济研究中心、计算机视觉与机器人研究中心等多个研究中心。此次IDEA大会发布了多个领域的新技术和新模型，实现了AI从技术突破到产业融合。
在演讲的最后，沈向洋强调了AI对社会发展的深远影响，并指出AI治理的重要性。他提到，随着AI的发展，GDP年均增长可能达到十几个百分点，但这也带来了诸多社会问题，如经济最大增长是否能转化为人类最大福祉等。
沈向洋的演讲为参会者提供了对AI未来发展的深刻洞察，并激发了大家对AI技术突破与产业融合的思考。
