在科技界引发轰动的最新消息中,EXO Labs成功地在一台拥有26年历史的Windows 98系统上运行了大型语言模型(LLM)。这一壮举不仅展示了技术的非凡能力,也彰显了EXO团队对于“民主化AI”理念的执着追求。
EXO Labs,这个由牛津大学研究人员和工程师组成的团队,他们的使命是打破大型企业对AI技术的垄断,让更多人能够接触到前沿的AI技术。他们认为,AI技术应该被民主化,而不应被少数大型企业所掌控,这对于文化、真理和社会的其他基本方面都是不利的。
为了证明这一点,EXO团队在Windows 98这台老旧的电脑上进行了AI演示。他们详细记录了整个过程,从购买这台Windows 98 PC作为项目基础,到面临数据传输、代码编译等一系列挑战。尤其是数据传输,他们不得不使用古老的FTP方式,通过以太网端口进行文件传输,这无疑增加了项目的难度。
在Windows 98上运行的LLM,虽然受限于硬件条件,但表现依然不俗。使用260K LLM和Llama架构,他们实现了“35.9 tok/s”的速度。虽然升级到15M LLM后,生成速度略有下降,但仍然保持在1 tok/s左右。而Llama 3.2 1B的速度虽然较慢,但也达到了0.0093 tok/s。
EXO Labs的这一壮举,不仅展示了AI技术的强大和灵活性,也让我们看到了“民主化AI”理念的巨大潜力。他们相信,通过开放的基础设施和前沿模型的训练,任何人都能在任何地方运行AI技术,这将极大地推动AI技术的普及和发展。