随码网北京时间10月20日报道，斯坦福大学的研究团队近日发布了一项关于AI基础模型的“透明度指标”研究。该研究显示，Meta公司的Llama 2在指标评价中名列前茅，但其透明度仅为54%。因此，研究团队认为，目前市面上的AI模型普遍缺乏透明度。

这项研究由HAI基础模型研究中心（CRFM）的负责人Rishi Bommasani领导，调查了海外最流行的10款基础模型，包括Meta的Llama 2、BigScience的BloomZ、OpenAI的GPT-4、Stability AI的Stable Diffusion、Anthropic PBC的Claude、谷歌的PaLM 2、Cohere的Command、AI21 Labs的Jurassic-2、Inflection AI的Inflection和亚马逊的Titan。

Rishi Bommasani表示，透明度不足一直是AI行业面临的问题。在评估模型透明度时，研究团队围绕多个方面进行了考察，包括模型训练数据集版权、训练模型所用的运算资源、模型生成内容的可信度、模型自身能力、模型被诱导生成有害内容的风险以及使用模型的用户隐私性等，总计100项指标。

最终调查结果显示，Meta的Llama 2以54%的透明度位列第一，而OpenAI的GPT-4透明度只有48%，谷歌的PaLM 2则以40%排名第五。在各项指标中，“模型基本信息”这一评估内容的平均透明度最高，为63%，而“影响”这一评估内容的平均透明度最低，只有11%。

CRFM主任Percy Liang表示，商业基础模型的“透明度”对于推动AI立法以及相关产业和学术界的发展至关重要。Rishi Bommasani强调，较低的模型透明度使得企业难以了解其是否能够安全地依赖相关模型，同时也阻碍了研究人员利用这些模型进行深入研究。

该研究团队认为，上述10款基础模型在透明度方面均“不及格”，尽管Meta的Llama 2得分最高，但仍然无法满足外界的需求。Rishi Bommasani表示，模型透明度至少要达到82%才能被外界所接受。