K2-上海交通大学

我们介绍K2(7B)，它是一个开源语言模型，首先在收集和清理过的地球科学文献（包括地球科学开放存取论文和维基百科页面）上对LLaMA进行进一步预训练，然后使用知识密集型指令调整数据（GeoSignal）进行微调。在初步评估中，我们使用GeoBench（由NPEE和关于地质学、地理学和环境科学的AP测试组成）作为基准。与参数相似的几个基准模型相比，K2在客观和主观任务上的表现都优于基准模型。在该资源库中，我们将共享以下代码和数据。