探秘Compass实验室，带你轻松玩转开源LLMs项目评估模型！
嗨，各位开源探险家们！今天小编要向大家介绍开源界的新宠儿——OSS Compass（以下简称“Compass”）的最新玩意儿！没错，就是我们的新 SaaS 服务——Compass 实验室！咦，你还没听说过？别急，听我一一道来，保证让你眼前一亮，内心一蹦！
在开源的世界里，每天都有无数项目在不断涌现，但如何准确地衡量一个开源项目的健康度却是个让人头疼的问题。还好我们有 Compass，它就像是开源项目的健康体检医生。而最近，它又加入了一位新成员——Compass 实验室！
什么是 Compass 实验室？
Compass 实验室是源自 OSS Compass 开源项目的一款开源社区度量模型孵化器，听起来有点高大上，其实就是为开源项目量身定制的“健康评测中心”。而这个评测中心不仅仅是给开发者们提供了数据，更是一个充满趣味和创意的平台。
Compass 实验室基于超过 20,000 个开源项目的海量数据，带来了超过 200 个项目类别和 100 多个评估指标，想要评估一个项目的各个维度？它应有尽有 ！你可以根据自己的需要选择不同的评估指标与数据集进行组合，简直是评测迷的福音！
如何开始“玩”转 Compass？
其实很简单！首先，你需要一个充满好奇心的心态。接着，注册并登录 Compass 实验室的 SaaS 服务平台，你会发现一个奇妙的世界。你可以选择已有的评估模型，也可以根据自己的兴趣定制一个。
【创建通用模型的步骤】
1. 打开创建模型页面
在 Compass 官网，在实验室页面右侧找到创建模型的区域。
-20447bd9859d2c5b3c5e65ae2e0f4353.png)
2. 填写基础信息
填写模型的基础信息，比如生态维度、模型名称、适用行业、是否公开。
-d5163509608c630e5f9efac7a00711c2.png)
3. 选择数据集
从 200+数据集中选择适合你的数据集，根据不同领域的需求灵活选择。
-60ff3d62c73f0286e1b8ff340edd858d.png)
4. 选择度量指标
在来自 CHAOSS 以及 Compass 的 100+度量指标中，根据代码、Issue、PR、仓库、贡献者等分类选取你关心的指标。
-7c27cd4122a0b115e1124c84a643fd9a.png)
5. 调整权重和阈值：
接着，在权重百分比输入框中输入权重值或拖动比例条调整权重值（默认只能向右拖动），在阈值输入框中调整阈值（注意不要超出给定的阈值范围）。这个过程就像在制作你的专属披萨一样，按自己的口味加料！
-3de45c8607a9e264dacc695f2a15fe82.png)
6. 选择算法
目前我们仅支持系统默认算法（如下图所示 ），不过别担心，这个算法可是大牛 Rob Pike 亲自打造的哦！关于这个算法的详细解读，请参考我们之前发布的文章 OSS Compass 分制切换 | 看算法变身魔法！如果你对算法有更多想法，可以加入官方 Slack 社区（见文末），和其他开源探险家一起探讨。
-06ee5cf86f3c921525395478a9b48ecb.png)
7. 发布模型
核对信息无误后，点击发布模型。
-c494e72a311506e56209f7f175d620b9.png)
接下来，让数据和创意在这里碰撞，创造属于你的项目健康度模型吧！
你的创意，这里都有地盘！来创建一个 LLMs 项目评估模型吧！
Compass 实验室不仅提供通用的项目评估模型，还为有着独特创意的开发者们准备了特别的地盘。如果你有一个与众不同的开源项目，想要为它打个健康分数，那就来吧！在这里，你可以为自己的项目定制评估模型，让你的创意腾飞！
举个例子，如果你对开源 LLMs 项目感兴趣，或者拥有自己的开源 LLMs 项目，你可以为它创建一个评估模型：
1. 给你的模型起一个不错的名字：
除了命名，别忘记选择是一般还是特殊领域，以及是否愿意公开你的模型。
-5dfa766c1ee18462819c8f53ede9db34.png)
2. 选择数据集：
选取开源 LLMs 和开源 LLMs 工具这两个分类下的项目，以便进行同类项目横向对比。（我们的数据集还在不断增加哦~）
-dc39dc0d1e99dc63d17253b5279886fb.png)
3. 选择度量指标并调整权重和阈值：
根据开源 LLMs 项目的特性选择适当的度量指标，比如组织数量、代码提交频率、持续贡献等。
-b652936998d14ab9a83782e95e41a1ac.png)
按照前面已经演示过的的操作步骤，调整每个指标的权重和阈值。点击“保存”，这样你就完成了一个模型的定制。
4. 分析和查看评估结果：
点击分析并等待完成，就可以查看评估报告了~
-93a2d85a0e73806c2a545c60ce1a7bff.png)
分析完成后的报告：
-b220b867d9eada1dc92b7eee694a1691.png)
5. 发表评论：
此外，我们还在报告页增加了评论功能，点击右上角评论按钮即可发表你的看法~
-9601089ba670325fe68b13fa638b9be0.png)
6. 邀请朋友协作：
你还可以邀请朋友一起协作、帮你打造更完美的模型哦只需要在模型页面点击“用户管理”，设置协作权限，然后发送邀请就可以了
-b617e877d0e233ae725ec669c7a8aec1.png)
-8c81e89e917cba56a5c77d8636cfa27b.png)
探索开源的无限乐趣，尽在 Compass 实验室！
通过今天的介绍，相信大家已经对 Compass 实验室有了更深入的了解。在这里，你不仅可以探索开源项目的各个维度，还能够为自己的创意定制评估模型，将创造力和数据相结合。这个开源世界的“评测乐园”等你来玩呢！
如果你还没有体验过 Compass 实验室，赶快行动起来吧！让我们一起探索开源世界的无限乐趣，玩转数据的奥秘！记得关注我们，获取更多有趣的科技资讯和创意活动，我们下期再见！一起开启无限创意的开源之旅吧！