Skip to main content

探秘Compass实验室,带你轻松玩转开源LLMs项目评估模型!

image5.jpg

嗨,各位开源探险家们!今天小编要向大家介绍开源界的新宠儿——OSS Compass(以下简称“Compass”)的最新玩意儿!没错,就是我们的新 SaaS 服务——Compass 实验室!咦,你还没听说过?别急,听我一一道来,保证让你眼前一亮,内心一蹦!

在开源的世界里,每天都有无数项目在不断涌现,但如何准确地衡量一个开源项目的健康度却是个让人头疼的问题。还好我们有 Compass,它就像是开源项目的健康体检医生。而最近,它又加入了一位新成员——Compass 实验室!

什么是 Compass 实验室?

Compass 实验室是源自 OSS Compass 开源项目的一款开源社区度量模型孵化器,听起来有点高大上,其实就是为开源项目量身定制的“健康评测中心”。而这个评测中心不仅仅是给开发者们提供了数据,更是一个充满趣味和创意的平台。

Compass 实验室基于超过 20,000 个开源项目的海量数据,带来了超过 200 个项目类别和 100 多个评估指标,想要评估一个项目的各个维度?它应有尽有!你可以根据自己的需要选择不同的评估指标与数据集进行组合,简直是评测迷的福音!

如何开始“玩”转 Compass?

其实很简单!首先,你需要一个充满好奇心的心态。接着,注册并登录 Compass 实验室的 SaaS 服务平台,你会发现一个奇妙的世界。你可以选择已有的评估模型,也可以根据自己的兴趣定制一个。

【创建通用模型的步骤】

1. 打开创建模型页面

在 Compass 官网,在实验室页面右侧找到创建模型的区域。

image1.png

2. 填写基础信息

填写模型的基础信息,比如生态维度、模型名称、适用行业、是否公开。

image1.png

3. 选择数据集

从 200+数据集中选择适合你的数据集,根据不同领域的需求灵活选择。

image1.png

4. 选择度量指标

在来自 CHAOSS 以及 Compass 的 100+度量指标中,根据代码、Issue、PR、仓库、贡献者等分类选取你关心的指标。

image1.png

5. 调整权重和阈值:

接着,在权重百分比输入框中输入权重值或拖动比例条调整权重值(默认只能向右拖动),在阈值输入框中调整阈值(注意不要超出给定的阈值范围)。这个过程就像在制作你的专属披萨一样,按自己的口味加料!

image1.png

6. 选择算法

目前我们仅支持系统默认算法(如下图所示),不过别担心,这个算法可是大牛 Rob Pike 亲自打造的哦!关于这个算法的详细解读,请参考我们之前发布的文章 OSS Compass 分制切换 | 看算法变身魔法!如果你对算法有更多想法,可以加入官方 Slack 社区(见文末),和其他开源探险家一起探讨。

image1.png

7. 发布模型

核对信息无误后,点击发布模型。

image1.png

接下来,让数据和创意在这里碰撞,创造属于你的项目健康度模型吧!

你的创意,这里都有地盘!来创建一个 LLMs 项目评估模型吧!

Compass 实验室不仅提供通用的项目评估模型,还为有着独特创意的开发者们准备了特别的地盘。如果你有一个与众不同的开源项目,想要为它打个健康分数,那就来吧!在这里,你可以为自己的项目定制评估模型,让你的创意腾飞!

举个例子,如果你对开源 LLMs 项目感兴趣,或者拥有自己的开源 LLMs 项目,你可以为它创建一个评估模型:

1. 给你的模型起一个不错的名字:

除了命名,别忘记选择是一般还是特殊领域,以及是否愿意公开你的模型。

image1.png

2. 选择数据集:

选取开源 LLMs 和开源 LLMs 工具这两个分类下的项目,以便进行同类项目横向对比。(我们的数据集还在不断增加哦~)

image1.png

3. 选择度量指标并调整权重和阈值:

根据开源 LLMs 项目的特性选择适当的度量指标,比如组织数量、代码提交频率、持续贡献等。

image1.png

按照前面已经演示过的的操作步骤,调整每个指标的权重和阈值。点击“保存”,这样你就完成了一个模型的定制。

4. 分析和查看评估结果:

点击分析并等待完成,就可以查看评估报告了~

image1.png

分析完成后的报告:

image1.png

5. 发表评论:

此外,我们还在报告页增加了评论功能,点击右上角评论按钮即可发表你的看法~

image1.png

6. 邀请朋友协作:

你还可以邀请朋友一起协作、帮你打造更完美的模型哦~只需要在模型页面点击“用户管理”,设置协作权限,然后发送邀请就可以了~

image1.png

image1.png

探索开源的无限乐趣,尽在 Compass 实验室!

通过今天的介绍,相信大家已经对 Compass 实验室有了更深入的了解。在这里,你不仅可以探索开源项目的各个维度,还能够为自己的创意定制评估模型,将创造力和数据相结合。这个开源世界的“评测乐园”等你来玩呢!

如果你还没有体验过 Compass 实验室,赶快行动起来吧!让我们一起探索开源世界的无限乐趣,玩转数据的奥秘!记得关注我们,获取更多有趣的科技资讯和创意活动,我们下期再见!一起开启无限创意的开源之旅吧!

Copyright © 2022 开源指南针。保留所有权利。