1. Elo公开排行榜：基于A/B测试结果计算各模型Elo评分，每周自动更新，直观展示主流开源模型排名。
2. 专业评测题库：内置60个覆盖金融、法律、银行、文档摘要等类别的提示词，考察模型在真实业务场景下的表现。
3. 响应对比与自动评审：可任意选择两个模型，浏览同一提示词下的回答，并查看GPT-4的评分与详细评审理由。
4. 人工A/B测试：提供“哪个更好：A还是B？”交互界面，让用户参与人工评测，校验自动评估与人类判断的一致性。
5. 透明可复现：所有提示词、模型响应与GPT-4评分全部公开可查，配套notebook可完整复现排行榜结果。
6. 开源可自部署：项目在GitHub开源，支持Docker Compose一键部署。

在线体验：访问evalgpt.ai，即可查看Elo排行榜、浏览评测提示词、对比任意模型响应，或点击“A/B测试”参与人工评测。

本地部署（可选）：在GitHub克隆h2oai/h2o-LLM-eval仓库，运行docker compose up -d，打开http://localhost:10101/即可启动自己的评估环境。

复现与扩展：运行run_all_evaluations.ipynb可批量评测未评估的A/B测试，运行calculate_elo_rating_public_leaderboard.ipynb可重新计算Elo排行榜。

业务相关性高：评测数据取自金融、法律、银行等真实行业场景，而非脱离实际的泛化题库，结论对实际模型选型更具参考价值。

评估公平稳健：对局顺序被打乱、模型A/B位置随机化，最终分数取1000次bootstrap重抽样的中位数Elo，有效降低偶然误差。

透明可复现：公开全部提示词、模型回答与GPT-4评审理由，代码开源，任何结果都可被审计与复现。

更新及时：全自动化的流水线让排行榜每周刷新，大幅缩短模型评估与上新周期。

企业开发者与AI工程师：在选择开源LLM用于自动化工作流（如财务报告摘要、客服问答）时，借助排行榜快速缩小候选范围。

数据科学家与算法研究员：通过公开的提示词、响应与评分数据深入研究模型差异，或提交自有模型参与评测。

技术决策者与采购团队：在缺乏大规模评测人力的情况下，利用每周更新的权威榜单辅助模型选型与投资决策。

AI教育与研究机构：将EvalGPT作为教学与科研工具，学习Elo评级、A/B测试等前沿评估方法论。

Q1: H2O EvalGPT是免费开放的吗？
A1: 是的。排行榜网站evalgpt.ai向公众开放，代码在GitHub开源，用户可免费查看结果并自行部署。
Q2: Elo评分如何计算？
A2: 模型两两配对进行A/B对局，由GPT-4打分，再依据全部对局结果计算Elo分数，取1000次bootstrap重抽样的中位数作为最终评分。
Q3: 评测使用了哪些数据？
A3: 基于60个提示词，覆盖金融、法律、银行、文档摘要等类别，所有提示词与模型响应均公开可查。
Q4: 排行榜多久更新一次？
A4: 每周自动更新，确保用户及时看到主流开源模型的最新表现。
Q5: 可以提交自己的模型参与评测吗？
A5: 官方已规划模型提交功能，目前可通过开源仓库自行部署，将自有模型的A/B测试结果写入数据库并重新计算Elo排行榜。