humaneval

[codeAlwaysPass]

请问可以提供测试humaneval的相关方法吗，现在想要进行测试但是完全不知道该如何下手，generate_repo返回的是一个Projectrepo类型不能被转换成jsonl，希望作者能加上去，谢谢。

[iorisa]

ProjectRepo对应的是一个文件夹路径。如果要转JSON，本质上是将一个文件夹转JSON。
你希望转成什么样的JSON？
@codeAlwaysPass

[codeAlwaysPass]

我希望转成一个可以让humaneval评估的jsonl文件，目前我是自己写python脚本把文件夹里面的代码写入jsonl，但可能是由于我的代码问题这样得到的jsonl获得的准确率只有0.27。

[stellaHSR]

由于版本迭代新增功能且迭代较快，engineer 中增加了不少 repo 级别的处理和设计。针对 HumanEval，我建议你先熟悉并使用 v0.4-release 或者之前的版本。在这个版本中，你可以获取 engineer 的执行结果（msg = Message(content=code, role=self.profile, cause_by=WriteCode)）。你可以选择在 msg 生成之前直接将code保存到JSONL文件，或者在 engineer 执行结束后，通过 memory 的 get_by_actions 函数来获取代码，再将其写入 JSONL 文件。:)

[geekan]

There will be some scripts related to humaneval in version 1.0

[wkwk-ai]

请问现在有可以测试humaneval的script了吗？

[github-actions]

This issue has no activity in the past 30 days. Please comment on the issue if you have anything to add.