跳到主要内容

Llama 3 在 K230 上的优化实现

S2422
人民币 20000
1
2024-07-08 (AoE)
2024-08-03 (AoE)
信息

本赛题内容可能会有调整，以降低硬性约束。

备注

本赛题比赛阶段已结束。

项目描述​

在搭载了 K230 的 RISC-V 开发板上，移植大语言模型 Llama 3，并正确运行；使用 RISC-V Vector （或 Xuantie Matrix）扩展指令集对 LLaMA 3 的实现进行优化，加速模型的执行速度。

产出及评分要求​

  • 本题是优化竞速类赛题。
  • 能够正常运行模型。
  • 不限制量化方式和量化类型，不限制优化方法。但是不能明显破坏模型的执行逻辑，或通过明显牺牲输出质量的方式进行加速。

验证平台​

  • K230

提交说明​

  • 提交仓库为 https://github.com/rv2036/rvspoc-S2422-Llama3
  • 请以 Pull Request 的形式，将结果提交到上述仓库中。
  • 请在创建 PR 时，提供用于满足优化任务的必要信息。
  • 若未以源码形式提交，比赛结果公布后，需对提交内容进行完整开源才算完成本赛题。
  • 提交方式可以有：
    • 二进制的形式
    • 加密源码的形式（加密信息需通过邮件发送至 rvspoc@kubuds.cn）
    • 源码形式

验收说明​

  • 7 月 1 日后由 RVSPOC 组委会公布。
  • 由于赛题的开放性和软件的复杂性，赛题发布时可能存在未解释或需要修正的部分。针对未考虑到的方面，随着比赛进程的推进可能根据选手的反馈会有调整，请保持对赛事网站的关注。最终解释权归属于比赛的赛题评审委员会。

知识产权及开源协议要求​

所有参赛结果要求开源，并提交至主办方指定仓库。参赛者（作者）持有作品的所有权。主办方鼓励参赛者将结果回馈贡献至 upstream。