Skip to main content

Llama 3 在 K230 上的优化实现

info

本赛题内容可能会有调整,以降低硬性约束。

note

本赛题比赛阶段已结束。

项目描述

在搭载了 K230 的 RISC-V 开发板上,移植大语言模型 Llama 3,并正确运行;使用 RISC-V Vector (或 Xuantie Matrix)扩展指令集对 LLaMA 3 的实现进行优化,加速模型的执行速度。

产出及评分要求

  • 本题是优化竞速类赛题。
  • 能够正常运行模型。
  • 不限制量化方式和量化类型,不限制优化方法。但是不能明显破坏模型的执行逻辑,或通过明显牺牲输出质量的方式进行加速。

验证平台

  • K230

提交说明

  • 提交仓库为 https://github.com/rv2036/rvspoc-S2422-Llama3
  • 请以 Pull Request 的形式,将结果提交到上述仓库中。
  • 请在创建 PR 时,提供用于满足优化任务的必要信息。
  • 若未以源码形式提交,比赛结果公布后,需对提交内容进行完整开源才算完成本赛题。
  • 提交方式可以有:
    • 二进制的形式
    • 加密源码的形式(加密信息需通过邮件发送至 rvspoc@kubuds.cn
    • 源码形式

验收说明

  • 7 月 1 日后由 RVSPOC 组委会公布。
  • 由于赛题的开放性和软件的复杂性,赛题发布时可能存在未解释或需要修正的部分。针对未考虑到的方面,随着比赛进程的推进可能根据选手的反馈会有调整,请保持对赛事网站的关注。最终解释权归属于比赛的赛题评审委员会。

知识产权及开源协议要求

所有参赛结果要求开源,并提交至主办方指定仓库。参赛者(作者)持有作品的所有权。主办方鼓励参赛者将结果回馈贡献至 upstream。