在此讨论 RWKV 微调和训练问题
RWKV-PEFT 是 RWKV 模型高效参数微调的官方项目,包含 LoRA、Pissa、Bone、State tuning、SFT 等多种微调方法。
RWKV-PEFT 支持多种微调方法和多硬件平台,支持量化训练等特性,能通过多种方式优化内存,还支持无限上下文训练。
在此讨论 RWKV 微调和训练问题
RWKV-PEFT 是 RWKV 模型高效参数微调的官方项目,包含 LoRA、Pissa、Bone、State tuning、SFT 等多种微调方法。
RWKV-PEFT 支持多种微调方法和多硬件平台,支持量化训练等特性,能通过多种方式优化内存,还支持无限上下文训练。