Ollama导入并简单运行RWKV v6教程

推理工具和优化
1
  1. 下载一个RWKV v6的gguf模型文件（见llama.cpp推理 - RWKV推理文档
  2. 在模型文件同文件夹下创建文本文件，名为Modelfile:
FROM rwkv-6-world-7B-F16.gguf

TEMPLATE """
{{- range .Messages }}
{{- if eq .Role "user" }}User: 
{{- else if eq .Role "assistant" }}Assistant:
{{- end }}{{ .Content }}

{{ end }}Assistant:"""

PARAMETER stop "\n\n"
PARAMETER stop "\nUser:"

自行修改模型文件的文件名。
注意：建议直接复制上面的内容到Modelfile内，确保User:后有一个空格，Assistant:后没有空格；{{ end }}Assistant:"""上有空行，后面没有多余字符。

  1. 下载ollama客户端：https://ollama.com/ 并启动
  2. 命令行在模型文件夹下执行（模型名称可自行修改）：
ollama create rwkv-7b-f16 -f Modelfile
  1. 运行模型：
ollama run rwkv-7b-f16
  1. 开始chat！
$ ollama run rwkv-7b-f16
>>> 你好！
 你好！有什么我能帮助你的吗？

>>> 给我写一首春天的诗
好的，我来写一首春天的诗：
春天，阳光明媚，花开满园。
鸟儿欢快地飞舞，草木葱茏生机勃勃。
微风拂面，万物生长，绿意盎然。
人们欢声笑语，大地欣欣向荣。
春天，让我们一起去感受这美好的季节！

>>> 谢谢你！
 不用谢，希望我的回答能够对你有所帮助！

>>> Send a message (/? for help)
3 Likes