请问什么是免费句子嵌入?

请问RWKV具有“免费的句子嵌入”这个性质要怎么去理解呢?我能不能理解为做RAG的时候,不需要一个额外的embedding模型,而是直接用大模型RWKV本身去处理?

RWKV state是最高质量的完整嵌入。
实际使用的时候,还需要降维处理

理论上RWKV的state在normalize以后可以用作embedding。 在rag中暂时推荐使用bgem3之类的embedding模型,以及rwkv自己的biencoder模型:yueyulin/rwkv6_emb_4k_base · Hugging Face

可能类似于“无成本句嵌入”的意思