RWKV 社区九月动态:RWKV7-G1a 1.5B/2.9B 发布,17 篇论文

欢迎大家收看《RWKV 社区最新动态》,本期内容收录了 RWKV 社区 2025 年 9 月的最新动态。

只需 3 分钟,快速了解 RWKV 社区 9 月都有哪些新鲜事!

9 月动态省流版(TL;DR)

  1. RWKV 模型新闻动态

    • RWKV7-G1a 2.9B 发布
    • RWKV7-G1a 1.5B 发布
  2. RWKV 学术研究动态

    • 新论文:DSM-Seg: A CNN-RWKV Hybrid Framework for Forward-Looking Sonar Image Segmentation in Deep-Sea Mining(基于 RWKV 的声呐图像分割模型,发表于 JCR Q1 分区期刊 Remote Sensing)
    • 新论文:Spectral Channel Mixing Transformer with Spectral-Center Attention for Hyperspectral Image Classification(基于 RWKV 架构的高光谱图像分类,发表于 JCR Q1 分区期刊 Remote Sensing)
    • 新论文:RWKV-VIO: An Efficient and Low-Drift Visual–Inertial Odometry Using an End-to-End Deep Network(基于 RWKV 架构的视觉惯性里程计,发表于 JCR Q1 分区期刊 Sensors)
    • 新论文:VAFTrack: asynchronous feature fusion via visual receptive weighted key-value perceptual for visual tracking(基于 RWKV 的异步融合视觉跟踪模型,发表于 JCR Q2 分区期刊 Multimedia Systems )
    • 新论文:Hybrid CNN-RWKV with high-frequency enhancement for real-world chinese-english scene text image super-resolution(基于 RWKV 的文本图像超分辨率模型,发表于 JCR Q2 分区期刊 Applied Intelligence)
    • 新论文:ITC-RWKV: Interactive Tissue–Cell Modeling with Recurrent Key-Value Aggregation for Histopathological Subtyping(基于 RWKV 的组织病理分类模型,发表于 CCF C 类会议 BMVC 2025)
    • 新论文:SpikeRWKV:Energy-efficient Large Language Model with Spiking Neural Network(基于 RWKV 的类脑语言模型,发表于 CCF C 类会议 ICIC 2025)
    • 新论文:Finch-LIC: Learned Image Compression with Gated Multihead Linear Attention(基于 RWKV 的图像压缩模型)
    • 新论文:Enhanced Traffic Sign Recognition via RWKV with Deformable Attention(基于 RWKV 的交通标识识别模型,发表于会议 ICCMT)
    • 新论文:AudioRWKV: Efficient and Stable Bidirectional RWKV for Audio Pattern Recognition(基于 RWKV 的音频模式识别)
    • 新论文:EfficientIML: Efficient High-Resolution Image Manipulation Localization(基于 RWKV 的图像篡改定位)
    • 新论文:A Traditional Approach to Symbolic Piano Continuation(基于 RWKV 的音乐续写模型)
    • 新论文:Mastering Air Combat through Model-Based Reinforcement Learning(基于 RWKV 的自主空战智能体)
    • 新论文:DPC-QA Net: A No-Reference Dual-Stream Perceptual and Cellular Quality Assessment Network for Histopathology Images(基于 RWKV 的图像质量评估)
    • 新论文:C3-OWD: A Curriculum Cross-modal Contrastive Learning Framework for Open-World Detection(基于 RWKV 的开放世界检测)
    • 新论文:VRWKV-Editor: Reducing quadratic complexity in transformer-based video editing(基于 RWKV 的视频编辑模型)
  3. RWKV 社区市场活动

    • RWKV 团队获得 S 创上海 2025 科技创新大会路演冠军
    • RWKV 亮相 FlagOS 开放计算开发者大会上
    • RWKV 亮相华为全联接大会
    • RWKV 团队参加 2025 Inclusion 外滩大会
    • RWKV 团队参加 ACC 2025 AI创造者嘉年华

RWKV 模型新闻动态

RWKV7-G1a 2.9B 发布

2025 年 9 月 24 日, RWKV7-G1a 2.9B 推理模型开源发布,继续推进纯 RNN 模型的思考能力。

RWKV7-G1a 2.9B 从 RWKV7-G1 2.9B 继续训练 1T tokens 高质量数据,显著提升各方面能力。

RWKV7-G1a 1.5B 发布

2025 年 9 月 22 日, RWKV7-G1a 1.5B 推理模型(Reasoning Model)正式开源发布。

RWKV7-G1a 1.5B 从 RWKV7-G1 1.5B 继续训练 1T 高质量数据,显著提升模型能力,且加入新的推理风格,可设置推理长度。

RWKV 学术研究动态

RWKV 学术研究包括基于 RWKV 架构的新论文RWKV 社区参加的学术研究

DSM-Seg

该研究提出了 DSM-Seg,一个结合了 CNN 和 RWKV 模型的混合架构,用于解决深海采矿前视声纳 (FLS) 图像分割中的挑战。RGFSC 模块利用 RWKV 机制进行高效的全局融合,并引入语义约束以抑制噪声。在深海地形和海洋垃圾数据集上的实验表明,DSM-Seg 在复杂条件下显著提高了分割精度,同时满足了实时性能要求。

文中模型设计十分精巧,发表于JCR Q1 分区期刊 Remote Sensing

Spectral Channel Mixing Transformer

  • 论文名称:Spectral Channel Mixing Transformer with Spectral-Center Attention for Hyperspectral Image Classification
  • 论文链接:https://www.mdpi.com/2072-4292/17/17/3100
  • 发布日期:2025-09-05

论文提出 TC-Former 框架,创新性地将 RWKV 线性注意力机制与 Transformer 结合,用于高光谱图像分类。通过 TimeMixFormer 和 HyperMixFormer 模块,该方法优化了计算复杂度,提高了长序列处理效率,同时增强了光谱特征的判别表示能力。实验结果显示,该框架在分类精度上超越了现有先进算法,显著降低了计算开销。

文中模型设计十分高效,发表于JCR Q1 分区期刊 Remote Sensing

RWKV-VIO

论文提出 RWKV-VIO ,一种基于 RWKV 架构的视觉惯性里程计,通过轻量级设计和线性计算复杂度,有效解决现有深度学习 VIO 方法在时间建模和计算效率上的挑战。该框架引入新型 IMU 编码器和并行编码策略,增强特征提取能力,并显著降低模型大小和推理时间,同时实现了领先的定位精度,适用于自主导航和机器人技术。

模型设计十分新颖,发表于JCR Q1 分区期刊 Sensors

VAFTrack

该论文提出了 VAFTrack,一个基于 RWKV 模型双向注意力机制的异步融合视觉跟踪模型。它通过引入视觉感受加权键值感知融合模块(VPFM),有效解决了模板与搜索特征融合不足和冗余问题,显著提升了特征匹配精度、目标感知能力及对复杂场景的适应性,实现了在 TrackingNet、LaSOT 和 GOT-10k 数据集上的领先跟踪性能。

模型新颖有效,发表于JCR Q2 分区期刊 Multimedia Systems

Hybrid CNN-RWKV

本文提出 Hybrid CNN-RWKV 结合高频增强(HCR-HFE)模型,用于真实场景中文-英文文本图像超分辨率(STISR)。该模型引入循环双向 WKV 注意力捕获全局依赖,并设计高频增强模块、多尺度大核卷积块与多频通道注意力。实验证明,HCR-HFE 在 Real-CE 数据集上性能优越,具有广泛适用性。

模型性能优秀,发表于JCR Q2 分区期刊 Applied Intelligence

ITC-RWKV

论文文提出 ITC-RWKV 模型,引入基于 Receptance Weighted Key-Value (RWKV) 架构的 Aggr-RWKV 机制,以线性复杂度高效聚合组织病理图像中的细胞特征。该模型采用双流架构,整合宏观组织特征与微观细胞表示,并设计双向组织-细胞交互模块。实验结果表明,ITC-RWKV 在多种组织病理学亚型分类任务中超越现有方法,证明了细胞级聚合与组织-细胞交互的关键作用。

论文模型新颖有效,发表于CCF C 类会议 BMVC 2025

SpikeRWKV

该论文提出了 SpikeRWKV,一个基于 RWKV 架构并结合脉冲神经网络 (SNN) 的高能效大语言模型。为平衡性能与能耗,论文设计了一种创新的多头脉冲编码方案,支持并行处理和正负脉冲表示。实验证明,该模型在大幅降低能耗的同时,在自然语言理解 (NLU) 任务上保持了优异性能。

论文模型新颖有效,发表于CCF C 类会议 ICIC 2025

Finch-LIC

该论文提出了 FinchLIC,引入了 Multihead Bi-RWKV 块,通过扩展内部状态规模增强特征提取能力。同时,提出的 K-Manhattan 距离 token 移位 (KMshift) 方法有效建模邻近上下文,扩展了模型的感受野,提升了率失真 (RD) 性能。实验证明 FinchLIC 在保持线性复杂度的同时,实现了有竞争力的 RD 性能。

Enhanced Traffic Sign Recognition via RWKV

本文提出一种结合 RWKV 与可变形注意力 (Deformable Attention) 的新视觉编码器,以提升交通标志识别的性能。该模型利用 RWKV 的线性计算优势和可变形注意力的特征聚焦能力,在 GTSRB 数据集上实现了高精度与高效率,尤其在高分辨率图像处理上表现出显著的速度优势。

AudioRWKV

AudioRWKV 针对 Transformer (O(L²) 复杂度) 和 Mamba (稳定性差) 在音频建模中的挑战,提出高效稳定的 AudioRWKV (A-RWKV) 架构。它基于 RWKV7,引入 2D 深度可分离卷积以捕获局部谱-时模式,并采用双向 WKV (Bi-WKV) 内核实现全局上下文建模。A-RWKV 保持线性复杂度,展现出卓越的稳定性与性能,尤其在长音频处理中效率显著提升。

EfficientIML

  • 论文名称:EfficientIML: Efficient High-Resolution Image Manipulation Localization
  • 论文链接:https://arxiv.org/abs/2509.08583
  • 发布日期:2025-09-10

论文提出以 RWKV 骨干网络为核心的 EfficientIML 模型,该模型旨在高效处理高分辨率图像篡改定位任务。研究发布了首个超高分辨率 SIF 数据集,以应对扩散生成式伪造挑战。EfficientIML 采用轻量级三阶段 EfficientRWKV 骨干,结合混合状态空间与注意力机制,实现全局与局部细节并行捕捉,并在性能和推理速度上优于现有方法。

A Traditional Approach to Symbolic Piano Continuation

论文基于 RWKV-7 架构构建了一个 20M 参数的小型模型,专注于符号化钢琴音乐续写。通过在精选数据上进行简单的下一词元预测训练,该模型在特定任务上的表现可与大 39 倍的 Transformer 模型相媲美,验证了小型专用模型的竞争力。

Mastering Air Combat through Model-Based Reinforcement Learning

本文将 RWKV 风格的线性注意力机制引入 DreamerV3 架构以实现并行训练,并提出一种用于自主空战的基于模型的强化学习智能体。该方法通过结合对比预测编码、Dyna 风格更新及课程学习自博弈流程,训练出单一端到端策略。实验证明,该智能体在样本效率和对新对手的快速适应性上显著优于基线模型。

DPC-QA Net

  • 论文名称:DPC-QA Net: A No-Reference Dual-Stream Perceptual and Cellular Quality Assessment Network for Histopathology Images
  • 论文链接:https://arxiv.org/abs/2509.15802
  • 发布日期:2025-09-19

该研究提出了用于组织病理学图像质量评估的双流网络 DPC-QA Net。其核心贡献是引入 Aggr-RWKV 模块,用于聚合细胞核与细胞膜的嵌入特征以进行精细的细胞结构质量感知。该模型结合了基于小波的全局差异感知与细胞级质量评估,有效解决了宏观与微观尺度上的质量不一致问题,并在多个数据集上展示了高准确性与泛化能力。

C3-OWD

  • 论文名称:C3-OWD: A Curriculum Cross-modal Contrastive Learning Framework for Open-World Detection
  • 论文链接:https://arxiv.org/abs/2509.23316
  • 发布日期:2025-09-27

该论文基于 RWKV 架构提出 C3-OWD 框架,通过两阶段训练解决开放世界检测问题。第一阶段借助 RWKV 高效融合 RGB 与红外数据以增强模型鲁棒性;第二阶段通过视觉-语言对齐实现对新类别的泛化。该方法引入 EMA 机制防止灾难性遗忘,在鲁棒性和泛化性上均表现出色。

VRWKV-Editor

  • 论文名称:VRWKV-Editor: Reducing quadratic complexity in transformer-based video editing
  • 论文链接:https://arxiv.org/abs/2509.25998v2
  • 发布日期:2025-09-30

本文提出 VRWKV-Editor,一种基于 RWKV 架构的新型视频编辑模型,旨在解决传统 Transformer 注意力机制的二次方复杂度问题。该模型通过集成线性时空聚合模块,在处理长时高分辨率视频时,显著提升了运算速度并降低内存占用,同时保持了具有竞争力的编辑质量与时间一致性。

社区市场活动

RWKV 团队获得 S 创上海 2025 科技创新大会路演冠军

2025 年 9 月 24 日,RWKV 团队参加S 创上海 2025 科技创新大会,并获得冠军:S创上海2025圆满落幕:十年之约,未来启程

RWKV 亮相 FlagOS 开放计算开发者大会上

2025 年 9 月 26 日,元始智能(RWKV)联合创始人罗璇受邀参加首届 FlagOS 开放计算开发者大会。

详细报道:从云端到终端,从大模型到具身智能:众智FlagOS 1.5引领开放计算生态迈向成熟

RWKV 亮相华为全联接大会

2025 年 9 月 18 日,光明实验室大湾区昇腾算力应用创新研究院院长助理许杰老师团队成员、RWKV社区核心Maintainer王富平围绕“RWKV携手昇腾,共建社区繁荣生态”主题作专题汇报。

详细报道:光明实验室亮相华为全联接大会:RWKV携手昇腾,共筑AI生态新图景

RWKV 团队参加 2025 Inclusion 外滩大会

2025 年 9 月 13 日,RWKV 团队参加外滩大会,现场介绍了 RWKV 架构的多种优势。

RWKV 团队参加 ACC 2025 AI 创造者嘉年华

2025 年 9 月 20 日,RWKV 团队参加 ACC 2025 AI 创造者嘉年华,介绍了 RWKV 最新进展和未来趋势。

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。

2 Likes