该研究深入探讨了监督微调（Supervised Fine-Tuning，SFT）和强化学习（Reinforcement Learning，RL）在基础模型后训练阶段对模型泛化能力的影响。研究发现，SFT倾向于记忆训练数据，而RL更擅长学习可推广的规则，从而在未见过的任务中表现出色。 论文名称：SFT
该工作由忆生科技创始团队成员、忆生科技旗下研究人员深度参与，联合加州大学伯克利分校、微软研究院、香港大学等多家学校及机构共同完成。 论文标题：Simplifying DINO via Coding Rate Regularization 地址：https://arxiv.org/abs/2502.1
论文名称 MASKED COMPLETION VIA STRUCTURED DIFFUSION WITH WHITE-BOX TRANSFORMERS 全文：https://arxiv.org/pdf/2404.02446 GitHub：https://github.com/Ma-Lab-Berke
论文名称：Closed-Loop Transcription via Convolutional Sparse Coding 论文全文：https://arxiv.org/pdf/2302.09347 顶会收录：CPAL2024 核心信息： 在论文《Closed-Loop Transcription
该工作由忆生科技创始团队成员及旗下研究人员深度参与，由多所学校与机构的研究者共同完成，包括加州大学伯克利分校、宾夕法尼亚大学、密歇根大学、清华大学、忆生科技、香港大学、约翰·霍普金斯大学等。 忆生科技创始人马毅教授已受邀在今年四月的ICLR大会上就和此项成果相关的一系列白盒神经网络相关工作，进行为时
论文名称：Scaling White-Box Transformers for Vision GitHub主页： https://rayjryang.github.io/CRATE-alpha/ 论文地址：https://arxiv.org/pdf/2405.20299 顶会收录：NeurIPS20
论文名称：White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is? GitHub：https://ma-lab-berkeley.github.io/CRATE/ 地址：https://arxiv.o
该框架通过在特征空间中建立数据分布与线性判别表示（Linear Discriminative Representation，LDR）之间的闭环转录，实现数据的有效编码和解码。LDR由多个独立的多维线性子空间组成，每个子空间对应一个数据类别。 论文名称：CLOSED-LOOP DATA TRANSCR
论文名称：Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction 地址：https://arxiv.org/abs/2006.08558 论文全文：h
