返回官网
Login
Archives
2025 / 03
忆生科技团队SimDINO，用编码率正则化重构视觉自监督学习范式，“少即是多”
2025-03-09
#媒体报道
忆生科技团队开源的视觉预训练方法SimDINO于2025年3月公布并开源。知名智能领域媒体量子位于2025年3月在该工作开源后第一时间进行了报道。 报道链接 港大马毅团队等开源新作：用编码率正则化重构视觉自监督学习范式，“少即是多” 以下为报道全文： 最新开源的视觉预训练方法，由忆生科技、微软研究院
视频｜忆生科技创始人马毅上海交大学术演讲：Pursuing the Nature of Intelligence
2025-03-05
2025 / 02
迈向AI2.0 加快智能化发展的阶段性跃升
2025-02-26
我们相信与生物智能曾经的发展历程相似，机器智能的发展势必会经历三个阶段： 我们认为：定义AI 的发展阶段，应该从智能技术的本质出发。真正智能化的个体，无论是生物智能体还是机器智能体，都应该具有在开放世界自主学习获取新知识的能力。真正的AI2.0应该是能够从真实开放的物理世界中自主学习的智能系统。 一
监督微调（SFT）vs 强化学习（RL）
2025-02-22
研究探索
该研究深入探讨了监督微调（Supervised Fine-Tuning，SFT）和强化学习（Reinforcement Learning，RL）在基础模型后训练阶段对模型泛化能力的影响。研究发现，SFT倾向于记忆训练数据，而RL更擅长学习可推广的规则，从而在未见过的任务中表现出色。 论文名称：SFT
自编码非监督学习Masked Completion，ICLR2024
2025-02-22
研究探索
论文名称 MASKED COMPLETION VIA STRUCTURED DIFFUSION WITH WHITE-BOX TRANSFORMERS 全文：https://arxiv.org/pdf/2404.02446 GitHub：https://github.com/Ma-Lab-Berke
闭环自主非监督学习，CPAL2024
2025-02-22
研究探索
论文名称：Closed-Loop Transcription via Convolutional Sparse Coding 论文全文：https://arxiv.org/pdf/2302.09347 顶会收录：CPAL2024 核心信息： 在论文《Closed-Loop Transcription
更高效的白盒模型ToST，ICLR2025
2025-02-22
技术成果
该工作由忆生科技创始团队成员及旗下研究人员深度参与，由多所学校与机构的研究者共同完成，包括加州大学伯克利分校、宾夕法尼亚大学、密歇根大学、清华大学、忆生科技、香港大学、约翰·霍普金斯大学等。 忆生科技创始人马毅教授已受邀在今年四月的ICLR大会上就和此项成果相关的一系列白盒神经网络相关工作，进行为时
白盒CRATE具有可扩展性，NeurIPS2024
2025-02-22
研究探索
论文名称：Scaling White-Box Transformers for Vision GitHub主页： https://rayjryang.github.io/CRATE-alpha/ 论文地址：https://arxiv.org/pdf/2405.20299 顶会收录：NeurIPS20
Compression Is All There Is? NeurIPS 2023, CPAL 2024, ICLR 2024
2025-02-22
研究探索
论文名称：White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is? GitHub：https://ma-lab-berkeley.github.io/CRATE/ 地址：https://arxiv.o
闭环学习，Closed-Loop Data Transcription to an LDR via Minimaxing Rate Reduction， Entropy 2022
2025-02-22
研究探索
该框架通过在特征空间中建立数据分布与线性判别表示（Linear Discriminative Representation，LDR）之间的闭环转录，实现数据的有效编码和解码。LDR由多个独立的多维线性子空间组成，每个子空间对应一个数据类别。 论文名称：CLOSED-LOOP DATA TRANSCR
Previous
5 / 6
Next
