About Me
I am a direct-track PhD student at Fudan University, enrolled in 2023. My research focuses on efficient large language models, especially compression, PEFT, adaptive inference, and LLM serving systems.
I work on the full path from model compression and parameter-efficient adaptation to post-training infrastructure, multi-tenant serving, evaluation, and multimodal generation.
News
- 2026-04-30 AutoQRA was accepted to ICML 2026.
- 2026-04-04 Deputy, QR-Adaptor, and CoRE were accepted to ACL 2026.
- 2026-01-25 Large Language Model Compression with Global Rank and Sparsity Optimization was accepted to ICLR 2026.
- 2025-05-01 BSLoRA was accepted to ICML 2025.
- 2025-03-14 Enhancing Object Coherence in Layout-to-Image Synthesis was accepted to ICME 2025.
- 2025-01-22 RankAdaptor and QPruner were accepted to NAACL 2025.
- 2024-12-09 Dynamic Operator Optimization for Efficient Multi-Tenant LoRA Model Serving was accepted to AAAI 2025.
Notes
2026-06-16 When a Better Clock Is Not a Better Sampler A fixed-checkpoint consistency-model diagnostic where a post-hoc damage clock loses to the native skip rule.
Publications
Post-training、模型发布与训练服务
On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters
Ranked #2 on Hugging Face Daily Papers
面向 post-training 从单模型训练走向共享基座 + 海量个人 adapter 的趋势，提出 PEFT 的 Scale Up / Scale Down / Scale Out 视角；结合 1T base、百万 adapter 管理与 LoRA RL 实践，将 adapter 定位为个性化模型的持久状态与训练服务接口。
LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget
Ranked #1 on Hugging Face Daily Papers
面向百万 token 长上下文 RL 后训练在固定 GPU 预算下的显存瓶颈，LongStraw 对共享 prompt 进行一次无梯度 prefill，仅保留后续 response 所需的模型状态，并逐条重放 response 与累积梯度；在 Qwen3.6-27B 和 GLM-5.2 上验证 2M token 级执行路径。
Introducing Macaron-V1
Macaron-V1 正式发布包含 748B Venti 与 35B Tall 两个变体，延续 Mixture-of-LoRA，以 L0 router 在 Chat、Agent、Coding、GenUI 四类专家间选择；Venti 基于 GLM-5.2，Tall 基于 Qwen3.6-35B-A3B，并通过 MinT + MindForge 对齐 production harness 下的工具使用、Coding 和 GenUI 工作流。
Macaron-V1-Preview: A 749B Personal Agent Model with Mixture of LoRA
参与 Macaron-V1-Preview，面向 Agent 原生优化的 749B 开源模型；通过 MinT 与 Mix-of-LoRA 实现高效训推，引入 R3 与 Harness Context Protocol 解决 RL、Agent 任务训练及 auto-research 中的训推/训服不一致，使模型在真实 harness 上优化；在生活类 Agent 与 Openclaw 类 Agent 任务上超越 GPT-5.4 和 Claude Opus 4.7，并在 Coding Agent 类任务上取得开源模型 SOTA。
MinT: Managed Infrastructure for Training and Serving Millions of LLMs
Ranked #1 on Hugging Face Daily Papers
针对百万级 LoRA 从训练、版本、导出到上线的生命周期管理挑战，设计 shared-base + adapter revision 的托管基础设施；通过 adapter-only handoff 与一致的训练/推理路径降低发版、回滚和服务成本。
LLM Serving 与推理加速
Dynamic Operator Optimization for Efficient Multi-Tenant LoRA Model Serving
针对多租户 LoRA serving 中 batch 形态、rank 组合和硬件特性动态变化导致 kernel 难以手工选择的问题，提出分层搜索空间与 cost-model-guided evolutionary search，将 SGMV operator 从经验调参转化为可搜索、可迁移的系统优化问题。
Making Activation Sparsity Executable in Grouped Low-Bit LLMs
针对分组低比特 LLM 中激活稀疏理论可省算、实际难加速的落差，提出 group-aligned sparse decoding，结合校准式稀疏规划、在线残差选择与融合低比特算子，把稀疏性落到端到端 decode 吞吐提升。
Deputy: Accelerating Large Language Model Inference with Dynamic Low-Rank Substitution
面向 token 级计算冗余和固定近似策略难以兼顾质量/速度的问题，提出动态低秩替代推理框架，让 attention/FFN 在 full / low-rank / skip 路径间自适应切换，并以 hybrid KV cache 支撑低开销决策。
模型压缩与参数高效适配
Large Language Model Compression with Global Rank and Sparsity Optimization
针对 LLM 压缩中低秩与稀疏常被独立分配、忽略跨层冗余与二者交互的问题，提出 RPCA + Bernoulli global allocation 两阶段框架；在全局预算下联合分配 rank 与 sparsity，兼顾可解释性与可落地性，为训练无关压缩提供更系统的层级分配范式。
Balancing Fidelity and Plasticity: Aligning Mixed-Precision Fine-Tuning with Linguistic Hierarchies
针对 4-bit 微调中量化 fidelity 与 LoRA plasticity 相互耦合但常被分开调参的问题，提出 QR-Adaptor；从语言层级出发联合分配 frozen weight bit-width 与 adapter rank，在固定显存预算下逼近 16-bit LoRA 基线，为低精度 PEFT 提供结构化分配依据。
AutoQRA: Joint Optimization of Mixed-Precision Quantization and Low-rank Adapters for Efficient LLM Fine-Tuning
面对混合精度量化和 LoRA rank 组合空间巨大、人工规则难覆盖模型/任务差异的挑战，将每层 bit-width 与 rank 建模为联合离散搜索；用多保真进化搜索和信赖域贝叶斯优化降低搜索成本，给出自动化高效微调方案，减少从经验调参到部署可用之间的试错成本。
RankAdaptor: Hierarchical Dynamic Low-Rank Adaptation for Structural Pruned LLMs
针对结构化剪枝后 LLM 各层容量受损不均、统一 rank 难以恢复性能的问题，提出分层动态 rank 分配和性能建模；在离线元学习与在线增量更新之间折中，把剪枝后的恢复微调从均匀补偿推进到按层诊断和按需适配。
QPruner: Probabilistic Decision Quantization for Structured Pruning in Large Language Models
针对结构化剪枝进一步叠加量化时精度损失难预测的问题，将 layer-wise mixed precision 与 Bayesian refinement 结合；把剪枝后模型的位宽分配从启发式选择转化为概率决策，使压缩率、显存和精度之间的取舍更可控，也更适合跨模型迁移。
BSLoRA: Enhancing the Parameter Efficiency of LoRA with Intra-Layer and Inter-Layer Sharing
针对 LoRA 参数效率仍受层内/层间重复表达限制的问题，引入 intra-layer 与 inter-layer sharing 机制；在尽量保持适配能力的同时复用低秩参数，说明 adapter 本身也存在可压缩结构，为 LoRA 结构设计提供轻量改造方向。
LaRA: Layer-wise Rank Allocation for Efficient Fine-Tuning of Pruned Large Language Models
面向剪枝 LLM 微调预算有限、各层恢复需求差异大的问题，提出 layer-wise rank allocation；将有限 LoRA 参数投向更关键层，帮助剪枝模型在训练成本受限时更有效恢复能力，也为后续剪枝模型的 rank 分配研究提供早期实证依据。
多模态生成模型
SoulX-FlashHead: Oracle-guided Generation of Infinite Real-time Streaming Talking Heads
面向长时实时数字人生成中音频驱动、身份一致性与长序列漂移难以兼顾的问题，参与 1.3B streaming talking-head 模型；结合 streaming-aware spatiotemporal pre-training、audio context caching 与 oracle-guided distillation，把多模态生成从离线短片段推进到低延迟连续交互场景。
Enhancing Object Coherence in Layout-to-Image Synthesis
针对 layout-to-image 中对象语义错配、局部形变和物理关系不一致的问题，结合全局语义融合与自相似一致性注意力；让布局约束更稳定地传递到扩散生成过程，提升可控多模态生成的对象一致性，服务于更可编辑、更可靠的视觉内容生成。
评测与代码推理
CoRE: A Fine-Grained Code Reasoning Benchmark Beyond Output Prediction
针对代码推理评测过度依赖最终输出、难以区分真实推理与表面执行的问题，构建细粒度 benchmark；从实现不变性和过程透明性刻画模型行为，把评测从答案正确性推进到推理过程诊断，为代码 LLM 的训练迭代提供更可解释的信号。
Contact
Feel free to reach out by email. You can also find my publication list on Google Scholar and code on GitHub.