给天下共享一项在诡计机视觉顶会CVPR 2025上被罗致的重磅参议，来自上海交通大学，上海东说念主工智能施行室等机构，论文名为 《Dataset Distillation with Neural Characteristic Function: A Minmax Perspective》（基于神经特征函数的数据集蒸馏：一个 Minmax 视角）

这项参议不错说是在数据蒸馏限制投下了一颗“深水炸弹”，它提倡了一种全新的圭表NCFM (Neural Characteristic Function Matching，神经特征函数匹配)，不仅大幅擢升了数据蒸馏的性能，更在资源效用上杀青了质的飞跃！

比拟于DATM等SOTA圭表，NCFM的GPU显存占用镌汰了300倍以上！锻真金不怕火速率擢升了20倍！更令东说念主惊骇的是，NCFM仅用2.3GB显存，就在单张NVIDIA2080TiGPU上收效完成了CIFAR-100的无损蒸馏！这在之前是难以联想的。

话未几说，我给天下划个要点。

在东说念主工智能限制，咱们常说“数据为王”。 模子要雄伟，海量数据少不了。 关系词，大数据也带来了新的挑战：

为了措置这些问题，数据蒸馏 (Dataset Distillation)技能应时而生。 它的标的就像给数据集作念“瘦身”， 用少许合成数据 (Synthetic Data) “浓缩” 原始大数据集 (Real Data) 的精华信息，让模子仅用这些“迷你”数据就能达到以致卓绝在原始数据集上的锻真金不怕火效用。

当今，数据集蒸馏圭表主要分为两大类：

粗浅来说，现存圭表要么过于粗浅淡漠，无法捕捉数据的深层散播；要么诡计复杂，效用不高。这就限度了数据集蒸馏技能的进一步发展。

为了抑遏现存圭表的瓶颈，NCFM 从全新的 Minmax 博弈视角动身， 引入了 “神经特征函数各别 (Neural Characteristic Function Discrepancy, NCFD)” 这一改换度量揣摸打算。

1. Minmax 博弈： “矛与盾”的抵挡学习

NCFM 将数据集蒸馏问题再行界说为一个 Minmax 优化问题，就像一场“矛与盾”的抵挡游戏：

通过 “矛与盾” 的不断抵挡和迭代优化，NCFM 未必 自适合地学习到一个更鲁棒、更灵验的各别度量揣摸打算 (NCFD)， 并生成更高质料的合成数据。 这种 Minmax 框架与 GANs 的抵挡生成想想有不谋而合之妙，但标的和杀青形势却天渊之别。

2. NCFD： 基于“特征函数”的全面散播形容

NCFD 的中枢改换在于 “神经特征函数各别” 这一度量揣摸打算。 它奥妙地愚弄了特征函数 (Characteristic Function, CF)的雄伟才略来形容数据散播

什么是特征函数 (CF)？粗浅来说， 特征函数便是概率密度函数的傅里叶变换。它具有以下要津上风：

NCFD 奈何“神经”？NCFM 并莫得成功使用传统的特征函数，而是引入了一个轻量级的神经网罗 ψ 来学习特征函数的频率参数 t 的采样计策。这么作念的克己是：

3. 相位 (Phase) 与幅度 (Amplitude) 的精妙均衡

NCFM 在 NCFD 的诡计中， 至极慈祥了神经网罗特征在复数域的 “相位 (Phase)” 和 “幅度 (Amplitude)” 信息

NCFM 通过精妙地均衡相位和幅度信息， 使得合成数据既能保合手信得过感，又能兼顾各样性， 从而显赫擢升了蒸馏性能

施行末端充分评释注解了 NCFM 的超卓性能和效用：

本文起首：AI寒武纪开云kaiyun体育，原文标题：《上交CVPR 满分论文数据蒸馏技能，成功把 GPU 显存 “砍掉” 300 倍》