长期信息1 分钟阅读·
数据不出设备也能联合训练模型,但只在模拟里验证过
有些数据散在大量手机上,隐私不允许集中到服务器。
重要性实质性证据E3 可检验写法快讯
有些数据散在大量手机上,隐私不允许集中到服务器。FedAvg 这篇论文的做法是:每台手机用自己的数据在本地训练几轮,只把模型改动发上去取平均,不传原始数据,通信来回次数比集中训练少十倍到一百倍。这类做法统称联邦学习。
今天厂商宣传"数据不上传也能改进模型"时,跑的仍是这套本地训练加平均的底子,后来的改进都在它上面修补。听到这类宣传,先问效果是模拟测的还是真实手机上测的,原论文自己只做到模拟。
如果设备会掉线、数据会变,或有人故意提交坏更新,这些它都没处理。如果问题是这类训练会不会泄露隐私、真实设备上效果如何,它只在模拟里验证过,别拿它下结论。
《Communication-Efficient Learning of Deep Networks from Decentralized Data》(2016)|下次复查 2027-09-20