2019.Mobile Edge Computing, Blockchain and Reputation-based Crowdsourcing IoT Federated Learning A Secure Decentralized and Privacy-preserving System

本文总结原文为《Mobile Edge Computing, Blockchain and Reputation-based Crowdsourcing IoT Federated Learning A Secure Decentralized and Privacy-preserving System》Yang Zhao et al。笔记主要供自己复看复学，如有不当或错误，欢迎拍砖~

总结

主要服务于智能物联网设备制造商（工业应用），从用户获得有效反馈来提高产品和服务质量（分析并预测客户对物联网设备的需求）。

着重于解决某一问题提出的新方法的应用 且 在前人基础上所作的改进。 注意系统假设部分不合理的地方以及Idea的提出

研究目标

研究该系统提供强大的计算能力、机密性、审计、分布式存储、并鼓励客户参与协作式联邦学习，从而使智能物联网设备制造商能够通过预测客户的消费行为来更好地调整其业务计划。

问题陈述

由于问题有限，传统调查无法反映客户的实际情况。此外，调查结果还受到各种主观因素的影响。因此物联网公司致力从用户获得反馈来提高产品和服务质量的目的受阻（受限）。

方法

新方法/技术 的应用

  • 为鼓励用户参与训练任务，使用移动边缘计算服务器增强计算力在近数据源处来加快训练
  • 为解决恶意客户上传 有害更新 和 移动边缘计算服务第三方非授权下使用或售卖客户数据问题， 在设计系统时使用区块链和差分隐私技术；
  • 区块链的应用能够保持众包系统运行同时节省高昂的服务费；
  • 为了保护训练数据特征的隐私，为客户引入了 分区的深度模型培训方法(a partitioned deep model training approach)

众包系统所做假设(Assumptions)

  1. 假设客户不愿意分享他们的可能含有隐私信息的原始数据，因此使用联邦学习
  2. 区块链保证了只有合格的客户才能访问（the blockchain is permissioned so that only eligible customers can access）
  3. 参与客户是诚实的，并且在未经批准的情况下不会泄露公司的模型。 【在这一点中，假设客户是诚实的，不太符合实际。 实际情况中不可能都是诚实的且不泄露公司的模型。 】Idea：这里是否可以将系统假设更改为 参与客户都是不诚实的，对此设计系统？？？

相关工作（Related Work）

  • 【9】提出了协同学习的深链（deepchain）系统，但是没有考虑在传输梯度和学习模型过程中的恶意攻击；
  • 【7】提出的分层深度模型训练方法 是作为本众包系统的建立基础使用；
  • 【10】设计了In-Edge AI framework在交换参数过程中减少通讯费，使用分布式终端设备和边缘节点来训练模型。但是【10】在模型聚合过程中没有解决任何安全和隐私问题；
  • 【11】设计了基于区块链的去中心化的众包框架，但是【11】没有使用如本系统中的差分隐私和签名技术
  • 【2】提出 了联邦学习的概念，但是【2】没有考虑在联邦学习过程中的隐私或安全问题

贡献

  • 为预测客户在运行物联网设备中的行为提出分层协作学习系统来帮助建立模型。
  • 将差分隐私技术应用于训练联邦学习模型中，从而对用不能利用学习到的模型推断出客户的敏感信息
  • 基于区块链的系统通过确保而恶意的模型更新能够追责来增强模型更新的安全

评估

  1. Privacy and Security

    本系统应用差分隐私技术分别保护特征的机密和模型的安全，因此，一定程度上系统保持参与客户的隐私。除此外，在训练过程中，我们通过加入拉普拉斯噪音到提取的特征中来增强隐私保护。进一步，通过发送者对训练模型加密和签名来防止攻击者和冒名顶替者偷取模型或者通过逆工程技术推断原始数据。

  2. Delay in Crodsourcing

    不像其他的众包任务，我们系统中的公司偏向 参与者 遵从他们的生活方式而不是赶着完成工作取获取real status。因此，很少使用设备的参与者可能推迟总体众包的进度。

结论

提出了基于声誉的众包联邦学习系统给物联网制造商在未来提供更好的服务。使用了多种先进技术来构建系统，包括：MEC、blockchain、distributed storage and federated learning. 还使用了差分隐私技术保护客户的隐私，为众包任务设计了合理的机里机制使得客户愿意参与到众包任务中。 区块链审计协同训练过程中所有客户的更新 以便 系统能够让恶意更新的责任（承担）。

未来方向和工作

做更多的实验并且 和现实的物联网设备制造商合作 测试我们的系统。

笔记

参考文献

原文参考文献

  • [2] H. B. McMahan, E. Moore, D. Ramage, S. Hampson, and B. A. y Arcas, “Communication-efficient learning of deep networks from decentralized data,” in Proceedings of the 20th International Conference on Artificial Intelligence and Statistics (AISTATS), 2017.

  • [3] S. Wang, T. Tuor, T. Salonidis, K. K. Leung, C. Makaya, T. He, and K. Chan, “When edge meets learning: Adaptive control for resourceconstrained distributed machine learning,” in IEEE Conference on Computer Communications (INFOCOM), 2018, pp. 63–71.

  • [4] L. Melis, C. Song, E. De Cristofaro, and V. Shmatikov, “Exploiting unintended feature leakage in collaborative learning,” in IEEE Symposium on Security and Privacy (S&P), 2019.

  • [5] C. Fung, C. J. Yoon, and I. Beschastnikh, “Mitigating sybils in federated learning poisoning,” arXiv preprint arXiv:1808.04866, 2018.

  • [7] L. Jiang, X. Lou, R. Tan, and J. Zhao, “Differentially private collaborative learning for the IoT edge,” in International Workshop on Crowd Intelligence for Smart Cities: Technology and Applications (CISC), 2018.

  • [9] J. Weng, J. Weng, J. Zhang, M. Li, Y. Zhang, and W. Luo, “DeepChain: Auditable and privacy-preserving deep learning with blockchain-based incentive,” Cryptology ePrint Archive, Report 2018/679, 2018.

  • [10] X. Wang, Y. Han, C. Wang, Q. Zhao, X. Chen, and M. Chen, “In-edge AI: Intelligentizing mobile edge computing, caching and communication by federated learning,” IEEE Network, 2019 (to appear).

  • [11] M. Li, J. Weng, A. Yang, W. Lu, Y. Zhang, L. Hou, J.-N. Liu, Y. Xiang, and R. Deng, “CrowdBC: A blockchain-based decentralized framework for crowdsourcing,” IEEE Transactions on Parallel and Distributed Systems, 2018.

本文参考文献

  • Zhao Y, Zhao J, Jiang L, et al. Mobile edge computing, blockchain and reputation-based crowdsourcing iot federated learning: A secure, decentralized and privacy-preserving system[J]. arXiv preprint arXiv:1906.10893, 2019.