多任务学习

多任务学习（multi-task learning; MTL），理学-统计学-大数据统计分析-联邦学习-多源数据，在所有任务或其中一部分任务相关的假设下，通过利用包含在所有任务中的信息来改进每个任务学习能力的学习。多任务学习由R.卡鲁阿纳（Rich Caruana）于1993年首次提出。R.卡鲁阿纳指出“MTL是一种利用相关任务训练信号中包含的领域信息作为归纳偏差来提高归纳迁移的方法。它通过使用共享的低维表示来并行学习任务，从每个任务中学到的内容可以帮助我们更好地学习其他任务”。复杂问题可以分解为简单且相互独立的子问题来单独解决（图1），然后再合并结果，得到最初复杂问题的结果。然而现实世界中很多问题不能分解为独立的子问题，即使可以分解，各个子问题之间也是相互关联的，通过一些共享因素或共享表示联系在一起。因此把现实问题当作一个个独立的单任务处理，忽略了问题之间所含的关联信息。多任务学习把多个相关任务放在一起学习（图2）。多个任务之间共享一些因素，它们可以在学习过程中共享它们所学到的信息，这是单任务学习所具备的。相关联的多任务学习比单任务学习能取得更好的泛化效果。