贝叶斯学习是利用参数的先验分布，由样本信息求来的后验分布，直接求出总体分布。贝叶斯学习理论使用概率去表示所有形式的不确定性，通过概率规则来实现学习和推理过程。贝叶斯学习最早起源于数学家托马斯 贝叶斯在1963年所证明的一个关于贝叶斯定理的特例。经过多位统计学家的共同努力，贝叶斯统计在20世纪50年代之后逐步建立起来，成为统计学中一个重要的组成部分。贝叶斯定理因其对于概率的主观置信程度的独特理解而闻名。此后，由于贝叶斯统计在后验推理、参数估计、模型检测、隐概率变量模型等诸多统计机器学习领域方面有广泛而深远的应用。