随机逼近1951年，H.罗宾斯和S.门罗首先研究了此问题的一种形式:设因素x的值可由试验者控制,x的"响应"的指标值为Y,当取x之值x进行试验时，响应Y可表为Y=h(x)+ε，式中h(x)为一未知函数，ε为随机误差。设目标值为A,要找这样的x,使h(x)=A。分别以Y-A和h(x)-A代替Y和h(x)。不妨设A=0，问题就在于找方程h(x)=0的根x。例如若x为施药量，Y为衡量药物反应的某种生理指标,则问题在于找出施药量x,以使该生理指标控制于适当的值A。随机误差若随机误差 ε=0，且h(x)为已知函数，则数值分析中提供了许多近似解法。例如可用牛顿迭代法求解:从一适当选择的初始值x0出发，用迭代公式xi+1=xj+αjyj,式中yj=h(xj);但当h(x)未知且有随机误差干扰时,αj和yj无法算出。罗宾斯等将上述算法稍作修改，引进迭代程序xi+1=xj-bjYj,式中Yj为当x=xj时Y的响应值，bj为适当选定的常数。假定 h(x)为x的递增函数且增长速度不快于线性，而各次量测相互独立，则理论研究证明了，只要取bj>0满足则由此算法决定的序列{xj