文档介绍：Monte Carlo Optimization
主要内容
一、数值优化方法（Numerical optimization methods）
二、应用于求解随机优化问题的蒙特卡罗方法
（1）模拟退火算法（Simulated Annealing)
（2）EM算法（The EM algorithm)
精品资料
你怎么称呼老师？
如果老师最后没有总结一节课的重点的难点，你是否会认为老师的教学方法需要改进？
你所经历的课堂，是讲座式还是讨论式？
教师的教鞭
“不怕太阳晒，也不怕那风雨狂，只怕先生骂我笨，没有学问无颜见爹娘 ……”
“太阳当空照，花儿对我笑，小鸟说早早早……”
optimization methods in R
Root-finding in one dimension
假设f:R→R为一连续函数，则方程f(x)=c的根x,满足g(x)=f(x)-c=(x)=0形式的方程求根问题。使用数值方法求此方程的根，可以选择是使用f的一阶导数还是不使用导数的方法。Newton方法或者Newton-Raphson方法是使用一阶导数的方法，而Brent的最小化算法是不使用导数的一种求根方法。
Bisection method(二分法）
如果f(x)在区间[a,b]上连续，以及f(a)和f(b)有相反的符号，则由中值定理知道存在a<c<b，使得f(c)=0。二分法通过在每次迭代中简单的判断f(x)在中点x=(a+b)/2处的符号来寻求方程的根。如果f(a)和f(x)有相反的符号则区间就被[a,x]代替，否则就被[x,b]代替。在每次迭代中，包含根的区间长度减少一半。即
可以看出，二分法不会失效，达到指定精度所需要的迭代次数也是事先可以得到的。如果在区间[a,b]里方程有多个根，则二分
常用的收敛准则有：
绝对收敛
时停止迭代。此准则可以不考虑x的单位情况下达到指定的精度。
法会找到一个根。二分法的收敛速度是线性的。
相对收敛
下面我们使用二分法求此方程的一个数值解。我们首先要找到一个区间，比如(0,5n)，使得函数
在区间两端有着不同的符号。然后即可使用二分法。
例1 解方程
其中a为常数，n>2为一整数。显然，方程的解为