Lesson 2 感知机

发表于 2023-10-19 分类于 Note

1．感知机是根据输入实例的特征向量$x$对其进行二类分类的线性分类模型：

$$f(x)=\operatorname{sign}(w \cdot x+b)$$

感知机模型对应于输入空间（特征空间）中的分离超平面 $w \cdot x+b=0$。

2．感知机学习的策略是极小化损失函数：

$$\min_{w,b}L(w,b)=-\sum_{x_i\in M}y_i(w\cdot x_i+b)$$

损失函数对应于误分类点到分离超平面的总距离。

3．感知机学习算法是基于随机梯度下降法的对损失函数的最优化算法，有原始形式和对偶形式。算法简单且易于实现。原始形式中，首先任意选取一个超平面，然后用梯度下降法不断极小化目标函数。在这个过程中一次随机选取一个误分类点使其梯度下降。

4．当训练数据集线性可分时，感知机学习算法是收敛的。感知机算法在训练数据集上的误分类次数$k$满足不等式：

$$k \leqslant\left(\frac{R}{\gamma}\right)^{2}$$

当训练数据集线性可分时，感知机学习算法存在无穷多个解，其解由于不同的初值或不同的迭代顺序而可能有所不同。

阅读全文 »

python 绘图

发表于 2023-10-18 更新于 2023-10-19 分类于 Note

下面是python的绘图的简单介绍：

阅读全文 »

Lesson 1 概论

发表于 2023-10-18 更新于 2023-10-25 分类于 Note

统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析与预测的一门学科。统计学习包括监督学习、非监督学习、半监督学习和强化学习。
统计学习方法三要素——模型、策略、算法，对理解统计学习方法起到提纲挈领的作用。
本书主要讨论监督学习，监督学习可以概括如下：从给定有限的训练数据出发，假设数据是独立同分布的，而且假设模型属于某个假设空间，应用某一评价准则，从假设空间中选取一个最优的模型，使它对已给训练数据及未知测试数据在给定评价标准意义下有最准确的预测。
统计学习中，进行模型选择或者说提高学习的泛化能力是一个重要问题。如果只考虑减少训练误差，就可能产生过拟合现象。模型选择的方法有正则化与交叉验证。学习方法泛化能力的分析是统计学习理论研究的重要课题。
分类问题、标注问题和回归问题都是监督学习的重要问题。本书中介绍的统计学习方法包括感知机、$k$近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、提升方法、EM算法、隐马尔可夫模型和条件随机场。这些方法是主要的分类、标注以及回归方法。它们又可以归类为生成方法与判别方法。

阅读全文 »

上海外滩随记

发表于 2020-05-28 更新于 2020-05-29 分类于 personal

Shanghai Bund

2020.5.27 这一路都是风景，我就不为你翻山越岭了。

阅读全文 »

简单的数值方法

发表于 2020-05-19 更新于 2023-10-19 分类于 Note

本文列举了简单的数值方法：Euler 方法、后退 Euler 方法、梯形公式、改进 Euler 方法，并用 MATLAB 求解线性 ODE，最后展示了输出结果。

常微分方程初值问题

考虑常微分方程初值问题，设

$$\left\lbrace\begin{aligned} &\frac{d u}{d t}=f(t, u), \quad 0<t \leqslant T \\ & u(0)=0\end{aligned}\right.$$

$f(t, u)$ .在区域$ \mathrm{G}: 0 \leqslant t \leqslant T,|u|<\infty $上连续，求$u = u (t)$：满足：

$$\left \lbrace \begin{aligned}&\frac{d u}{d t}=f(t, u), \quad 0<t \leqslant T \ &u(0)=0\end{aligned}\right.$$

通常 $f $ 满足 Lipschitz 条件：$\left|f\left(t, u_{1}\right)-f\left(t, u_{2}\right)\right| \leqslant L\left|u_{1}-u_{2}\right|$

线性 ODE 例子

$$\left{\begin{aligned}&\frac{d u}{d t}=t^{2}+t-u, \quad t \in [0,1] \ &u(0)=0\end{aligned}\right.$$

方程的真解：$u(x)=-e^{-t}+t^{2}-t+1$

Euler 方法

$$u_{n+1}=u_{n}+h f\left(t_{n}, u_{n}\right)$$

Euler 方法数值求解

MATLAB 程序

% Euler1.m
% Euler method for the ODE model
% u'(x)=x^2+x-u, x in [0,1] 
% Initial condition: u(0)=0 ;
% Exact solution: u(x)=-exp(-x)+x^2-x+1.
clear all;  clf
h=0.1;
x=0:h:1;                       % function interval
N=length(x)-1;
u(1)=0;                        % initial value
fun=@(t,u) t.^2+t-u;           % RHS
for n=1:N
    u(n+1)=u(n)+h.*fun(x(n),u(n));
end
ue=-exp(-x)+x.^2-x+1;          % exact solution
plot(x,ue,'b-',x,u,'r+','LineWidth',1)
legend('Exact ','Numerical','location','North')
set(gca,'fontsize',12)
xlabel('x','fontsize', 16), ylabel('u','fontsize',16,'Rotation',0)

% print -dpng -r600  Euler1.png

输出结果

后退 Euler 方法

$$u_{n+1}=u_{n}+h f\left(t_{n+1}, u_{n+1}\right)$$.

梯形公式

$$u_{n+1}=u_{n}+\frac{h}{2}\left[f\left(t_{n}, u_{n}\right)+f\left(t_{n+1}, u_{n+1}\right)\right]$$.

梯形公式数值求解

梯形公式与后退 Euler 方法类似，这里考虑梯形公式，对于线性 ODE 例子：

$$u_{n+1}=u_{n}+\frac{h}{2}\left[t_{n}^{2}+t_{n}-u_{n}+t_{n+1}^{2}+t_{n+1}-u_{n+1}\right]$$

可得

$$u_{n+1}=\frac{2-h}{2+h} u_{n}+\frac{h}{2+h}\left[t_{n}^{2}+t_{n}+t_{n+1}^{2}+t_{n+1}\right]$$

MATLAB 程序

% Trapezoidal.m
% Trapezoidal rule for the ODE model
% u'(x)=x^2+x-u, x in [0,1] 
% Initial condition: u(0)=0 ;
% Exact solution: u(x)=-exp(-x)+x^2-x+1.
clear all;  clf
h=0.1;
x=0:h:1;                       % function interval
N=length(x)-1;
u(1)=0;                        % initial value
for n=1:N
    u(n+1)=(2-h)/(2+h).*u(n)+h/(2+h).*(x(n)^2+x(n)+x(n+1)^2+x(n+1));
end
ue=-exp(-x)+x.^2-x+1;          % exact solution
plot(x,ue,'b-',x,u,'r+','LineWidth',1)
legend('Exact ','Numerical','location','North')
set(gca,'fontsize',12)
xlabel('x','fontsize', 16), ylabel('u','fontsize',16,'Rotation',0)

% print -dpng -r600  Trapezoidal.png

输出结果

改进的 Euler 方法

预估校正

$$\left \lbrace \begin{aligned}&\bar{y}_{n+1}=y_{n}+hf(x_{n},y_{n}) \\ &y_{n+1}=y_{n}+\frac{h}{2}[f(x_{n},y_{n})+f(x_{n+1},\bar{y}_{n+1})] \end{aligned} \right.$$

MATLAB 程序

% EulerPro.m
% Modified Euler method for the ODE model
% u'(x)=x^2+x-u, x in [0,1] 
% Initial condition: u(0)=0 ;
% Exact solution: u(x)=-exp(-x)+x^2-x+1.
clear all;  clf
h=0.1;
x=0:h:1;                     % function interval
N=length(x)-1;
u(1)=0;                      % initial value
fun=@(x,u) x.^2+x-u;         % RHS
for n=1:N
    k1=fun(x(n),u(n));
    k2=fun(x(n+1),u(n)+h*k1);
    u(n+1)=u(n)+(h/2)*(k1+k2);
end
ue=-exp(-x)+x.^2-x+1;        % exact solution
plot(x,ue,'b-',x,u,'r+','LineWidth',1)
legend('Exact','Numerical','location','North')
set(gca,'fontsize',12)
xlabel('x','fontsize', 16), ylabel('u','fontsize',16,'Rotation',0)

% print -dpng -r600  EulerPro.png