发现自己从大二开始就没有好好的学习数学了，最近看 SVM，发现好多推导和证明自己都不会，或者就要想很久，实在是太废材了。 :(. 以后决定对一些数学知识(特别是高等数学，分析和代数领域的一些东西，学点记点)

这是正文

这是一个简单的问题，定义如下:

设， $y(X) = W^TX +b, X \in R^n,b \in R$, …

这里总结一个利用二价导数来求最优解的方法-牛顿法:

设: $f(X)$ 是一个多维函数,由taylor 二阶展开，我们有,

$$ f(X) \approx f(X_0)+(X-X_0)\nabla f(X_0) + \frac{(X-X_0)\nabla^2 f(X_0)(X-X_0)}{2} $$

对 $X$ 求导，并设置为0，我们有

$$ …

logistic regression (Log.Reg)是一种简单的 Discriminative(后面会简单的比较discriminative 与generative) 分类方法，和naive bayes不同的是，他假设了概率:

$$ P(y=1|X) = \frac{1}{1+\exp(w_0+\sum w_i^TX_i)} …

写在前面: 这是笔者学习CMU10601-ML机器学习的笔记

引入

首先我们考虑学习一个基于贝叶斯规则的分类器,即我们希望学到 $P(Y|X)$

那么我们有

$$ P(Y|X)=\frac{P(Y)P(X|Y)}{P(X)} $$

这里 $Y \in\{0,1\}$ 那么我们需要去估计的是这两个概率 $P(Y),P(X|Y)$ …

这是一个简单的概率论公式总结

• bayes rule: $P(A|B) = \frac{P(A)P(B|A)}{P(B)}$

版权声明

本作品为作者原创文章，采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议

作者: taotao

转载请保留此版权声明，并注明出处

写在前面: 这是笔者学习CMU10601-ML机器学习的笔记

MLE 和 MAP ,是两种不同的估计概率的准则，可是他们的数学公式却是如此相似

remark

MLE 实际使用的过程中，通常会用LOG likelihood function,

MAP 这里 $P(D)$ 是没用的，即

$$ \hat{\theta}=\arg …

写在前面: 这是笔者学习CMU10601-ML机器学习的笔记

决策树算法框架

适合问题的特点

1. 实例是由 $(attr,value)$, 表示的，并且 $value$ 是离散的 (remark: 能使用连续值，不过连续值其实也是在先将连续值转化为离散值，再使用的决策树)
2. 目标函数具有离散的输出值，或者说是一个分类问题

整个算法就是一个分治， …

官方链接

• 题目描述
• 官方题解

我的心路历程

首先不难想到，肯定要将 $v_i$ 排序，然后如果取到的是小的那部分值，那么我们肯定要将其放回，然后再取，不妨设 $i<j$, 均要放回。因此所有的 $n$ 个item 就被分为了两个部分，一部分是要放回的，另外一部分是不放回的。

最开始的时候，看样例的解释我以为是这样的,直接分别求两者的概率，则 …

完整内容可见

MIT 6.828 note

这个任务就是检查 _start 开始的时候栈顶的所有值，

进入 xv6, gdb 调试

b *0x10000c (_start kernel start point)

x /24x $esp

解释栈中的各个值，首先看 0x7d8d,0x7c4d, 这显然是某个地址， …

这里是 MIT 6.828 OS lab1 笔记.

课程链接

简单记录一些有趣，和有意思的东西

ex6

Exercise 6. We can examine memory using GDB’s x command. The GDB manual has full details, but for now, it is enough …