Newton's Method

这里总结一个利用二价导数来求最优解的方法-牛顿法:

设: $f(X)$ 是一个多维函数,由taylor 二阶展开,我们有,

$$ f(X) \approx f(X_0)+(X-X_0)\nabla f(X_0) + \frac{(X-X_0)\nabla^2 f(X_0)(X-X_0)}{2} $$

对 $X$ 求导,并设置为0,我们有

$$ …

阅读全文

机器学习笔记:朴素贝叶斯

写在前面: 这是笔者学习CMU10601-ML机器学习的笔记

引入

首先我们考虑学习一个基于贝叶斯规则的分类器,即我们希望学到 $P(Y|X)$

那么我们有

$$ P(Y|X)=\frac{P(Y)P(X|Y)}{P(X)} $$

这里 $Y \in\{0,1\}$ 那么我们需要去估计的是这两个概率 $P(Y),P(X|Y)$ …

阅读全文

机器学习笔记: MLE and MAP

写在前面: 这是笔者学习CMU10601-ML机器学习的笔记

MLE 和 MAP ,是两种不同的估计概率的准则,可是他们的数学公式却是如此相似

MLE and MAP

remark

MLE 实际使用的过程中,通常会用LOG likelihood function,

MAP 这里 $P(D)$ 是没用的,即

$$ \hat{\theta}=\arg …

阅读全文

机器学习笔记: 决策树

写在前面: 这是笔者学习CMU10601-ML机器学习的笔记

决策树算法框架

决策树算法

适合问题的特点

  1. 实例是由 $(attr,value)$, 表示的,并且 $value$ 是离散的 (remark: 能使用连续值,不过连续值其实也是在先将连续值转化为离散值,再使用的决策树)
  2. 目标函数具有离散的输出值,或者说是一个分类问题

整个算法就是一个分治, …

阅读全文

2018 google Kickstart RoundA PB Lucky Dip 详细题解

官方链接

我的心路历程

首先不难想到,肯定要将 $v_i$ 排序,然后如果取到的是小的那部分值,那么我们肯定要将其放回,然后再取,不妨设 $i<j$, 均要放回。因此所有的 $n$ 个item 就被分为了两个部分,一部分是要放回的,另外一部分是不放回的。

最开始的时候,看样例的解释我以为是这样的,直接分别求两者的概率,则 …

阅读全文

MIT6.828 OS hw1 boot xv6

完整内容可见

MIT 6.828 note

这个任务就是检查 _start 开始的时候栈顶的所有值,

进入 xv6, gdb 调试

b *0x10000c (_start kernel start point)

x /24x $esp

hw1-esp.png

解释栈中的各个值,首先看 0x7d8d,0x7c4d, 这显然是某个地址, …

阅读全文

MIT6.828 OS lab1 note

这里是 MIT 6.828 OS lab1 笔记.

课程链接

简单记录一些有趣,和有意思的东西

ex6

Exercise 6. We can examine memory using GDB’s x command. The GDB manual has full details, but for now, it is enough …

阅读全文