COMP90049 IML
Unsupervised Learning
Deterministic
/ Overlapping
Copyright By PowCoder代写 加微信 powcoder
t.xibiliyforanbigoushstahel.ch
Probabilistic
Partitioning
Hierarchical
Heterogeneous
Homogenous
规格不同 (密度/大小金状) Incremental
buildupc.hn
CPU IML 期末课 3-2
COMP90049 IML
Unsupervised 算法 1.K-Means clustering
-初始 centroid 随机选择
( 每次 结果不同 ) -K-Means 在使用常见 similarity metric 时会
-无法在 heterogenous 问题中使用
O.li//pCOkMans:
放射形 分布的 数据 适用
优点: 1 高效 2 可以被延伸成 hierarchical clustering 缺点: 1. Local optimum， sensitive to seed
2. 需要提前声明 k
3. 不能处理 non- convex cluster 4. 在有 outlier 时表现并不好
CPU IML 期末课 3-2
COMP90049 IML
如何选择 k: Elbow Method
2. Hierarchical Clustering
CPU IML 期末课 3-2
COMP90049 IML
Agglomerative
Proximity Matrix Update:
SABCDEYloooogmeyei.si
milariy 最高
updatehhix
CPU IML 期末课 3-2
COMP90049 IML
dstane 最近 distan 。 最运 企企
3 -7 1 -7 30.410403
17IM 50530
94. 51 1- 95
月 171 12453
Evaluation for unsupervised Learning
个12451 辔51 辛’
separation
It is an exclusive, deterministic, hierarchical, batch clustering
1. unsupervised evaluation
cohesi.cn 低
eperation 高 phion 低
CPU IML 期末课 3-2
COMP90049 IML
.ci 23 =(25
_ + 秋, 最小化 _
Representative point: Mean
*SSE 偏向于分很多类， 解决方案是加一个 penalty term
CPU IML 期末课 3-2
COMP90049 IML
2 supervised evaluation
entropy purity
!坐 嵆 兜ˋ 幽2
Hlxi ) D-mgxp.li
CPU IML 期末课 3-2
COMP90049 IML
Semi- supervised Learning
方法 1: Cluster + Majority Voting
2-onn.tk 𨰻蠿饕:
方法 2: Self-Training (Bootstrapping)
CPU IML 期末课 3-2
COMP90049 IML
Self-Training Assumption 1. 相近的点是同个 Class
2. Classification Error 会被传播 解决 办法
1NN self-training: L U
imolebackinstaneesuknconfidnafdkbelowathreshold.nl
1. 找到 U 里 instances 的最近 neighbour
2 for instance x 3
4 直到 L 不再变化
如此 neighbour 是 L， 那么分成同一类
CPU IML 期末课 3-2
COMP90049 IML
Active Learning
Query Strategy
1. Where classifier is least confident
2. Least able to distinguish between two classes (margin sampling)
iiii.io ! !
3 High entropy
CPU教育 iiii
CPU IML 期末课 3-2
COMP90049 IML
4 QBC query by committee
(disagreement measured by entropy)
disatn-jgi-gidisali-ilglti-osanple.io
Bootstrap sampling: re-sampling Add noise:
Data Augmentation
CPU IML 期末课 3-2
COMP90049 IML
Ensemble Learning
1 Classifier 不犯同样的错
2 Classifier 在一定程度上 accurate
Bagging Bagging-Random Forest Boosting
CPU IML 期末课 3-2
COMP90049 IML
1.通过不同 feature subset 建立多个 training set， 训练多
平滑 不同 模型 ⇒ 多个
数学上简单， 计算要求高 能够融合不同表现的不同模型
个 base model
2.以 base classifier 的 output 来训练一个 Meta classifier
owpnt.AX-I.GG 镲!!
CPU IML 期末课 3-2
COMP90049 IML
2. k such dataset for k base classifiers 3. classify by simple voting
iy 可以 解决 常 选
在有噪音的数据上很有效
Bagging —– Random Forest Random Tree
。每个 node 只考虑一部分 feature
。能 control unhelpful feature 。建树快
。variance 高
1.用 random sampling with replacement sample N times
ltvagcsaneyp.bg
ràiana 问题 highrarian.hr odl
CPU IML 期末课 3-2
COMP90049 IML
Random Forest
。Ensemble of Random Tree
。每个树从不同的 bagged training set 建成 。hyper-param:
ktoftues.IO#ofkatuineachtueGlFH1
Random Forest 特点: 表现好，可并行， 高效，不易 overfit 牺牲了一部分解释性
CPU IML 期末课 3-2
COMP90049 IML
着重于解决难分类的 心仙
根据前 一代的表现来 updateina.eu 。每个数据有 1/N 的初始概率被 sample
。T iteration -> T classifiers, update probability of sample and classifier weight 错乱 错 心 错 人 对 山
。weighted voting
lfgheta-dassyaaggiysinplerg.ba
CPU IML 期末课 3-2
COMP90049 IML
dssfierught
Boosting 特点: 。数学上复杂，计算上简便
。表现有保障 ( euorboundj 。容易 overfit
CPU IML 期末课 3-2
COMP90049 IML
Bagging 和 Boosting 的比较
CPU IML 期末课 3-2
COMP90049 IML
puiiyisthepob.oftkdassuithhighestptob.in
sotkycanpnolgent
information.Ifthghaeshogdgauonohehstahg-nther.it
eachdua.tk bethdutryAssueallckssifierskamsonethgg.tn
higherthepuig.tk
shouldbequerled.T.F.li/3TzFzFs ijc.BA
Trainiysetarebotstrappedfromaiginalha.io
0hgsoheoftkfeaturesareusedlnoheRTGRFOonlgsonefeature.ae
fastertobuild.morevariaha.in/2T.3Ousebaggeddtasets.
erallmodlrarlaneisdaease.de
2 effht 03 robustto 0 㖄圩,
CPU IML 期末课 3-2
COMP90049 IML
P ( F 5 1 A ) = f . P ( F = 5 1 13 1 =
P(F M t ‘ P件=
L 1 13 PCSPIBPCEDIAFjlPCEDB.it
PG-NM-iPG-N-i.PH/L,pM=Pt)pa_hMiEPCT=w,:j
PCL.BA/AiPlA)xPlLlAJxPCPlA)xPCNA)Bi=txixjxt=iP(AlL,P,NxPlAJPLLPNlA)
CPU IML 期末课 3-2
COMP90049 IML
1 用 哪些 modl _ , 进行 预测
2 怎么 测量 disagueut.cat 啊 )
0 造 合 2 不同
satinentahaty.is
qheyinstaneuithlykstd.ge
CPU IML 期末课 3-2
COMP90049 IML
CPU IML 期末课 3-2
程序代写 CS代考 加微信: powcoder QQ: 1823890830 Email: powcoder@163.com