C la s s i f i c a t i o n & R eg r e s s io n
( B o th a r e s u p e r v is e d le a r n in g A lg o r it h m s )
m ea n in g b o th o f t h e m u se l a b e lle d d a t a se ts .
B u t t h e d i f f e r en ce is h o w t h ey a r e u se d f o r d if fer en t
M L pr og r a m s .
T h e m a in d i f f e r e n ce b e t w e e n c l a s s i f ic a t io n & R e g r e s s i o n is
t h a t
→ ② R e g r e s s i o n is u s e d t o p r e d i c t c o n t i n u o u s v a lu e s s u c h a s p r ic e , s a l a r y , a g e , e t c
② C l a s s if i c a t i o n is u s e d t o c la s s if y d i s c r e t e v a lu e s / p r e d i c t d i s c r e t e v a l u e s .
E x : m a l e / fe m a le . s p a m /n ot s p a m
( 1 ) C la s s i f i c a t i o n :- R e g r e s s io n :
p r o ces s o f f in d i n g a f u n c t io n t h a t h e l p s in d i v i d i n g t h e d a ta se t R e g r es s i
in t o c la s s e s b a s e d o n d i f f e r e n t p a r a m e t e r s . I n c l a s s if ic a t i o n , t h e & in
c o m p u t er pr o g r a m is t r a in e d o n t h e t r a in in g d a t a se t a n d I t is
- b a se d o n t h e t r a in in g , it c a t e g o r iz e s d a t a in t o c la s s e s . u s in g
I t is u s e d t o f i n d t h e m a p p in g f u n c t io n t o m a p in p u t * ) t o
d is c r e te o u t p u t ( y ) . T o f in
t o
E x a m p le : E m a i l S p a m D e t e c t io n
T
T y p e s
→ l o g i s t ic R e g r es s io n
→ K - N e a r es t N e ig h b o u r s
→ S u p p o r t v e c to r M a c h in e s
→ N a iv e B a y e s
→ K e r n e l s u m
→ D e c is io n T r ee
→ R a n d o m f o re st
S im p l e L in e a r R e g r e s s i o n :-
I t is a t y p e o f R e g r e s s io n u s e d t o d e f in e t h e r e l a t io n s h ip
b e t w e e n d e p e n d en t a n d in d e p e n d e n t v a r i a b le .
R e l a t io n s h ip s h ow n b y s i m p l e l i n e a r R1 e g r es s io n is l in e a r / s l o p e d s tr a ig h t l in e is
a s S im p l e l i n e a r R e g r es s i o n
→ D e p e n d en t v a r ia b le m u st b e c o n t in u o u s .
→ I n d e p e n d e n t v a r ia b l e c a n b e m e a su r e d o n c o n ti n u o u s / c a te g o r ic a l v a lu e s
4 = 9 0 + 9 , ✗ + ∈ y = m x + c
d o → in te r c e p t a t = C x .y ) - ( E x ) ( E y )
9 1 → s lo p e
E → e r ro r .
8 × 2 - 1 2 × 12
M u l t i p le l in e a r R e g r e s s io n
m u l t ip le l in e a r r e g r e s s io n is u s e d t o f i n d t h e r el a t io
b e t w e e n o n e d e p e n d e n t v a r ia b l e & m a n y in d e p e n d e n t v a r i a
T h e f u n c t io n t o f in d t h e r e l a t io n sh i p is g iv e n b y ÷
Y - B o + B IX /+ β z X c t .. . . β N X N
B o - in t e r c e p t
β i . β z . . . - - β N - s l o p e
y - d e p e n d en t v a r ia b l e
( B o th a r e s u p e r v is e d le a r n in g A lg o r it h m s )
m ea n in g b o th o f t h e m u se l a b e lle d d a t a se ts .
B u t t h e d i f f e r en ce is h o w t h ey a r e u se d f o r d if fer en t
M L pr og r a m s .
T h e m a in d i f f e r e n ce b e t w e e n c l a s s i f ic a t io n & R e g r e s s i o n is
t h a t
→ ② R e g r e s s i o n is u s e d t o p r e d i c t c o n t i n u o u s v a lu e s s u c h a s p r ic e , s a l a r y , a g e , e t c
② C l a s s if i c a t i o n is u s e d t o c la s s if y d i s c r e t e v a lu e s / p r e d i c t d i s c r e t e v a l u e s .
E x : m a l e / fe m a le . s p a m /n ot s p a m
( 1 ) C la s s i f i c a t i o n :- R e g r e s s io n :
p r o ces s o f f in d i n g a f u n c t io n t h a t h e l p s in d i v i d i n g t h e d a ta se t R e g r es s i
in t o c la s s e s b a s e d o n d i f f e r e n t p a r a m e t e r s . I n c l a s s if ic a t i o n , t h e & in
c o m p u t er pr o g r a m is t r a in e d o n t h e t r a in in g d a t a se t a n d I t is
- b a se d o n t h e t r a in in g , it c a t e g o r iz e s d a t a in t o c la s s e s . u s in g
I t is u s e d t o f i n d t h e m a p p in g f u n c t io n t o m a p in p u t * ) t o
d is c r e te o u t p u t ( y ) . T o f in
t o
E x a m p le : E m a i l S p a m D e t e c t io n
T
T y p e s
→ l o g i s t ic R e g r es s io n
→ K - N e a r es t N e ig h b o u r s
→ S u p p o r t v e c to r M a c h in e s
→ N a iv e B a y e s
→ K e r n e l s u m
→ D e c is io n T r ee
→ R a n d o m f o re st
S im p l e L in e a r R e g r e s s i o n :-
I t is a t y p e o f R e g r e s s io n u s e d t o d e f in e t h e r e l a t io n s h ip
b e t w e e n d e p e n d en t a n d in d e p e n d e n t v a r i a b le .
R e l a t io n s h ip s h ow n b y s i m p l e l i n e a r R1 e g r es s io n is l in e a r / s l o p e d s tr a ig h t l in e is
a s S im p l e l i n e a r R e g r es s i o n
→ D e p e n d en t v a r ia b le m u st b e c o n t in u o u s .
→ I n d e p e n d e n t v a r ia b l e c a n b e m e a su r e d o n c o n ti n u o u s / c a te g o r ic a l v a lu e s
4 = 9 0 + 9 , ✗ + ∈ y = m x + c
d o → in te r c e p t a t = C x .y ) - ( E x ) ( E y )
9 1 → s lo p e
E → e r ro r .
8 × 2 - 1 2 × 12
M u l t i p le l in e a r R e g r e s s io n
m u l t ip le l in e a r r e g r e s s io n is u s e d t o f i n d t h e r el a t io
b e t w e e n o n e d e p e n d e n t v a r ia b l e & m a n y in d e p e n d e n t v a r i a
T h e f u n c t io n t o f in d t h e r e l a t io n sh i p is g iv e n b y ÷
Y - B o + B IX /+ β z X c t .. . . β N X N
B o - in t e r c e p t
β i . β z . . . - - β N - s l o p e
y - d e p e n d en t v a r ia b l e
