Đồ án khai thác dữ liệu và ứng dụng

3


vic truy vn d liu, v vic kt hp ny thng xuyờn c s dng trong vic qun
lý cỏc quan nim. Cui cựng, nhng h thng i din cho tri thc cho phộp cỏc khỏi
nim c t chc thnh cỏc h a cp phõn lp, vi vic tha k l thnh phn khúa
ca thut túan lp lun
Nhng h thng cho phộp cỏc h a cp k tha t chc i tng , m cỏc i
tng l vớ d ca cỏc lp trong cỏc kiu thnh phn, iu ny cú th c mụ hỡnh húa
nh l li. Thao tỏc i tng thỡ c vn hnh bng phộp tớnh li GLB v LUB,
i din cho s kt hp v s phõn ró ca cỏc lai i tng. Mt túan t khúa trong h
thng ny cú th thc hnh kim tra th s kt hp, ú l quyt nh xem cú tn ti
mt mi quan h k tha gia cp i tng trờn lý thuyt hay khụng. Phn 2 s cung
cp ti liu c bn v nh ngha cn thit hiu nhng vn ny
Mt vi phng phỏp ó c ngh trong vic mó húa li ng h phộp cỏc
phộp tớnh li theo thi gian khụng i. Phn ny s c nhc li phn 3, cựng vi
vic phõn tớch gii hn v li ớch mi quan h ca chỳng. S phỏt trin ca cỏc ng
dng lõu nm tn dng cỏc h a cp k tha, nh l c s tri thc v c s d liu

2. Background
Mt h a cp k tha cú th c miờu t nh 1 b trt t cc b, poset (P, ),
mi quan h nh phõn , mi quan h phan x, phn i xng, v transitive. Mi quan
h a b ng ý hoc a v b cựng lp, hoc a l con trc tip ca b, hoc a l con trc
tip ca 1 vi lp c, v c b. Hai phn t a v b ca poset P c cho rng cú th so
sỏnh c nu a b hoc b a
Xem xột 1 poset (P, ), v 1 b con A ca P. Phn t b

P c gi l rng buc
trờn ca A nu a b i vi tt c a

A. Ngũai ra b c gi l rng buc trờn nh
nht (LUB) ca A nu nú cng l 1 trng hp ca b a bt c khi no a cng l rng
buc trờn ca A. Ngc li, phn t b

P c gi l rng buc di ca A nu b a
THệ VIEN ẹIEN Tệ TRệẽC TUYEN


4


i vi tt c a

A, v rng buc di ln nht (GLB) ca A nu nú cng l trng hp
ca a b bt c khi no a cng l rng buc di ca A.
Mt lattice l 1 poset m bt c mi cp phn t u cú LUB v GLB. LUB ca
b hai phn t {a,b} cú ngha l a

b v c gi l hp ca a v b. Tng t, GLB
ca {a,b} cú ngha l a

b v c gi l giao ca a v b. Mt semilattice thp hn l 1
poset m bt c mi cp phn t u cú GLB. Mt s tho lun chi tit hn v poset
v lattice cú th c tỡm thy nhng ch chun trong mụn túan riờng bit vớ d nh
[4]
Núi chung, 1 h a cp k tha khụng cú cu trỳc lattice; ú l hp v giao ca
mi cp phn t khụng th nh ngha. Trong nhng trng hp nh th, GLB v LUB
ca 1 b phn t khụng th nh ngha c. phõn bit nhng trng hp ny, cỏc
t GCS v LCS c s dng v c nh ngha nh sau.
Trong poset (P, ) ca 1 h a cp k tha, siờu lp chung nh nht (LCS) ca
subset A ca P l b nh nht ca cỏc phn t B nh l cú s tn ti b

B iu kin b
a, i vi mi phn t a l 1 rng buc trờn ca A . Ngc li, siờu lp chung ln
nht (GCS) ca subset A ca P l b nh nht c phn t B nh l cú s tn ti b

B
iu kin a b, i vi mi phn t a l rng buc di ca ca A.
c a ra 1 poset (P,
,,
), ú l 1 lattice v 1 poset lattice na (L, ,, ),
i vi GLB v LUB cú th c tớnh túan 1 cỏch hiu qu, gi nh rng cú tn ti 1
hm s

t P n L nh th, i vi 2 phn t a v b trong P ,

(a b) =

(a)

(b),

(a b) =

(a)

(b),
ú l,

l 1 ng dng lattice. Ngũai ra, cho rng

cú th o ngc; ú l, cú
tn ti 1 hm s

-1
t L n P nh th, i vi bt k a trong P ,

-1
(

(a)) = a.Sau
ú, mt cỏch tớnh túan GLB v LUB ca 2 phn t a v b trong P l ni nhng mnh
bng nhau, a ra
THệ VIEN ẹIEN Tệ TRệẽC TUYEN


5


a b =

-1
(

(a)

(b)),
a b =

-1
(

(a)

(b)).
i vi poset (P, ) ú khụng phi l 1 lattice, nú vn cú th s dng s gn vo
lattice, nhng i vi cỏc phộp tớnh phc tp hn na. Trc tiờn, cỏc phộp túan trn v
sn phi c nh ngha.
i vi subset A ca P , trn ca A c kớ hiu

A
l subset B nh nht ca A
iu kin tt c a A, ú tn ti a b

B , khi a b. Sn ca A c kớ hiu

A
l
subset C nh nht ca A iu kin tt c a A, ú tn ti a c

B , khi c a.
Bõy gi i vi nh ngha phộp túan GCS v LCS. i vi 1 poset (P, ) v 1
subset A = {a
1
, ,a
k
}ca P , GCS cú th c tớnh túan nh sau:
GCS(A) =













=
)ai()(|
1
I
k
i
xPx


Cỏch khỏc, GCS l phn t ln nht ca poset m mó ca nú ớt hn mó ca GLB
ca phn t tng ng trong semilattice gn vo. Tng t, LCS cng c tớnh túan
nh sau:
LCS(A) =













=
U
k
i
xaiPx
1
)()(|


2.1 Vn
Xem xột poset (P, ). Anc(x) = { y

P |y < x} v Desc(x) = { y

P |y > x}.
Mt phn t j

X c núi l giao khụng th ti gin nu tn ti xX chng hn
xDesc(j) v Anc(j) Anc(x) {x}. Tng t, chỳng ta cú th xỏc nh hi khụng
th ti gin. J(P) biu hin rừ nhng phn ca tt c cỏc yu t giao khụng th ti
gin v M(P) biu hin rừ nhng phn tt c cỏc yu t hp khụng th ti gin c.
Markowsky [5] ch ra rng mó húa ti u ch dnh cho nhng túan t giao (hi) i vi
THệ VIEN ẹIEN Tệ TRệẽC TUYEN


6


mt li l nhng cỏi ú t c bng liờn kt s hay bit khỏc nhau n mi yu t
giao khụng th ti gin (hi khụng th ti gin)
(P, ) l mt poset, v
{ }
kSPJ , ,1)(: =

. Habib et al. [6] cung cp nhng
nh ngha sau. Mt mó húa n gin l s sp xp
2:)( Xx

S
vi
U
)(
)()(
xAncj
jx

=

nh l

l mt kt hp t P lờn trờn 2
S
; ú l, x


p
y iff
)()( yx


. Sau ú vn l quyt nh s tha thun tt nht nh l mó húa. Tht
khụng may mn, Caseau et al. [7] chng t rng mó húa n gin l cõn bng a thc
n v th mu v ln lt, nú l mt vn NP-hard. Tht vy, vn mó húa
thng (cng c bit nh vn hai chiu) thỡ tỡm thy s k nh nht nh l tn ti
mt s sp xp
2:)( Xx

{1,,k}
nh
2)( x

S
vi
U
)(
)()(
xAncj
jx

=

l mt kt
hp t P lờn trờn 2
S
; ú l, x


p
y iff
)()( yx


. Rừ rng, õy cng l mt vn NP-
hard.
3. Nhng phng phỏp trc õy
Mt s phng phỏp ó c ngh gii quyt phộp túan trờn poset v lattice.
Tht l khụng may mn, mi phộp túan cú gii hn hoc khụng hiu qu hoc kớch
thc hoc gii quyt h a cp nng ng v phộp túan lattice
3.1 Transitive closure
Mt phng phỏp thng lu tr 1 poset bao gm ma trn transitive closure
ca nú. cho x
1
, x
2
, ,x
n
l phn t ca poset. Mt ma trn transitive closure l mt
ma trn n x n ca 0 v 1, m phn t th (i, j) ca ma trn l 1 iff x
i
l cha ca x
j
. Mt
ma trn lin k i xng A
1
c nh ngha l hp ca ma trn lin k A v ma trn
nh dng n x n I
nxn
ni m phn t th ( i, j) ca ma trn lin k l 1 iff x
i
l cha ca x
j
THệ VIEN ẹIEN Tệ TRệẽC TUYEN


7


. Ma trn transitive closure cú th t c bi s tun t ca phộp túan ma trn c
ch ra bi
A
0
= I
nxn
,

A
1
= A x A
0
,
A
k
=

A
k-1
x

A
k-1
,
cho n khi A
k
= A
k-1
= A
*
. S tớnh túan ny hi t hu ht ti phộp nhõn

n2log

ca ma trn logic n x n
Phng phỏp ny ũi hi O(n
2
) bit lu tr. tỡm GLB hoc LUB ca 2 phn
t, thỡ cn O(n) phộp túan trờn vect n bit, ỳng vi n lc cn tỡm thy phn t nh
nht ca b [8]. Nhng ngi trong Ait-Kaci [9] a ra thut túan pidgin-code
ch nh nhng mó trancitive closure n phn t ca h a cp bt u phn t bờn
di v tin hnh theo hng i lờn tng lp tng lp mt. Mi nỳt l 1 mó nh phõn
hoc mó con ca nú v 2
p
vi p l s nỳt ving thm trong phm vi.
Hai mu gii mó transitive closure c biu din hỡnh 1, bờn di ct c t
tờn l transitive. Gii mó phớa trờn s dng ti thiu 7 bit trờn 1 mó l i vi 7
phn t u tiờn ca h a cp (a-g), hỡnh thnh 1 cu trỳc cõy. Gii mó phớa di
i vi tt c 15 phn t ca h a cp (ngai tr nỳt q , l 1 nỳt o thay th cho giao
ca nỳt e v f cho gii mó sau ny). Vic gii mó ny ũi hi ti thiu chiu di ca mó
l 15 bit, hoc tng chiu di l 120 bit nu khụng chỳ ý n nhng s 0 u
3.2 Gii mó t phớa bờn di lờn
Nhng ngi trong Ait-Kaci [9] ci tin thut túan pidgin-code transitive closure
ch bng cỏch tng chiu di ca 1 nỳt khi cn thit. Vờc gia tng ny xy ra trong
THệ VIEN ẹIEN Tệ TRệẽC TUYEN


8


thut túan mi ca h ch khi mt nỳt l nỳt con n ( phõn bit vi 2) v khi nhng
mó phõn bit tớnh túan cú th so sỏnh c vi mó thuc tớnh n phn t c bit
nh l khụng th so sỏnh c. ú l, 1 mó c lm tt hn tt c v ch nhng mó
rng buc bờn di ca nú, trong khi khụng th so sỏnh vi mó ca nhng phn t
khụng th so sỏnh c.
Hai mu mó húa c biu din trong hỡnh 1 bờn di ct cú tờn l Bottom-Up.
Vic mó húa bờn trờn s dng ti a l 4 bit trờn 1 mó l 7 phn t u tiờn ca h
thng trong hỡnh 1. Vic mó húa bờn di cho tt c 15 phn t ca h thng ũi hi
chiu di mó ti a l 10 bit, v quan trng nh hn 15 i vi transitive closure. Tng
chiu di ca mó húa l 18 bit nu nhng bit 0 u c pht l.
Mc dự phng phỏp ny kt qu mó dy hn transitive closure, nhng nú vn to
ra nhng mó di. Tht vy, i vi vic mó húa 1 chui (1 cõy vi ch 1 nhỏnh) chiu
di ca mó vn l n-1 . Mi s gia tng ca chiu di 1 t thờm 1 vo chiu di tt c
cỏc bit mc dự vic s dng li cỏc bit khụng gõy ra bt c mõu thun no.
Mt gii phỏp gii quyt vn ny c ngh bi Ait-Kaci l iu chnh h
thng; ú l, to ra nhng nhúm cú cỏc nỳt kt ni c hn v ch cú 1 vi liờn kt k
tha vi nhúm khỏc. Sau ú, nhng nhúm s c mó húa 1 cỏch riờng bit, v mó
nhúm c ch nh phõn bit phn t ca nhúm khỏc. iu ny s dng li v trớ bit
gia cỏc nhúm, trong khi ch vic thờm 1 s bit cho mó nhúm.
Trng hp tt nht cú th, khụng gian s dng bi mó húa c iu chnh l
O(nlogn), khi h a cp hon ton cú th mụ hỡnh húa mi mc. i vi h a cp
khụng cú cu trỳc mụ hỡnh, nh l mt chui, mó húa cn O(n
2
) bit. N lc thờm ũi
hi iu chnh v khụng gian lu tr cu trỳc ca s iu chnh khụng c phõn
tớch, nhng c tranh lun bi Ganguly et al. [8] ũi hi O(n
2
) thi gian v O(nd)
khụng gian, iu kin d l ln nht ca th ca nhng nhúm.
THệ VIEN ẹIEN Tệ TRệẽC TUYEN


9


Trong vớ d h a cp hỡnh 1, s iu chnh l khụng th, v khụng cú s tit
kim no s c chu. i vi 7 yu t u, s tit kim trong chiu di mó bi s
iu chnh s chớnh xỏc l offset bi nhu cu cho mó nhúm.


THệ VIEN ẹIEN Tệ TRệẽC TUYEN


10



3.3 Gii mó t trờn xung
Caseau [10] ngh 1 phiờn bn t trờn xung ca gii mó t di lờn m s dng
li v trớ cỏc bit trong quỏ trỡnh gii mó tng lờn ca lattice. Khi mt mó phi c phõn
bit, thut túan s tỡm kim 1 bit cú th ó c s dng trc ú, nhng v trớ ny nú
khụng gõy ra bt c mõu thun no vi cỏc nỳt hin hnh. Th tc phc tp ny to ra
cỏc mó m nú c kt li cht ch bng vi s iu chnh cho nhng cõy nhng tt
hn nhiu cho nhng h a cp phc tp hn [10]. Trong mt thớ nghim thc t, ngi
ta nhn ra rng vic mó húa t c 50% hiu qu tr lờn ca phộp túan lattice trờn
transitive closure. Th tc ny c i din 1 kiu gia tng, ú l cú th thờm 1 nỳt
mi nh l nỳt con ca nỳt lỏ, m ú l trng hp ca hu ht cỏc h thng lp
hng i tng
Mt gii hn ca th tc ny ũi hi h thng phi c hỡnh thnh t lattice.
iu ny c gii quyt bi 1 thut túan hũan thnh lattice ca Caseau, m c
khng nh chy trờn thi gian a thc. Tht khụng may mn, s hũan thnh thờm
nhng nỳt mi vo h a cp, v nhng iu ny cng phi c mó húa v lu tr.
iu ny thờm trờn u thi gian v khụng gian ũi hi m húa thnh mt h a cp k
tha bi thng. Xem xột h a cp 11 nỳt lỏ trong hỡnh 2. Hon thnh li trờn nỳt lỏ
ũi hi thờm 20 nỳt. 14 nỳt lỏ s ũi hi thờm 50 nỳt. Núi chung, n nỳt lỏ l chiu cao
hai poset (P, ) vi P={a
1
,,a
n
}

{b
1
,,b
n
} iu kin a
i

b
j
trong P, for i, j=1, 2,,
n. Nh l mt cu trỳc ũi hi trt t ca 2
n
nỳt c thờm vo cho vic hũan thnh
li.
Trng hp tt nht trong cõy cõn bng, khang trng c s dng bi vic mó
húa t trờn xung l O( nlogn ). iu ny lm gim n O(n
2
) bit cho nhng h a cp,
ni m khụng cú vic chia x bit xy ra, chng hn nh 1 chui. Tt c cỏc ký t trng
THệ VIEN ẹIEN Tệ TRệẽC TUYEN


11


mó húa cng da trờn mt s nỳt trong lattice hũan tũan, ch khụng phi trờn h a cp
gc.
Hai mu mó húa c biu din trong hỡnh 1 bờn di ct Top-Down. Khi mó húa
Bottom-Up, vic mó húa trờn ca 1 cu trỳc cõy ũi hi ti a 4 bit trờn mó. Vic mó
húa bờn di l 16 phn t ca h a cp bao gm nỳt q c to bi thut túan hũan
thnh lattice. Vic mó húa ny ũi hi chiu di mó ti a l 10 bit, hay l tng chiu
di l 114 bit nu nhng s khụng u b pht l. iu ny hn Bottom-Up sau ú 3 lý
do. Trc tiờn, nhng nỳt thờm c yờu cu. Th hai, rt ớt khi s dng li v trớ cỏc
bit vỡ thiu cu trỳc cõy trong h a cp. Cui cựng, s thay i v trớ bit ca cỏc nỳt vỡ
k tha bi dn n cỏc mó di hn i vi nhng phn t gn phớa trờn ca h a
cp m chỳng c k tha bi lp con ca chỳng
3.4 Mó húa tnh
Phng phỏp mó húa th ba c a ra bi Ganguly, liờn quan n s xuyờn
sut h a cp t di lờn c theo bi 1 l trỡnh t trờn xung. Kt qu phc tp
thi gian l O(n+e), vi e l s cnh ca h a cp, v kt qu kinh nghim l ch ra
rng cú 1 khang trng lu trờn nhng s bin thiờn. Tht khụng may mn, khi thut
túan ny cng yờu cu cu trỳc lattice v nú khụng gia tng, cú ngh rng khi thờm mt
nỳt vo h a cp thỡ phi tớnh túan li tũan b mó húa
THệ VIEN ẹIEN Tệ TRệẽC TUYEN


12




S phỏt trin kớch thc trong vic mó húa thỡ da trờn 1 s lng ti a ca
nhng nỳt cú cựng nỳt cha v s nỳt vi cha bi ti mi mc ca h thng. Kt qu
ny thỡ khụng cn thit trong vic gia tng kớch thc mó i vi nhng lai c nh
ca h thng, chng hn nh h thng 22 nỳt trong hỡnh 3. Mó húa tnh to ra chiu di
ca mó l 12 bit, nhng ngc li mó húa top-down ch cn cú bit. Mt cu trỳc tng
THệ VIEN ẹIEN Tệ TRệẽC TUYEN

Xem chi tiết: Đồ án khai thác dữ liệu và ứng dụng