อัลกอริทมึ เคมีนคลัสเตอรริงแบบขนานที่มีประสิทธิภาพบนระบบคลัสเตอร

An Efficient Parallel K-means Clustering Algorithm on a Cluster System

นเรศ ผองสวัสดิ์กุล1 และ จีรพร วีระพันธุ2

สาขาวิชาวิทยาการคอมพิวเตอร คณะวิทยาศาสตร
สถาบันเทคโนโลยีพระจอมเกลาเจาคุณทหารลาดกระบัง กรุงเทพฯ 10520
E-Mail: 1s0067505@kmitl.ac.th และ 2ksjeerap@kmitl.ac.th

Abstract ประมวลผลแบบขนานบนระบบคลั สเตอรมาประยุกตใ ช

K-means clustering algorithm is applied to
classify or to group objects into K groups by
considering their attributes or features and can be
used for developing applications in various fileds.
However, the problem of those applications are time
consuming and out of memory because the data are
too large. In this research we present the efficient K-
means clustering algorithm by introducing the new
method for selecting initial cluster centers and
applying a parallel method to solve the problem. To
evaluate the performance of the proposed algorithm,
a number of experiments were performed on a cluster
system. The investigated results showed that the
response time was improved and the system can
support more data.
Keyword: parallel clustering algorithm
บทคัดยอ
เคมีน คลัส เตอร ริงเปน อั ลกอริทึ มสํา หรับ จั ดกลุ มวั ตถุ
ต า งๆ ตามจํ า นวนกลุ มที่ ต อ งการ โดยพิ จ ารณาจากคุ ณ
ลักษณะของวัตถุเหลานั้นและถูกนําไปพัฒนาแอพพลิเ คชัน
จํานวนมากในหลากหลายสาขา แตการนําไปประยุกตใช
ตางก็ประสบปญหาเดียวกันคือ เวลาและหนวยความจําที่
ตอ งใช ใ นการประมวลผลมากเกิ น ไป เนื่ อ งจากข อ มู ล มี
ขนาดใหญ งานวิจัยนี้เรานําเสนอวิธีการเพิ่มประสิทธิภาพ
ของอั ลกอริทึมเคมีน คลัสเตอร ริงโดยนํา เสนออัลกอริทึ ม
สํา หรั บ เลื อ กชุ ด ของจุ ด ศู น ย ก ลางเริ่ มต น และนํ า วิ ธี ก าร
ซึ่งผลการทดลองแสดงใหเห็นวาเวลาที่ตองใชสําหรับการ
ประมวลลดลง และสามารถรองรับ ป ญหาขนาดใหญ ไ ด
มากกวาเดิม
คําสําคัญ: อัลกอริทึมเคมีนคลัสเตอรริงแบบขนาน
1. บทนํา
อัล กอริ ทึ มเคมี น คลั ส เตอร ริ ง (K-means Clustering
Algorithm) เป น วิ ธี ก ารแบง กลุ มข อ มู ล ของวั ตถุ ทั้ งหมด
ออกตามจํานวนกลุมที่ตองการ K กลุม และคา K ตองนอย
กวาจํ านวนของวัตถุ ทั้งหมด (N) ซึ่งจํานวนกลุ มตอ งเป น
เลขจํา นวนเต็ มบวก และการจั ดกลุ มวั ตถุตองอาศั ยความ
เหมือนของวัตถุ โดยวัดจากระยะหางที่นอยที่สุดระหวา ง
วัตถุกับจุดศูนยกลางของกลุมทั้งหมด เพื่อจัดวัตถุเขาสูกลุม
ตางๆ ตามจํานวนกลุมที่ตองการ นิยมใชการวัดระยะแบบ
ยูคลิด (Euclidean distance) และจุดศูนยกลางเหลานั้นเปน
ตัวแทนของกลุมตางๆ สามารถคํานวณไดจากคาเฉลี่ยของ
วัตถุที่อยูภายในกลุมเดียวกัน ซึ่งวัตถุเหลานั้นมีคุณลักษณะ
เหมือนกัน สวนวัตถุที่อยูตางกลุมก็มีคุณลักษณะที่แตกตาง
กั น และอั ล กอริ ทึ มเคมี น แบบลํ า ดั บ เมื่ อ ใช ห นึ่ งหน ว ย
ประมวลผลต อ งใช เ วลาสํ า หรั บ การประมวลผลเท า กั บ
O(RKN) และมีขั้นตอนยอยในการทํางาน ดังนี้[8]

Proceedings of the Conference on Knowledge and Smart Technologies 2009 (July 24-25, 2009)

142

รูปที่ 1. อัลกอริทึมเคมีน
แอพพลิ เคชั น จํ า นวนมากนํา เอาอัล กอริ ทึ มเคมี น มา
ประยุกตใชในหลากหลายสาขา โดยเฉพาะแอพพลิเคชั น
ในการทํ าเหมือ งขอ มูล (Data Mining) ซึ่ งต างก็ ตองการ
อัล กอริ ทึ มที่ ป ระมวลผลได อ ย างรวดเร็ว กั บ ขอ มู ลขนาด
ใหญ ยกตัว อยางเชน ระบบสังเกตการณโลก (The Earth
Observing System: EOS) ขององคการนาซา (NASA)[6]
ระบบนี้ สามารถสรางขอ มูล จํานวนมหาศาล (หน วยเป น
เทเรไบต ตอ วั น ) ข อ มู ล เหล า นั้ น ถู ก นํ า มาใช ใ นการระบุ
ความผิดปกติที่ เกิดขึ้นบนโลกของเรา ซึ่งการจัดกลุมของ
ขอมูลสามารถทําไดโดยใชอัลกอริทึมคลัสเตอรริง
อยางไรก็ตาม เมื่อขอมูลมีขนาดใหญจะสงผลกระทบ
ต อ เวลา และหน ว ยความจํ า ที่ จํ า เป น ต อ งใช สํ า หรั บ การ
ประมวลผล ดั งนั้น แอพพลิ เคชันมากมายที่นํ า อัล กอริทึ ม
เคมีนแบบลําดับมาใชตองประสบกับปญหาเรื่องเวลาและ
หน ว ยความจํ า ที่ ตอ งใช ใ นการประมวลผลมากเกิ น ไป
เนื่ อ งจากข อ มู ล มี ข นาดใหญ และเพื่ อ ลดเวลาในการ
ประมวลผล ไดมีงานวิจัยเกี่ยวกับอัลกอริทึมสําหรับเลือก
ชุด ของจุ ด ศูน ย ก ลางเริ่มต น [1,5,10] ดังแสดงในรูป ที่ 1
(ขั้นตอนที่ 2) กอนการจัดกลุ มวัตถุดว ยอัลกอริ ทึมเคมี น
คลั ส เตอร ริ ง ซึ่ ง ช ว ยให ก ารจั ด กลุ ม วั ต ถุ ร วดเร็ ว ยิ่ ง ขึ้ น
เนื่องจากจํานวนรอบของการจัดกลุมวัตถุลดลง แตยังตอง
Proceedings of the Conference on Knowledge and Smart Technologies 2009 (July 24-25, 2009)
143
ประสบกับปญหาการมีหนวยความจํ าไมเ พียงพอสําหรั บ
การประมวลผล เนื่ อ งจากอาศั ย พื้ น ที่ ห น ว ยความจํ า บน
คอมพิวเตอรเพียงเครื่องเดียวเทานั้น และเร็วๆ นี้มีงานวิจัย
เกี่ ย วกั บ อั ล กอริ ทึ ม เคมี น คลั ส เตอร ริ ง แบบขนานบน
เครือขายของคอมพิวเตอร [3,4,6,8,11] ซึ่งชวยทําใหเวลาที่
จําเปน ตองใช สําหรับ การประมวลผลลดลง และสามารถ
ประมวลผลข อ มู ล ที่ มีข นาดใหญ มากกว า คอมพิ ว เตอร
เพี ย งเครื่อ งเดี ย วจะสามารถประมวลผลได เนื่อ งจากใช
คอมพิวเตอรหลายเครื่องในการประมวลผล
งานวิ จั ย นี้ นํ า เสนอวิ ธี ก ารเพิ่ ม ประสิ ท ธิ ภ าพของ
อั ล กอริ ทึ มเคมี น ด า นความเร็ ว ในการประมวลผล และ
สามารถประมวลผลข อ มู ล ที่ มี ข นาดใหญ ขึ้ น ได โดย
นําเสนออัล กอริทึ มสํา หรั บเลือกชุด ของจุด ศูน ยกลางเริ่ ม
ต น แบบใหม และนํ า วิ ธี ก ารประมวลผลแบบขนานมา
ประยุกตใชรวมกัน
หั ว ข อ ต อ ไปที่ จ ะกล า วถึ ง คื อ งานวิ จั ย ที่ เ กี่ ย วข อ ง
หัวข อที่ 3 งานวิจั ยที่นํ าเสนอ หั วขอ ที่ 4 การวิเคราะห
ประสิทธิภาพของอัลกอริทึม หัวขอที่ 5 การทดลองและ
หัวขอสุดทายคือ สรุปผล
2. งานวิจัยที่เกี่ยวของ
งานวิจั ยที่เกี่ย วของที่เราทํ าการศึ กษาแบงออกเปน 2
สวนคือ งานวิจัยเกี่ยวกับอัลกอริทึมสําหรับเลือกชุดของจุด
ศูนยกลางเริ่มตน [1,10] และงานวิจั ยเกี่ยวกับอัลกอริทึ ม
เคมี นคลั สเตอรริ งแบบขนาน [6,8,11] ซึ่ง ในงานวิ จัย [10]
แสดงวิ ธี ก ารของลอยด (Lloyd-Type Methods) เลื อ กจุ ด
ศูนยกลาง 2 จุด แรก โดยเลือกคูของวั ตถุ x, y  X ดว ย
ค า ความน า จะเป น ดั ง นี้ || x  y || ² ส ว นจุ ด ศู น ย ก ลาง
จุ ด ถั ด ไปเลื อ กจากวั ตถุ x ด ว ยค า ความน า จะเป น ดั ง นี้
min j{1,..., i} || x  c j || ² เมื่ อ X เป น ชุ ด ของข อ มู ล
ทั้งหมด สวน i คือ จํานวนของจุดศูนยกลางที่ถูกเลือกไว
แล ว และ c คื อ จุ ด ศู น ย ก ลางของกลุ ม และงานวิ จั ย [1]
เลื อ กจุ ด ศู น ย กลางจุ ด แรก โดยสุ มจากวั ตถุ ทั้ งหมด และ
เลื อ กจุ ด ศู น ย ก ลางจุ ด ถั ด ไปด ว ยค า ความน า จะเป น ดั ง นี้
D(x) 2 เมื่อ x  X และ D(x) คือ ระยะหางระหวางวัตถุ
กับจุดศูนยกลางของวัตถุนั้น ซึ่งถูกเรียกวา “D² Weighting”
อั ล กอริ ทึ ม สํ า หรั บ เลื อ กชุ ด ของจุ ด ศู น ย ก ลางเริ่ ม ต น มี
ความสํา คัญมากต อการจัด กลุ มวั ตถุ เนื่อ งจากอัล กอริทึ ม
เคมีนตองจัดกลุมวัตถุว นซ้ําไปเรื่อยๆ จนกวาวัตถุทั้งหมด
จะไมมีการเปลี่ยนกลุม ซึ่งตองใชเวลาในการประมวลผล
เทากับ O(RKN) [6] เมื่อ R คือ จํานวนรอบของการทํางาน
ซ้ํา สวน K คือ จํานวนกลุมที่ตองการ และ N คือ จํานวน
ของวั ต ถุ ทั้ ง หมด จากผลการทดลองพบว า อั ล กอริ ทึ ม
สํ า หรั บ เลื อ กชุ ด ของจุ ด ศู น ย ก ลางเริ่ มต น เหล า นี้ ชว ยลด
จํานวนรอบของการทํางานลง จึงสงผลใหเวลาที่จําเปนตอง
ใชในการประมวลผลลดลงตามไปดวย
สวนตอมาเปนงานวิจัยเกี่ยวกับอัลกอริทึมเคมีนคลั ส
เตอรริง แบบขนาน ซึ่ งในงานวิจัย[6] ออกแบบใหแตล ะ
โปรเซสเซอรจัดกลุมวัตถุที่อยูกลุมเดียวกันเทานั้น งานวิจัย
[11] ออกแบบใหแตละโปรเซสเซอรจั ดกลุมวัตถุของทุ ก
กลุม และกระบวนหลักทําหนาที่เลือกชุดของจุดศูนยกลาง
แลว กระจายไปยังทุกกระบวนการยอ ย ซึ่ งโปรเซสเซอร
หลัก รับ ผิด ชอบงานของทั้ ง 2 กระบวนการ และงานวิจั ย
[8]ไดพัฒนาใหแตละกระบวนการทําหนาที่เลือกชุดของจุด
ศูนยก ลางเอง ซึ่ งวิธีก ารประมวลผลแบบขนานหรื อแบบ
กระจายมีประโยชนเปนอยางมากในการเพิ่มประสิทธิภาพ
ของอั ล กอริ ทึ มเคมี น โดยทํ า การแบ ง ข อ มู ล ไปยั ง หลาย
โปรเซสเซอร เพื่อใหโปรเซสเซอรเหลานั้นชวยกันจัดกลุม
วั ตถุ พ ร อ มๆ กั น ทํ า ให เ วลาที่ จํ า เป น ต อ งใช สํ า หรั บ การ
ประมวลผลลดลง และสามารถรองรั บป ญหาขนาดใหญ
มากกวาคอมพิวเตอรเครื่องเดียวจะสามารถประมวลผลได
3. งานวิจัยที่นําเสนอ
3.1 อัลกอริทึมสําหรับเลือกชุดของจุดศูนยกลาง
เริ่มตน
แนวคิดของอัลกอริทึมที่นําเสนอสําหรับเลือกชุดของ
จุดศูนยกลางเริ่มตน แบบใหมคือ เลือกจุดศูนยกลาง 2 จุ ด
แรกใหเ ปน ขอบของข อมู ลทั้ งหมด ส ว นจุ ดศู นย กลางจุ ด
Proceedings of the Conference on Knowledge and Smart Technologies 2009 (July 24-25, 2009)
144
ถัดไปทําหนาที่แบงขอมูลออกทีละครึ่งหนึ่ง โดยเลือกจุ ด
ศู น ย ก ลางของกลุ ม ที ล ะจุ ด สลั บ กั บ การจั ด กลุ มวั ต ถุ ซึ่ ง
อั ล กอริ ทึ มนี้ ตอ งใช เ วลาสํ า หรั บ การประมวลผลเท า กั บ
O(KN) และมีขั้นตอนยอยในการทํางาน ดังนี้
1. เลือกวัตถุที่มีระยะหางนอยที่สุดจากพิกัดศูนย
2. กําหนดจุดศูนยกลางจากวัตถุที่ถูกเลือกไว
3. จั ด กลุ ม วั ต ถุ ทั้ ง หมดตามระยะห า งที่ น อ ยที่ สุ ด
ระหวางวัตถุกับจุดศูนยกลางที่ถูกกําหนดไว
4. เลือกวัตถุที่มีระยะหางมากที่สุดจากทุกกลุม
5. ทํางานซ้ําขั้นตอนที่ 2 จนกวาจุดศูนยกลางจะครบ
K จุดศูนยกลาง
6. คํานวณคาเฉลี่ยของแตละกลุมเพื่อกําหนดเปนชุด
ของจุดศูนยกลางเริ่มตน
3.2 อัลกอริทึมเคมีนแบบขนาน
แนวคิ ด ของอั ล กอริ ทึ ม เคมี น แบบขนานที่ นํ า เสนอ
คล า ยกั บ วิ ธี ก ารในงานวิ จั ย [8] คื อ ออกแบบให แ ต ล ะ
โปรเซสเซอรจัด กลุ มวั ตถุ ของทุก กลุ ม และกระบวนการ
หลัก (Master Process) ทําหนาที่เลือกจุดศูนยกลางเริ่มตน
แบบใหม ซึ่ ง พั ฒนาตามแบบจํ า ลองการเขี ย นโปรแกรม
เพี ย งโปรแกรมเดี ย ว และใช โ ปรแกรมนี้ ทํ า งานบนทุ ก
โปรเซสเซอรกับชุดขอมูลที่ตางกัน (SPMD) ดังนี้
Master Process
1. Read objects from file.
2. Randomly form equal subsets follow about number
of processors.
3. Select initial centers.
4. Send each subset to each slave process.
5. Broadcast initial centers to all slave processes.
6. Receive result sets from all slave processes.
Slave Process
1. Receive a subset P and set C from master process.
2. Assign internal objects into internal clusters and
count of objects moved.
3. Calculate sum and count of objects into internal
cluster.
4. Broadcast sum, count of objects and count of objects
moved to all slave processes.
5. Calculate new centers by using sum and counts.
6. Repeat step 2 if objects moved.
7. Send result set to master process.
4. การวิเคราะหประสิทธิภาพของอัลกอริทึม
การวิเคราะหเวลาที่เครื่องคอมพิวเตอรตองใชใ นการ
ประมวลผลอัล กอริทึม (Time Complexity) แบ งเปน 2
สว น คือ เวลาสํ า หรับ การสื่อ สารระหว า งโปรเซสเซอร
(Communication Time: Tcomm) และเวลาสํา หรับ การ
ประมวลผล (Computation Time: Tcomp) ซึ่งอัลกอริทึม
เคมีนแบบขนานที่นําเสนอมีเวลาสําหรับการสื่อสาร และ
เวลาสําหรับการประมวลผลทั้งหมด 10 ขั้นตอน ดังนี้
ขั้นตอน 1: กระบวนการหลั กเลื อกชุ ดของจุด ศูนย กลาง
เริ่มตน
Tcomp1 = KN
ขั้นตอน 2: กระบวนการหลัก สงกลุมขอ มูลไปยั งแตล ะ
กระบวนการยอย
Tcomm1 = nProc(Tstartup + N/nProc Tdata)
ขั้นตอน 3: กระบวนการหลักกระจายชุดของจุดศูนยกลาง
เริ่มตนไปยังทุกกระบวนการยอย
Tcomm2 = Tstartup + |C| Tdata
ขั้นตอน 4: กระบวนการยอยนําขอมูลของวัตถุและชุดของ
จุดศูนยกลางเริ่มตนมาจัดกลุมและนั บจํานวนวัตถุที่มีการ
เปลี่ยนกลุม
Tcomp2 = K|P|
ขั้นตอน 5: กระบวนการยอยคํานวณผลรวมและนับจํานวน
สมาชิกของแตละกลุม
Tcomp3 = |P|
ขั้นตอน 6: แตละกระบวนการยอยกระจายผลรวมไปยังทุก
กระบวนการยอย
Tcomm3 = Tstartup + |C| Tdata
ขั้นตอน 7: แตละกระบวนการยอยกระจายจํานวนสมาชิก
ไปยังทุกกระบวนการยอย
Tcomm4 = Tstartup + K Tdata
ขั้นตอน 8: แตละกระบวนการยอยกระจายจํานวนวัตถุที่มี
การเปลี่ยนกลุมไปยังทุกกระบวนการยอย
Tcomm5 = Tstartup + Tdata
ขั้นตอน 9: กระบวนการยอยนําผลรวม และจํานวนสมาชิก
ของแตละกลุมมาคํานวณหาคาเฉลี่ย
Tcomp4 = |C|
Proceedings of the Conference on Knowledge and Smart Technologies 2009 (July 24-25, 2009)
145
ขั้นตอน 10: แตละกระบวนการยอยสงผลลัพธการจัดกลุม
กลับไปยังกระบวนการหลัก
Tcomm6 = Tstartup + G Tdata
จากอั ล กอริ ทึ ม เคมี นแบบขนานพบว า กระบวนการ
ยอยมีการทํางานซ้ําตั้งแตขั้นตอนที่ 2 จนถึงขั้นตอนที่ 5 ซึ่ง
TCM เป นผลรวมของเวลาที่ใ ชสํ าหรับ การสื่ อสาร และ
TCP เป น ผลรวมของเวลาที่ ใ ช สํ า หรั บ การประมวลผล
ฉะนั้นเวลาที่เครื่องคอมพิวเตอรตองใชในการประมวลผล
สามารถคํานวณไดจากสมการ ดังนี้
Total Time = TCM + TCP
TCM = Tcomm1 + Tcomm2 + Tcomm3 + Tcomm4 +
Tcomm5 + Tcomm6
= nProc (Tstartup + N/nProc Tdata) + Tstartup +
|C| Tdata + R (Tstartup + |C| Tdata) +
R (Tstartup + K Tdata) + R (Tstartup + Tdata) +
Tstartup + G Tdata
= (nProc + 3R + 2) Tstartup +
(N + |C| + R (|C| + K +1) + G) Tdata
= O(N + R|C|)
TCP = Tcomp1 + Tcomp2 + Tcomp3 + Tcomp4
= KN + RK|P| + R|P| + R|C|
= KN + R (K|P| + |P| + |C|)
= O(KN + RK|P|)
Total Time = O(N + R|C|) + O(KN + RK|P|)
= O(KN + RK|P|)
การวิเคราะหหนวยความจําที่เครื่องจําเปนตองใชใน
การประมวลผลอัลกอริทึม (Space Complexity) เนื่องจาก
กระบวนการหลั ก ทํ า การแบ ง ข อ มู ล ทั้ ง หมดไปยั ง ทุ ก
กระบวนยอยแบบสุม ซึ่งแตละโปรเซสเซอรทํางานอยูบน
เครื่องคอมพิวเตอรตางเครื่องกัน และแตละเครื่องมีหนวย
ความจําเปนของตัวเอง ดังนั้นอัลกอริทึมเคมีนแบบขนาน
จึ งสามารถรองรั บ ข อ มู ล ที่ มีข นาดใหญ ขึ้ น และต อ งใช
หนวยความจําทั้งหมดเทากับ O(N) [6]
จากอั ล กอริ ทึ ม เคมี น แบบขนาน Tstartup เป น เวลา
สําหรับเตรีย มการเริ่มตน ในการสงขอ มูลและ Tdata เป น
เวลาสําหรับสงขอมูลไปยังโปรเซสเซอรหนวยอื่น ซึ่งเวลา
ทั้ง 2 เป นเวลาคงที่ขึ้น อยูกับ ระบบ [6] ส วน nProc คื อ
จํานวนของโปรเซสเซอรทั้งหมดที่ใชในการประมวลผล
เซต N คือ ขอมูลของวัตถุทั้งหมดที่ตองการจัดกลุม เซต P อัลกอริทึมที่นําเสนอ: เลือกจุดศูนยกลางจุดแรกจากวัตถุที่
คือ ขอมูลของวัตถุที่แตละโปรเซสเซอรรับผิดชอบ ดังนั้น อยู ใ กล กั บพิ กั ด ศู น ยมากที่ สุ ด และเลือ กจุ ด ศู นย ก ลางจุ ด
|P|  N/nProc เซต G คือ ผลลัพธของการจัดกลุมวัตถุ ใน ถัด ไปจากวั ตถุ ที่มีร ะยะหา งมากที่ สุด ระหว า งวั ตถุกั บ จุ ด
กระบวนการยอย และเซต C คือ ชุดของจุดศูนยกลาง ซึ่ง ศูนยกลางของวัตถุนั้นจนครบถวน แลวคํานวณคาเฉลี่ยเพื่อ
ประกอบดวยจุดศูนยกลางของทุกกลุม กําหนดเปนชุดของจุดศูนยกลางเริ่มตน
ตาราง 2. เวลาที่ตองใชสําหรับการประมวลผล
5. การทดลอง K Algo1 Algo2 Algo3 NewAlgo
10 0.0469 0.1094 0.0262 0.0078
การทดลองในงานวิ จั ย นี้ เ ป น การพั ฒ นาอั ล กอริ ทึ ม 20 0.0859 0.1680 0.0625 0.0352
30 0.1953 0.1445 0.1055 0.0859
สําหรับเลือกจุดศูนยกลางเริ่มตน และอัลกอริทึมเคมีนคลัส 40 0.2500 0.1953 0.1016 0.0664
50 0.4258 0.1836 0.1133 0.0977
เตอร ริ ง แบบขนานบนระบบคลั ส เตอร แ บบเนื้ อ เดี ย ว
(Homogeneous Cluster System) ซึ่งใช ระบบการสงผา น 0.45
Time Comparison
0.4

ขอความ (Message Passing Interface: MPI) เพื่อทําใหกลุม

Execution Time
0.35

(Second)
0.3 Algo1

ของคอมพิวเตอรสามารถติดตอสื่อสารและทํางานรวมกัน 0.25
0.2
Algo2
Algo3

ได โดยใชภาษาซีในการพัฒนาโปรแกรม สวนไฟลขอมูล

NewAlgo
0.15
0.1

ที่นํามาใชในการทดลองมีรายละเอียด ดังนี้ 0.05

0
K
ตาราง 1. ชุดขอมูลสําหรับการทดลอง 10 20 30 40 50

Data set Quantity Attributes Size: KB รูปที่ 2. เปรียบเทียบเวลาที่ตองใชสําหรับ

Cloud 1,024 10 106 การประมวลผล
Spam 4,601 58 686
Intrusion 494,019 35 63,539 ตาราง 3. จํานวนรอบของการทํางานซ้ํา
ส ว นแรกคื อ การทดลองวั ด ประสิ ท ธิ ภ าพของ K Algo1 Algo2 Algo3 NewAlgo
10 32 31 17 2
อัลกอริทึมเคมีนแบบลําดับ สําหรับหนึ่งหนวยประมวลผล 20 31 36 22 11
30 48 19 24 20
โดยพิจารณาจากเวลาที่ตองใชสําหรับการประมวลผล และ 40 46 23 17 11

จํา นวนรอบของการทํ า งานซ้ํ า ซึ่ งนํ า อั ลกอริ ทึ มสํ า หรั บ 50 65 16 15 13

เลือกชุดของจุดศูนยกลางเริ่มตน แบบตางๆ มาประยุกตใช จากผลการทดลองของอั ล กอริ ทึ มเคมี น แบบลํ า ดั บ

กับอัลกอริทึมเคมีนแบบลําดับ ดังนี้
อัลกอริทึม 1: เลือกชุดของจุดศูนยกลางเริ่มตน โดยเลือก
วัตถุที่อยูลําดับแรกจนถึงลําดับที่ K จากวัตถุทั้งหมด [8]
อัลกอริทึม 2: เลือกจุดศูนยกลาง 2 จุดแรก โดยเลือกคูของ
วัตถุที่มีระยะหางมากที่สุด และเลือกจุดศูนยกลางจุดถัดไป
จากวัตถุที่มรี ะยะหางมากที่สุดระหวางวัตถุกับจุดศูนยกลาง
ของวัตถุนั้น [10]
อัลกอริ ทึม 3: เลือกจุด ศูนยกลางจุด แรก โดยสุมจากวัตถุ
ทั้งหมด และเลือกจุดศูนยกลางจุดถัดไปจากวัตถุที่มีระยะ
หางมากที่สุดระหวางวัตถุกับจุดศูนยกลางของวัตถุนั้น [1]
แสดงใหเห็นวาอัลกอริทึมสําหรับเลือกชุดของจุดศูนยกลาง
เริ่มตนที่ นําเสนอ เมื่อถู กนํ าไปประยุกต ใช กับอั ลกอริทึ ม
เคมีนแลวทําใหประสิทธิภาพของอั ลกอริ ทึมเคมี นดีที่สุ ด
ซึ่งมี เพีย งอัล กอริทึม เคมี นแบบที่ 3 เทานั้ นที่ เวลาสํา หรั บ
การประมวลผล และจํ า นวนรอบของการทํ า งานซ้ํ า ถู ก
บันทึกเปนคาเฉลี่ย เนื่องจากจุดศูนยกลางจุดแรกถูกเลือก
โดยการสุมทําใหชุดของจุดศูนยกลางเริ่มตนที่ไดรับมาขาด
ความแน น อน ส ง ผลให เ วลาที่ ต อ งใช สํ า หรั บ กา ร
ประมวลผล และจํ า นวนรอบของการทํ า งานซ้ํ า อาจไม
เทากันในการประมวลผลแตละครั้ง

Proceedings of the Conference on Knowledge and Smart Technologies 2009 (July 24-25, 2009)

146
 ส ว นสุ ด ท า ยคื อ การทดลองวั ด ประสิ ท ธิ ภ าพของ 6. สรุปผล
อั ล กอริ ทึ ม เคมี น แบบขนาน โดยทํ า การเปรี ย บเที ย บ งานวิ จั ย นี้ นํ า เสนอวิ ธี ก ารเพิ่ ม ประสิ ท ธิ ภ าพของ
ประสิทธิภาพระหวางอัลกอริทึมเคมีนแบบขนานแบบเดิม อัลกอริทึมเคมีนคลัสเตอรริงใหดียิ่งขึ้นเพื่อตอบสนองกับ
ซึ่ ง ใช อั ล กอริ ทึ ม สํ า หรั บ เลื อ กชุ ด ของจุ ด ศู น ย ก ลางเริ่ ม ความตองการของแอพพลิเคชันในปจจุบนั ที่ตองทํางานกับ
ตนแบบแรก [8] กับอัลกอริทึมเคมีนแบบขนานแบบใหมที่ ขอมูลขนาดใหญ ซึ่งกอใหเกิดปญหาที่สําคัญมากคือ เวลา
นําเสนอ โดยใชหนวยประมวลผลจํานวน 2 หนวย ในการ และหนวยความจําที่ตองใชสําหรับประมวลผลมากเกินไป
ทดลองครั้งนี้ ดังนั้นเราจึงนําเสนออัลกอริทึมสําหรับเลือกชุดของจุดศูนย
ตาราง 4. ผลการเปรียบเทียบประสิทธิภาพ
กลางเริ่ ม ต น แบบใหม และนํ า วิ ธี ก ารประมวลผลแบบ
อัลกอริทึมเคมีนแบบขนาน
ParK-means NewK-means
ขนานมาประยุก ตใช รว มกัน จากผลการทดลองแสดงให
K

10
Itera
32
Time
0.0313
Itera
2
Time
0.0039
เห็ น วา เวลาที่ตอ งใช สํ าหรั บการประมวลผลลดลง และ
20 31 0.0547 11 0.0234 สามารถรองรับปญหาที่มีขนาดใหญมากกวาคอมพิวเตอร
30 48 0.1211 20 0.0508
40 46 0.1406 11 0.0430 เพียงเครื่องเดียวจะสามารถประมวลผลได
50 65 0.2383 13 0.0586

0.3
Time Comparison
7. เอกสารอางอิง
0.25
[1] D. Arthur, and S. Vassilvitskii, “k-means++: The
Execution Time

Advantages of Careful Seeding”, SODA, 2007.

(Second)

0.2
0.15
0.1
0.05
0 K
10 20 30 40 50
รูปที่ 3. ผลการเปรียบเทียบประสิทธิภาพ
อัลกอริทึมเคมีนแบบขนาน
จากผลการทดลองของอั ล กอริ ทึ มเคมี น แบบขนาน
แสดงให เ ห็ น ว า อั ล กอริ ทึ มเคมี น แบบขนานแบบใหม มี
ประสิ ท ธิ ภ าพสู ง กว า แบบเดิ ม เนื่ อ งจากนํ า อั ล กอริ ทึ ม
สํ า หรั บ เลื อ กชุ ด ของจุ ด ศู น ย ก ลางเริ่ ม ต น ที่ นํ า เสนอมา
ประยุ ก ตใ ช โดยอั ลกอริ ทึ มเคมีน แบบขนานจะมี จํ านวน
รอบของการทํางานซ้ํา เทา กับอัล กอริทึ มเคมี นแบบลําดั บ
เสมอ เมื่อ จํา นวนกลุ มที่ ตองการเท ากั น (K) ถึ งแม วา การ
เลือกชุดของจุดศูนยกลางเริ่มตนเปนความรับผิดชอบของ
กระบวนการหลัก (Master Process) เทานั้น แตเวลาที่ใชใน
การประมวลผลสวนใหญจะอยูในกระบวนการยอย (Slave
Process) ซึ่งเปนผลเนื่องมาจากวิธีการของอัลกอริทึมเคมีน
คลัสเตอรริง และจํานวนรอบที่ใช ดังนั้นวิธีการที่นําเสนอ
ในงานวิจัยนี้ชวยทํา ใหอัลกอริทึมเคมีนคลั สเตอร ริงแบบ
ขนานมีประสิทธิภาพสูงยิ่งขึ้น
ParK-means
NewK-means [2] D. Arthur and S. Vassilvitskii, “K-means++ test
code”,http://www.stanford.edu/_darthur/kMeanspp
Test.zip.
[3] H. BISGIN, “Parallel Clustering Algorithm With
Application to Climatology”, Computational Science
and Engineering, December 2007.
[4] M. N. Joshi, “Parallel K - Means Algorithm on
Distributed Memory Multiprocessors”, Computer
Science Department University of Minnesota, Twin
Cities, spring 2003.
[5] C. H. Jun, J. S. Lee, and H. S. Park, “A K-means-like
Algorithm for K-medoids Clustering and Its
Performance”, Proceedings of the 36th CIE
Conference on Computers & Industrial Engineering,
pp.1222-1231, Taipei, Taiwan, Jun. 20-23, 2006.
[6] S. Kantabutra, “Parallel K-Means Clustering
Algorithm on NOW”, September 1999.
[7] S. Kantabutra, P. Kornpitak, and C. Naramittakapong ,
“Pipelined K-means Algorithm on COWs”, ISCIT ,
September 03-05, 2003, Hatyai, Songkhla, Thailand.
[8] W. Liao, “The Software Package of Parallel K-
means”, http://www.ece.northwestern.edu/~wkliao/
Kmeans/index.html, 2005.
[9] J. Mao, L. Ou, Z. Xiong, and Y. Zhang, “The Study of
Parallel K-Means Algorithm”, Proceedings of the 6th
World Congress on Intelligent Control and
Automation, June 21 - 23, 2006, Dalian, China.
[10] R. Ostrovsky, Y. Rabani, L. J. Schulman, and
C. Swamy, The Effectiveness of Lloyd-Type Methods
for the k-Means Problem”, IEEE, 2006.
[11] E. SÜLÜN, “Improvements in K-means Algorithm to
Execute on Large Amounts of Data”,
http://library.iyte.edu.tr/tezler/master/bilgisayaryaziliz/
T000441.pdf, October 2004.

Proceedings of the Conference on Knowledge and Smart Technologies 2009 (July 24-25, 2009)

147