Saldr Tespitinde Makine renmesi

Tekniklerinin Performans Analizi

Performance Analysis Of Machine Learning
Techniques In Intrusion Detection
etin Kaya1, Oktay Yldz2, Sinan Ay1
1
Bilgisayar Mhendislii Blm, Kara Harp Okulu, Ankara, Trkiye
{ckaya, say}@kho.edu.tr
2
Bilgisayar Mhendislii Blm, Gazi niversitesi, Ankara, Trkiye
oyildiz@gazi.edu.tr

zeteBilgisayar ve internetin gnlk hayatmzn I. GR

vazgeilmez bir paras olmas ile beraber internet
zerindeki web uygulamalarnn says da hzla artmtr.
Web uygulamalarnn saysnn artmas ile internet zerinde
verilerin ifa edilmesine ynelik saldrlarn eidi ve says
da artmtr. Web zerinden yaplan saldrlar ve yetkisiz
eriim taleplerini tespit etmede saldr tespit sistemleri
baarl bir ekilde kullanlmaktadr. Yaplan almada,
daha etkin bir STS gelitirebilmek iin makine renmesi
tekniklerinden Bayes alar, destek vektr makinesi, yapay
sinir alar, k en yakn komu algoritmas ve karar
aalarnn STSlerdeki baars incelenmi, saldr tiplerine
gre snflandrclarn baars ve ilem sresi analiz
edilmitir. Deneysel almalarda KDDCup99 veriseti
kullanlmtr.
Anahtar Kelimeler Makine remesi; Saldr Tespit
Sistemi; KDDCup99Veriseti; Snflandrma .
AbstractWith computer and Internet to be an
indispensable part of our daily lives, the number of Web
applications on the Internet has increased rapidly. With the
increasing number of Web applications, attacks on the
disclosure of data on the internet and the number of varieties
has increased. Made over the Web attacks and to detect
unauthorized access requests, intrusion detection systems
have been used successfully. In this study, In order to
develop a more efficient STS, machine learning techniques,
Bayesian networks, support vector machines, neural
networks, k nearest neighbor algorithm and decision trees
examined the success of the STS, the success and process
time of the classifier according to the types of attacks have
been analyzed. Kddcup99 data sets were used in
experimental studies.
Keywords Machine Learning; Intrusion Detection
System; KDDCup99 Dataset; Classification.
Bilgisayar ve internetin bankaclk, alveri, finans, salk ve
elektronik devlet uygulamalar gibi birok alanda sklkla
kullanlmasna paralel olarak bilgisayar sistemlerine yaplan
saldrlar da her yl hzla artmaktadr. Bilgisayar sistemlerine
yaplan saldrlar alglayp sistem yneticisine haber vermek ve
saldrlar engellemek iin gvenlik duvar, antivirs yazlmlar
ve saldr tespit sistemleri gibi donanmsal ve yazlmsal tabanl
birok sistem kullanlmaktadr. Saldr tespit sistemleri (STS),
gvenlik duvar ve antivirs yazlmlar ile beraber kullanlabilen
ve bu sistemlerin alglamakta glk ektii saldrlar da analiz
edip alglayabilen yazlmsal veya donanmsal tabanl sistemlerdir
[1]. STSler saldr nleme sistemi deildirler. Bilgisayar
sistemlerindeki normal yada anormal davranlar ayrt edip
sistem yneticisine haber veren alarm mekanizmalardr.
Gvenlik sistemindeki son savunma mekanizmas gibi alrlar.
Saldr tespit sistemleri, anormallik tespiti ve imza tabanl
(ktye kullanm tespiti) olmak zere ikiye ayrlr [2]. Anormallik
tabanl STSde, ncelikle sistemdeki kullanclarn yada
uygulamalarn normal davranlar tanmlanr. Sisteme gelen yeni
istekler normal yada anormal olarak snflandrlr. mza tabanl
STSde ise bilinen tm saldrlara ait imza kaytlar tutulur ve
sisteme gelen yeni istekler bu imza kaytlar ile karlatrlarak
saldr yada normal davran olarak snflandrlr. Anormallik
tabanl STSlerin modellenmesi, normal sistem zellikleri
deikenlik gsterebileceinden olduka zordur. Sistemde, yanl
veya yetersiz modelleme yaplmas durumunda normal
davranlar saldr olarak kabul edilir ve yanl alarm verir [3].
STSlerin baars makine renmesi teknikleri kullanlarak
artrlabilmektedir. Literatrde farkl makine renmesi teknikleri
kullanlarak tasarlanm pek ok STS bulunmaktadr.
Yaplan bu almada, KDDCup99 veriseti kullanlarak
makine renmesi tekniklerinden Bayes snflama, k en yakn
komu algoritmas, yapay sinir alar, destek vektr makinesi ve
karar aalarnn saldr tespit sistemlerindeki baars incelenmi
ve sonular karlatrmal olarak sunulmutur.
Makalenin geri kalan ksm u ekilde zetlenebilir. 2. blm
ilgili almalar kapsamaktadr. 3. blmde test edilen
snflandrclar, kullanlan veri seti ve saldr tipleri sunulmutur.

978-1-5090-1679-2/16/$31.00 2016 IEEE

4. blmde gerekletirilen testler ve deerlendirilmesi ele
alnmtr. 5. blmde ise yaplan almann sonular tartlm lk admda aa oluturulur. kinci admda bu aa yapsndan
ve gelecek almalara yer verilmitir.
II. LGL ALIMALAR
Makine renmesi teknikleri saldr tespit sistemlerinde
baaryla uygulanmaktadr. Literatrde farkl makine renmesi
teknikleri kullanlarak gerekletirilmi ok sayda alma
bulunmaktadr. Dewan ve arkadalar [4] KDDCup99 verisetini
kullanarak Bayes snflama ile normal davranlar ayrt etmede
%99,82, DOS saldrlarnda %99,49, bilgi tarama saldrlarnda
%99,72, U2R saldrlarnda %99,47 ve R2L saldrlarnda %99,35
orannda bir baar elde etmilerdir. 2010 ylnda KDD CUP 99
veriseti kullanlarak destek vektr makinesi ile yaplan almada,
Yongli Zhang ve arkadalar [5] normal davranlar %99,32,
DOS saldrlarn %93,81, bilgi tarama saldrlarn %33,67, U2R
saldrlarn %39,31 ve R2L saldrlarn da %99,42 orannda
doru snflandrmay baarmlardr. YSA kullanlarak
gerekletirilen Saldr Tespit Sistemlerinde olduka baarl
sonular elde edilmitir. Guisong Liu ve arkadalar [6], KDD
Cup99 verisetini kullanarak HPCANN (Hierarchical Principal
Component Analysis Neural Networks) ile STS gelitirmiler,
normal davranlar %97,1, DOS saldrlarn %100, bilgi tarama
saldrlarn %100 ve R2L saldrlarn da %97,2 baar ile
snflandrmlardr.
Yukarda bahsedilen almalar saldr tespit sistemlerinin
baarsn artrmak iin gelitirilmi nemli almalardr. Bizim
almamzda ise gerekletirilen deneylerle saldr tespit
sistemlerinde kullanlan makine renmesi tekniklerinin
performans analizi yaplm ve saldr trlerine gre en baarl
snflandrclar belirlenmitir.
III. TEST EDLEN SINIFLANDIRICILAR VE VERSET
A. Snflandrclar
Yaplan almada saldr tespit sistemlerinde sklkla
kullanlan snflandrclardan Bayes alar, destek vektr
makinesi, karar aalar, k en yakn komu algoritmas ve yapay
sinir alar kullanlarak deneysel almalar yaplm ve
snflandrclarn STSlerdeki performans kyaslanm ve saldr
trlerine gre baars incelenmitir. Snflandrclardan ksaca Root-U2R): Ynetici haklarna sahip olmayp sadece sisteme
bahsedecek olursak.
1) Bayes Alar: Bayes alar istatistiksel veri madencilii
teknikleri iinde en sk kullanlan yntemlerden bir tanesidir.
Bayes teoremi, birden ok etkene sahip bir olayn
gereklemesinde hangi etkenin paynn yksek olduunun
hesaplanmas temeline dayanr. Bayes teoremi eitlik (1) ile ifade
edilir.
( / ) ( )
( / )=
( )
2) Destek Vektr Makinesi (DVM): DVM iki snftan
oluan verisetinde, k olarak iki snf oluturur. Girilen eitim
rnekleri, iki snftan birine dhil edilir. DVM eitim algoritmas,
yeni gelen bir rnei snflandrmak iin bir model kurar. DVM
modeli, uzayda noktalar gibi rneklerin temsilidir. Snflara
ayrlan rnekler, mmkn olduu kadar geni, net bir
hiperdzlem ile ayrlr. Yeni rnekler ayn uzaya dhil edilir ve
hangi snfa ait olduklar tahmin edilir.
3) Karar Aalar: Karar aalar, eitim ve testinin hzl
olmas, sonularnn daha kolay yorumlanabilmesi ve etkin
olmas sebebiyle snflandrmada sklkla kullanlan yntemlerden
biridir. Karar aalar ile snflandrma iki admda gerekletirilir.
snflandrma kurallar elde edilir [1].
4) Yapay Sinir Alar (YSA): YSA, biyolojik sinir
hcreleri rnek alnarak (nron) modellenen, gl bir
snflandrcdr. A oluturan her bir elemana yapay sinir
(nron) ad verilmektedir. Yapay sinir a her biri farkl
arlklara sahip, birbirine balanm birok yapay sinir
hcresinden olumaktadr. renme srecinde, seilen renme
yaklamna gre arlklar deitirilir. Arlk deiimi,
renmeyi ifade eder. YSA da arlk deiimi yoksa renme
ilemi de durmutur.
5) K En Yakn Komu Algoritmas: K en yakn komu
algoritmas denetimli renme algoritmasdr. Snflandrlacak
verilerin, eitim kmesindeki dier verilere benzerlikleri
hesaplanarak, en yakn olduu dnlen k verinin ortalamasyla
belirlenen eik deere gre snflara atamalar yaplr.
B. Kullanlan Veri Seti
Gerekletirilen testlerde Amerikan Hava Kuvvetleri (US Air
Force) network a dnlerek tasarlanm, benzetim veriseti
olan KDDCup99 veriseti kullanlmtr. KDD Cup99 verisetinin
tamam drt farkl tipte saldr tr ieren ve 41 nitelik ile temsil
edilen yaklak be milyon kayttan olumaktadr. Verisetindeki
saldr tipleri aadaki gibidir.
1) Hizmet Engelleme Saldrlar (Denial of Service-DOS):
TCP/IP protokolnn yapsndan kaynaklanan aklardan yada,
iletim sistemi veya uygulamada bulunan zayflklardan
faydalanarak, bir sunucu, servis veya an servis veremez hale
getirilmesidir [7].
2) Bilgi Tarama Saldrlar (PROBE): Bir sunucunun ya da
herhangi bir an geerli ip adreslerini, adaki bilgisayar
saysn, bilgisayardaki kullanc saysn ve kullanc bilgilerini,
aktif giri kaplarn (port) veya iletim sistemini renmek iin
yaplan saldrlardr [7].
3) Kullanc hesabn ynetici hesabna ykseltme (User to
eriim yetkisi olan bir kullancnn ynetici haklarn ele
geirmek amacyla yapt saldrlardr [7].
4) Ynetici hesabn ele geirerek yerel ada oturum ama
(Remote to Local-R2L): Sistemde kullanc haklarna sahip
olunmad halde, hedef adaki bilgisayarlarda misafir yada
baka bir kullanc olarak eriim yetkisi kazanmak iin yaplan
saldrlardr [7].
(1) IV. GEREKLETRLEN TESTLER VE
DEERLENDRLMES
A. Veri nileme
Gerekletirilen testlerde KDDcup99 veri setinden %1lik
ksm rastgele rnekleme yntemiyle seilmitir. Seilen veri
setinde normal olarak snflandrlan veriler ve DOS, PROBE,
U2R, R2L saldr verileri yer almaktadr. Kullanlan veriseti
iindeki rneklerin saysal dalm tablo 1deki gibidir.
 Elde edilen sonular 10-kat apraz geerleme ile elde
Saldr Tipi Saldr Tr Veri Says
edilmitir. Snflandrclarn saldrlar tespit etmedeki baars
Normal 9765 Tablo 2de gsterildii gibidir.
back 194 Karar
Bayes DVM KNN YSA
land 3 Aalar
DOS neptune 10626
Normal 0,992 0,993 0,998 0,998 0,999
(39044) pod 29
smurf 28096 DOS 0,991 0,996 0,999 0,999 0,999
teardrop 96
R2L 0,995 0,999 0,999 0,999 0,999
ipsweep 119
PROBE nmap 26 PROBE 0,993 0,992 0,999 0,999 0,999
(397) portsweep 94
satan 158 U2R 0,997 0,999 0,999 0,999 0,999
buffer_overflow 30
Tablo 2.Snflandrclarn snflandrma baars (Accuracy)
U2R loadmodule 9
(52) perl 3 Tablo 2de grld zere normal davranlar ayrt etmede,
rootkit 10 karar aalar dier snflandrclara gre daha baarldr. DOS
ftp_write 5 saldrlarnn tespitinde KNN, karar aalar ve YSA %100e
guess_passwd 8 yakn bir baarya ulamtr. PROBE saldrlarnn doru
phf 4 tespitinde KNN, YSA ve karar aalar daha iyi sonu
R2L multihop 7 vermektedir. R2L ve U2R saldrlarnda ise Bayes alar hari
(142) imap 12 dier snflandrclar daha baarl sonular vermitir.
spy 1
warezclient 101 Karar
Bayes DVM KNN YSA
Aalar
warezmaster 4
49400 Normal 0,969 0,997 0,997 0,997 0,997
Tablo 1. Saldr tiplerine gre verisetinin saysal dalm DOS 0,988 0,995 0,999 1 1
Veri setinde bulunan Protocol_type ve service zellikleri
saysal hale evrilmitir. Ayrca veri setinde bulunan class R2L 0,923 0,796 0,796 0,761 0,838
zelliindeki saldr isimleri de Normal=0, DOS=1, PROBE=2, PROBE 0,98 0,877 0,942 0,97 0,975
U2R=3, R2L=4 olarak saysallatrlmtr.
U2R 0,885 0,462 0,654 0,654 0,654
B. Modelleme
Makine renmesi tekniklerinin STSlerdeki performans Tablo 3.Snflandrclarn duyarllk (sensivity) sonular
analizi destek vektr makinesi, yapay sinir alar, karar aalar, Tablo3de snflandrclarn her bir saldr tr iin duyarllk
Bayes alar ve k en yakn komu algoritmas kullanlarak deerleri gsterilmitir. Duyarllk deerlerine baktmzda,
yaplmtr. Normal davranlar alglamada DVM, KNN, YSA ve Karar
C. Deerlendirme aalar daha iyi bir snflandrcdr. DOS saldrlarnda YSA ve
Karar aalar, R2L, PROBE ve U2R saldrlarnda ise Bayes
Bayes alar, DVM, KNN, YSA ve karar aalar ile alar daha iyi snflandrma ilemi yapmaktadrlar.
gerekletirilen testlerde snflandrma baars (Accuracy),
duyarllk (Sensitivity), seicilik (Specifity), kesinlik (Precision) Karar
ve F-lt (F-Measure) eitlik (2)-(6) ile hesaplanmtr. Bayes DVM KNN YSA
Aalar
+
= (2) Normal 0,998 0,993 0,998 0,999 0,999
+ + +
DOS 1 0,999 0,998 0,999 1
= (3) R2L 0,995 0,999 1 1 1
+
PROBE 0,993 1 1 1 1
= (4) U2R 0,998 1 1 1 1
+
Tablo 4.Snflandrclarn seicilik (specifity) sonular
= (5) Tablo 4 ile gsterilen seicilik deerlerine baktmzda
+
normal davranlarda Karar aalar, DOS saldrlarnda Bayes ve
karar aalar, R2L saldrlarnda KNN, YSA ve karar aalar,
_ = 2 (6) PROBE ve U2R saldrlarnda ise DVM, KNN, YSA ve karar
+ aalar seicilik ynnden daha iyi snflandrclardr.
 Karar deerlendirdiimizde u sonular kmtr. Tablo 2,4 ve 6ya
Bayes DVM KNN YSA
Aalar gre normal davranlar ayrt etmede en baarl teknik karar
aalar olurken, DOS saldrlarnn tespitinde karar aalar ve
Normal 0,99 0,971 0,991 0,994 0,996
YSA, U2R saldrlarnda KNN, R2L saldrlarnda KNN ve
DOS 1 1 1 1 1 Karar aalar, PROBE saldrlarnn tespitinde ise YSA ve karar
aalar dier snflandrclara gre daha iyi sonular vermitir.
R2L 0,366 0,807 0,911 0,878 0,875 STSlerde saldrlar ksa srede tespit edip mdahale
PROBE 0,532 0,967 0,987 0,985 0,982 edebilmek ok kritik bir durumdur. Bu nedenle snflandrclar
saldrlar snflandrrken harcad ilem zamanna gre de
U2R 0,282 0,96 0,791 0,723 0,708 deerlendirilmitir. Snflandrclar, ilem zamanna gre
deerlendirdiimizde Bayes alar ve karar aalarnn dier
Tablo 5.Snflandrclarn kesinlik (precision) sonular snflandrclara gre olduka hzl olduu grlmtr.
Tablo 5deki kesinlik deerlerine baktmzda normal
davranlarda Karar aalar, DOS saldrlarnda incelenen tm KAYNAKA
snflandrclar, PROBE ve R2L saldrlarnda KNN, U2R
saldrlarnda ise DVM kesinlik ynnden daha iyi [1] . Kaya ve O. Yldz, Makine renmesi Teknikleriyle
snflandrclardr. Saldr Tespiti: Karlatrmal Analiz, Marmara
niversitesi Fen Bilimleri Enstits Dergisi, no. 3, pp. 89-
Karar 104, 2014.
Bayes DVM KNN YSA
Aalar K. Scarfone ve P. Mell, Guide to Intrusion Detection and
[2]
Normal 0,98 0,983 0,994 0,995 0,997 Prevention Systems(IDPS), NIST Special Publication, pp.
80-94, 2007.
DOS 0,994 0,997 0,999 1 1
[3] S. Axelsson, Intrusion Detection Systems: A Survey and
R2L 0,524 0,801 0,85 0,815 0,856 Taxonomy, Technical Report, 2000.
PROBE 0,69 0,919 0,964 0,977 0,979 [4] D. Farid ve M. Z. Rahman, Anomaly Network Intrusion
Detection Based on Improved Self Adaptive Bayesian
U2R 0,428 0,623 0,716 0,687 0,68 Algorithm, Journal of computers, cilt 5, no. 1, pp. 23-31,
2010.
Tablo 6.Snflandrclarn F-lt (F-Measure) sonular
[5] Q. Pei-li ve C. Shi-feng, Intrusion Detection System
Kesinlik ve duyarllk ltlerini tek bana deerlendirmek Technique Based on BP-SVM, %1 iinde International
yanl sonulara gtrebileceinden bu iki lt beraber Conference on Management and Service Science,MASS 09,
deerlendirmek iin, her iki deerin harmonik ortalamas olan F- 2009.
ltne bakmak gerekir. Tablo 6dan F-ltne baktmzda
normal davranlarda Karar aalar, DOS saldrlarnda YSA ve [6] G. Liu, Z. Yi ve S. Yang, A Hierarchical Intrusion
Karar Aalar, PROBE ve R2L saldrlarnda karar aalar, Detection Model Based on the PCA Neural Networks,
U2R saldrlarnda ise KNN daha iyi snflandrclardr. Neurocomputing 70, p. 15611568, 2007.
Karar [7] K. Kendall, A Database of Computer Attacks for the
Bayes DVM KNN YSA Evaluation of Intrusion Detection Systems, MIT Department
Aalar
of Electrical Engineering and Computer Science, 1999.
1.44 20.87 0.03 8.47
Eitim 3.44 Sn
Sn Sn Sn Dk
16.56 2.53 19.09 1.28
Eitim+Test 29.16 Sn
Sn Dk Dk Saat
3.01 19.10 1.37
Toplam 18 Sn 33 Sn
Dk Dk Saat

Tablo 7.Snflandrclar iin CPU zaman

Snflandrclar ilem zamanna gre deerlendirdiimizde
Tablo 7de grld gibi en hzl snflandrc Bayes alar iken
onu srasyla Karar aalar, DVM, KNN ve YSA takip
etmektedir. YSA ile snflandrma ilemi dier snflandrclara
gre olduka fazla ilem zaman gerektirmektedir.

V. TARTIMA VE GELECEK ALIMALAR

Yaplan almada KDDCup99 veriseti kullanlarak, makine
renmesi tekniklerinden Bayes alar, destek vektr makinesi,
K en yakn komu algoritmas, yapay sinir alar ve karar
aalarnn, ilem zaman ve snflandrma baars ynnden
saldr tespit sistemlerindeki performans incelenmitir. Yaplan
testleri, doruluk, seicilik ve f-lt sonularna gre