You are on page 1of 28

CÂY QUYẾT ðỊNH (ID3)

HỌC QUI NẠP (ILA)


TRÍ TUỆ NHÂN TẠO
Nội dung trình bày
2

 Cây quyết ñịnh


 Học cây quyết ñịnh – Thuật toán ID3
 Biểu diễn tri thức bằng luật
 Rút luật từ cây quyết ñịnh
 Thuật toán học quy nạp
Cây quyết ñịnh
3

Cây quyết ñịnh biểu diễn:


• Mỗi nút trong kiểm tra
một thuộc tính
• Mỗi nhánh tương ứng
với giá trị thuộc tính
• Mỗi nút lá ñược gán một
phân lớp

Nguyên lý Occam: những


cây ñơn giản là những
cây quyết ñịnh tốt hơn
Ví dụ Huấn luyện
7
Ví dụ (tt)
9

Outlook Temparature

Rain Sunny Hot Cool


Overcast Mild
3+,2- 4+,0- 2+,3- 2+,2- 4+,2- 3+,1-
H = 0.971 H=0 H = 0.971 H=1 H = 0.918 H = 0.811

AE = 5/14*.971 + 4/14*0 + 5/14*.971 AE = 4/14*1 + 6/14*.918 + 4/14*.811


= 0.694 = 0.911
Thuật toán học ID3
6

ðược phát triển ñồng thời bởi Quinlan trong AI và Breiman, Friedman,
Olsen và Stone trong thống kê

Lặp:
1. Chọn A  thuộc tính quyết ñịnh “tốt nhất” cho nút kế tiếp
2. Gán A là thuộc tính quyết ñịnh cho nút
3. Với mỗi giá trị của A, tạo nhánh con mới của nút
4. Phân loại các mẫu huấn luyện cho các nút lá
5. Nếu các mẫu huấn luyện ñược phân loại hoàn toàn thì NGƯNG,
Ngược lại, lặp với các nút lá mới.

Thuộc tính tốt nhất sẽ làm tối thiểu hoá entropy trung bình của dữ liệu
trong các nút con
Ví dụ (tt)
13
Outlook

Rain Sunny
Overcast

3+,2- Yes 2+,3-

AE (Sunny, Temperature) = 2/5*0 + 2/5*1 + 1/5*0= 0.4


AE (Sunny, Humidity) = 2/5*0 + 3/5*0 = 0
AE (Sunny, Wind) = 2/5*1 + 3/5*.918 = 0.951
Ví dụ (tt)
14
Outlook

Rain Sunny
Overcast
Wind Yes Humidity

Weak Strong Normal High

Yes Yes No
No
Ví dụ (tt)
9

Outlook Temparature

Rain Sunny Hot Cool


Overcast Mild
3+,2- 4+,0- 2+,3- 2+,2- 4+,2- 3+,1-
H = 0.971 H=0 H = 0.971 H=1 H = 0.918 H = 0.811

AE = 5/14*.971 + 4/14*0 + 5/14*.971 AE = 4/14*1 + 6/14*.918 + 4/14*.811


= 0.694 = 0.911
Ví dụ ILA
18

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


1 Vừa Xanh dương Hộp Mua
2 Nhỏ ðỏ Nón Không mua
3 Nhỏ ðỏ Cầu Mua
4 Lớn ðỏ Nón Không mua
5 Lớn Xanh lá Trụ Mua
6 Lớn ðỏ Trụ Không mua
7 Lớn Xanh lá Cầu Mua
Ví dụ (tt)
11
Outlook

Rain Sunny
Overcast

3+,2- Yes 2+,3-

Chọn thuộc tính gì tiếp theo?


Tiếp tục thực hiện việc phân chia
Ví dụ (tt)
12
Outlook

Rain Sunny
Overcast

3+,2- Yes 2+,3-

AE (Rain, Temperature) = 2/5*1 + 3/5*.918 = 0.951


AE (Rain, Humidity) = 2/5*1 + 3/5*.918 = 0.951
AE (Rain, Wind) = 2/5*0 + 3/5*0 = 0
Ví dụ ILA (tt)
24

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


1 Vừa Xanh dương Hộp Mua
3 Nhỏ ðỏ Cầu Mua
5 Lớn Xanh lá Trụ Mua
7 Lớn Xanh lá Cầu Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


2 Nhỏ ðỏ Nón Không mua
4 Lớn ðỏ Nón Không mua
6 Lớn ðỏ Trụ Không mua
IF Hình dáng = Nón THEN Quyết ñịnh = Không mua
Ví dụ (tt)
14
Outlook

Rain Sunny
Overcast
Wind Yes Humidity

Weak Strong Normal High

Yes Yes No
No
Tri thức dạng luật
15

 Tri thức ñược biểu diễn dưới dạng luật:


IF ðiều kiện 1 ^ ðiều kiện 2… THEN Kết luận

 Dễ hiểu với con người, ñược sử dụng chủ yếu trong các
hệ chuyên gia

 Rút luật từ cây quyết ñịnh: ñi từ nút gốc ñến nút lá, lấy
các phép thử làm tiền ñề và phân loại của nút lá làm kết
quả
Rút luật từ cây quyết ñịnh
16

 IF Outlook = Overcast THEN


Yes
Outlook
 IF Outlook = Rain AND
Rain Sunny Wind=Weak THEN Yes
Overcast
Wind Humidity
 IF Outlook = Rain AND
Yes
Wind=Strong THEN No

Weak Strong Normal High  IF Outlook = Sunny AND


Humidity=Normal THEN Yes
Yes Yes No
No  IF Outlook = Sunny AND
Humidity=High THEN No
Thuật giải Học Quy nạp (ILA)
17

Dùng ñể rút các luật phân lớp từ tập mẫu dữ liệu:


1. Chia tập mẫu thành các tập con ứng với thuộc tính quyết ñịnh
2. Với mỗi bảng con
3. Với mỗi tổ hợp thuộc tính có thể (bắt ñầu với số lượng = 1)
4. Tìm các giá trị chỉ xuất hiện ở bảng con này mà không xuất hiện
ở các bảng con khác
5. (Nếu có nhiều tổ hợp thì chọn tổ hợp có số lượng mẫu tin nhiều
nhất)
6. Sử dụng tổ hợp thuộc tính, giá trị vừa tìm ñược ñể tạo luật
7. ðánh dấu các dòng ñã xét
8. Nếu còn dòng chưa xét, lặp lại bước 3
9. Lặp lại bước 2 với các bảng con
Ví dụ ILA
18

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


1 Vừa Xanh dương Hộp Mua
2 Nhỏ ðỏ Nón Không mua
3 Nhỏ ðỏ Cầu Mua
4 Lớn ðỏ Nón Không mua
5 Lớn Xanh lá Trụ Mua
6 Lớn ðỏ Trụ Không mua
7 Lớn Xanh lá Cầu Mua
Ví dụ ILA (tt)
19

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


1 Vừa Xanh dương Hộp Mua
3 Nhỏ ðỏ Cầu Mua
5 Lớn Xanh lá Trụ Mua
7 Lớn Xanh lá Cầu Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


2 Nhỏ ðỏ Nón Không mua
4 Lớn ðỏ Nón Không mua
6 Lớn ðỏ Trụ Không mua
Ví dụ ILA (tt)
20

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


1 Vừa Xanh dương Hộp Mua
3 Nhỏ ðỏ Cầu Mua
5 Lớn Xanh lá Trụ Mua
7 Lớn Xanh lá Cầu Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


2 Nhỏ Chọn thuộc
ðỏ tính Màu sắc Nón Không mua
với giá trị Xanh lá
4 Lớn ðỏ Nón Không mua
6 Lớn ðỏ Trụ Không mua
Ví dụ ILA (tt)
21

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


1 Vừa Xanh dương Hộp Mua
3 Nhỏ ðỏ Cầu Mua

IF Màu sắc = Xanh lá THEN Quyết ñịnh = Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


2 Nhỏ ðỏ Nón Không mua
4 Lớn ðỏ Nón Không mua
6 Lớn ðỏ Trụ Không mua
Ví dụ ILA (tt)
22

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


3 Nhỏ ðỏ Cầu Mua

IF Màu sắc = Xanh lá THEN Quyết ñịnh = Mua


IF Kích cỡ = Vừa THEN Quyết ñịnh = Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


2 Nhỏ ðỏ Nón Không mua
4 Lớn ðỏ Nón Không mua
6 Lớn ðỏ Trụ Không mua
Ví dụ ILA (tt)
23

IF Màu sắc = Xanh lá THEN Quyết ñịnh = Mua


IF Kích cỡ = Vừa THEN Quyết ñịnh = Mua
IF Hình dáng= Cầu THEN Quyết ñịnh = Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


2 Nhỏ ðỏ Nón Không mua
4 Lớn ðỏ Nón Không mua
6 Lớn ðỏ Trụ Không mua
Ví dụ ILA (tt)
24

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


1 Vừa Xanh dương Hộp Mua
3 Nhỏ ðỏ Cầu Mua
5 Lớn Xanh lá Trụ Mua
7 Lớn Xanh lá Cầu Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


2 Nhỏ ðỏ Nón Không mua
4 Lớn ðỏ Nón Không mua
6 Lớn ðỏ Trụ Không mua
IF Hình dáng = Nón THEN Quyết ñịnh = Không mua
Ví dụ ILA (tt)
25

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


1 Vừa Xanh dương Hộp Mua
3 Nhỏ ðỏ Cầu Mua
5 Lớn Xanh lá Trụ Mua
7 Lớn Xanh lá Cầu Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


6 Lớn ðỏ Trụ Không mua

IF Hình dáng = Nón THEN Quyết ñịnh = Không mua


Ví dụ ILA (tt)
26

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


1 Vừa Xanh dương Hộp Mua
3 Nhỏ ðỏ Cầu Mua
5 Lớn Xanh lá Trụ Mua
7 Lớn Xanh lá Cầu Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh


6 Lớn ðỏ Trụ Không mua

IF Hình dáng = Nón THEN Quyết ñịnh = Không mua


IF Kích cỡ = Lớn AND Màu sắc = ðỏ THEN Quyết ñịnh = Không mua
ðiều cần nắm
27

 Nắm ñược khái niệm cây quyết ñịnh


 Hiểu và vận dụng thuật toán ID3
 Hiểu và vận dụng thuật toán học quy nạp
Thắc mắc
28