الگوریتم درخت تصمیم ‍C4.5 با نرم افزار متلب

در این پست به توضیح الگوریتم درخت تصمیم C4.5 با نرم افزار متلب می‌پردازیم.

درخت تصمیم زیر مجموعه ای از تصمیم گیری های سلسله مراتبی است. الگوریتم های درخت تصمیم، از رهیافت های تصمیم گیری چند مرحله ای هستند. ایده اصلی در تصمیم گیری چند مرحله ای، این می باشد که تصمیم های سنگین و پیچیده به تصمیم های کوچک تر تبدیل شده و نهایتا بتوان با ترکیب این تصمیم های ساده، به تصمیم نهایی و مورد نظر، دست یافت.

  در طی سال های اخیر، به منظور ساخت درخت تصمیم، الگوریتم های بسیاری ارائه شده اند که از مهم ترین آنها می توان به SLIQ, SPRINT, CART, ID3, C4.5 اشاره کرد.

الگوریتم C4.5 بهینه شده الگوریتم ID3 می باشد که از قانون هرس بعدی بهره می برد و می تواند صفاتی را که داده های نویزی و مقدار و همچنین صفات گسسته ندارند، استفاده نماید. در C4.5 فرض بر این است که کل داده های آموزشی در داخل حافظه باشند.
به جهت ساخت درخت تصمیم، فرض می کنیم که مجموعه داده های آموزشی که دارای برچسب کلاس مربوطه و بردار ویژگی ها هستند، در دسترس می باشند. معیارهای گوناگونی برای تقسیم بندی گره ها در درخت تصمیم وجود دارد که از عمومی ترین آنها، معیار ضریب بهره اطلاعات است که در C4.5 به کار می رد.

درخت تصمیم بر پایه آنالیز داده های ورودی و برای یافتن یک ویژگی بر مبنای تصمیم گیری برای هر نود استفاده می شود. ویژگی های گوناگونی از داده در هر نود بررسی می شود و یک ویژگی که اگر انتخاب شود، باعث خواهد شد که بی نظمی (آنتروپی) کاهش یابد، گزینش می شود. مبنای فعالیت نیز بر این اساس ایجاد شده است.

دانلود کد الگوریتم درخت تصمیم C4.5