پاورپوینت یادگیری درخت تصمیم دارای 43 اسلاید می باشد . جهت دانلود فایل پاورپوینت بر روی گزینه خرید انتهای متن کلیک نموده و پس از وارد نمودن آدرس ایمیل و کلیک بر روی گزینه خرید به درگاه بانک متصل شده و از کلیه کارت های بانکی عضو شتاب قادر به پرداخت و تهیه آن می باشید. بلافاصله پس از پرداخت لینک دانلود فایل پاورپوینت در اختیارتان قرار می گیرد و می توانید آن را دانلود نمایید . ضمناً همان لحظه لینک دانلود فایل نیز به آدرس ایمیل  شما ارسال می گردد.

همچنین در صورت تهیه فایل پاورپوینت مربوطه و مناسب نبودن فایل با اعلام شماره کارت بانکی و آدرس ایمیلی که در سایت ثبت نموده اید مبلغ پرداختی حداکثر ۲۴ ساعت بعد برگشت داده می شود.

بزرگوارانی که به صورت انلاین قادر به تهیه فایل پاورپوینت نمی باشند می توانند عنوان فایل پاورپوینت درخواستی را  به همراه آدرس ایمیل و شماره همراه خود را به ایمیل bankmaghalehir@gmail.com ارسال نمایند تا فایل پاورپوینت از طریق ایمیل یا تلگرام برای آنها ارسال گردد و پس از آن هزینه را کارت به کارت به حساب ما واریز نمایند.

فهرست مطالب

مقدمه

درخت تصمیم

مثالی از یک درخت تصمیم

کاربردها

ویژگی های درخت تصمیم

نحوه نمایش درخت تصمیم

الگوریتم یادگیری درخت تصمیم

ایده اصلی ID3

بایاس درخت تصمیم

الگوریتم ID3

نحوه ساختن درخت

معیار کمی اندازه گیری یک ویژگی کدام است؟

آنتروپی

آنتروپی برای دسته بندی های غیر بولی

بهره اطلاعات

دلایل بروز Overfitting

پرهیز از Overfitting

هرس کردن درخت به روش Reduced Error Pruning

سایر معیارهای انتخاب ویژگی برای درخت

معیار نسبت بهره یا gain ratio

ویژگی هائی با هزینه متفاوت

مقدمه

در یک مسئله یادگیری با دو جنبه مختلف روبرو هستیم:

نحوه نمایش فرضیه ها

روشی که برای یادگیری برمی گزینیم

در این فصل برای نمایش فرضیه ها از درخت تصمیم استفاده میکنیم و برای یادگرفتن این درخت از روش ID3 استفاده میکنیم.

درخت تصمیم

درختها درهوش مصنوعی برای نمایش مفاهیم مختلفی نظیر ساختار جملات، معادلات، حالات بازی، و غیره استفاده میشود.

یادگیری درخت تصمیم روشی برای تقریب توابع هدف با مقادیر گسسته است. این روش نسبت به نویز داده هامقاوم بوده وقادر است ترکیب فصلی گزاره های عطفی  را یاد بگیرد.

این روش جزو مشهورترین الگوریتمهای یادگیری استقرائی است که بصورت موفقیت آمیزی در کاربردهای مختلف بکار گرفته شده است.

نمایش درخت تصمیم

درخت تصمیم درختی است که در آن نمونه ها  را به نحوی دسته بندی میکند که از ریشه به سمت پائین رشد میکنند و در نهایت به گره های برگ میرسد:

هر گره داخلی یاغیر برگ (non leaf) با یک ویژگی (attribute) مشخص میشود.  این ویژگی سوالی را در رابطه با مثال ورودی مطرح میکند.

درهر گره داخلی به تعداد جوابهای ممکن با این سوال شاخه (branch) وجود دارد که هر یک با مقدار آن جواب مشخص میشوند.

برگهای این درخت با یک کلاس و یا یک دسته از جوابها مشخص میشوند.

علت نامگذاری آن با درخت تصمیم این است که این درخت فرایند تصمیم گیری برای تعیین دسته یک مثال ورودی را نشان میدهد.

کاربردها

درخت تصمیم در مسایلی کاربرد دارد که بتوان آنها را بصورتی مطرح نمود که پاسخ واحدی بصورت نام یک دسته یا کلاس ارائه دهند.

برای مثال میتوان درخت تصمیمی ساخت که به این سوال پاسخ دهد: بیماری مریض کدام است؟ و یا درختی ساخت که به این سوال پاسخ دهد: آیا مریض به هپاتیت مبتلاست؟

برای مسائلی مناسب است که مثالهای آموزشی بصورت زوج (مقدار-ویژگی) مشخص شده باشند.

تابع هدف دارای خروجی با مقادیر گسسته باشد. مثلا هر مثال با بله و خیر تعیین شود.

نیاز به توصیف گر فصلی (disjunctive) باشد.

ویژگی های درخت تصمیم

برای تقریب توابع گسسته بکار می رود (classification)

نسبت به نویز داده های ورودی مقاوم است

برای داده های با حجم بالا کاراست از این رو درData mining  استفاده می شود

می توان درخت را بصورت قوانین if-then نمایش داد که قابل فهم برای استفاده است

امکان ترکیب عطفی و فصلی فرضیه ها را می دهد

در مواردی که مثالهای آموزشی که فاقد همه ویژگیها هستند نیز قابل استفاده است

نحوه نمایش درخت تصمیم

ارتباط مستقیمی بین درخت

تصمیم ونمایش توابع منطقی

وجود دارد.درواقع هردرخت

تصمیم ترکیب فصلی گزاره های

عطفی است

مسیر از ریشه به برگ ترکیب عطفی (AND)از ویژگی ها را مشخص نموده و خوددرخت ترکیب فصلی(OR) این ترکیبات را میسازد.

الگوریتم یادگیری درخت تصمیم

اغلب الگوریتم های یادگیری درخت تصمیم بر پایه یک عمل جستجوی حریصانه (greedy) بالا به پائین (top-down) در فضای درختهای موجود عمل میکنند.

این الگوریتم پایه، Concept Learning System (CLS) نامیده می شود که در سال 1950 معرفی شده است.

این الگوریتم توسط Ross Quilan در سال 1986 بصورت کاملتری تحت عنوان  Inducing Decisition trees (ID3) مطرح گردید.

بعدها الگوریتم کاملتر دیگری تحت عنوان C4.5 ارائه گردید که برخی نقائص ID3 را برطرف میکند.

ایده اصلی ID3

این ایده به Ocuum’s Razor  مشهور است ومی گوید :

” دنیا ذاتا ساده است“

بنابراین از کوچکترین درخت تصمیم که با داده سازگار باشد انتظار می رود که مثالهای نادیده را به درستی دسته بندی کند.

بایاس درخت تصمیم

انتخاب درختهای کوچکتر

بایاس درخت تصمیم بر این ایده است که درختهای کوچکتر بر درختهای بزرگتر ترجیح داده شود.

الگوریتم ID3

در این الگوریتم درخت تصمیم از بالا به پائین ساخته میشود. این الگوریتم با این سوال شروع میشود: کدام ویژگی باید در ریشه درخت مورد آزمایش قرار گیرد؟

برای یافتن جواب از یک آزمون آماری استفاده میشود تا مشخص گردد هر کدام تا چه حد قادر است به تنهائی مثالهای آزمایشی را دسته بندی کند.

با انتخاب این ویژگی، برای هر یک از مقادیر ممکن آن یک شاخه ایجاد شده و مثالهای آموزشی بر اساس ویژگی هر شاخه مرتب میشوند. سپس عملیات فوق برای مثالهای قرار گرفته در هر شاخه تکرار میشوند تا بهترین ویژگی برای گره بعدی انتخاب شود.

این الگوریتم یک جستجوی حریصانه است که در آن انتخاب های قبلی هرگز مورد بازبینی قرار نمیگیرند.

نحوه ساختن درخت

برای ساختن درخت تصمیم از مثالهائی استفاده میشود که علامت گذاری (label) شده باشند.

درواقع ورودی سیستم  یادگیر مجموعه ای از مثالهاست  که هر مثال توسط  مجموعه ای از ویژگی ها بیان شده است، هرویژگی می تواند دارای مجموعه متناهی ازمقادیر مختلف باشد. برای هر مثال علاوه بر ویژگیها مقدار دسته بندی آن  نیز لازم می باشد.

در این فصل با درختهای تصمیمی آشنا خواهیم شد که برای دسته بندی بولی بکار می روند ولی درحالت کلی می توان یک درخت تصمیم ساخت که برای هر نوع دسته بندی بکار می رود.

کدام ویژگی طبقه بندی کننده بهتری است؟

در درخت تصمیم (ID3) از یک مقدار آماری به نام بهره اطلاعات  Information Gain  استفاده می شود تا اینکه مشخص کنیم که یک ویژگی تا چه مقدار قادر است مثالهای آموزشی را بر حسب دسته بندی آنها جدا کند.

آنتروپی 

پاورپوینت مربوطه به صورت فایل دنلودی می باشند و شما به محض پرداخت آنلاین مبلغ همان لحظه قادر به دریافت فایل خواهید بود. این عملیات کاملاً خودکار بوده و توسط سیستم انجام می پذیرد.

 جهت پرداخت مبلغ شما به درگاه پرداخت یکی از بانک ها منتقل خواهید شد، برای پرداخت آنلاین از درگاه بانک این بانک ها، حتماً نیاز نیست که شما شماره کارت همان بانک را داشته باشید و بلکه شما میتوانید از طریق همه کارت های عضو شبکه بانکی، مبلغ  را پرداخت نمایید.