در سال ۱۸۷۷ فرانسیس گالتون در مقاله‌ای که درباره بازگشت به میانگین منتشر کرده‌بود اظهار داشت که متوسط قد پسران دارای پدران قدبلند، کمتر از قد پدرانشان می‌باشد. به نحو مشابه متوسط قد پسران دارای پدران کوتاه‌قد نیز، بیشتر از قد پدرانشان گزارش شده‌است. به این ترتیب گالتون پدیده بازگشت به طرف میانگین را در داده‌هایش مورد تأکید قرارداد. برای گالتون رگرسیون مفهومی زیست‌شناختی داشت، اما کارهای او توسط کارل پیرسون برای مفاهیم آماری توسعه داده‌شد. گرچه گالتون برای تأکید بر پدیده ” بازگشت به سمت مقدار متوسط ” از تحلیل رگرسیون استفاده کرد، اما به هر حال امروزه واژه تحلیل رگرسیون جهت اشاره به مطالعات مربوط به روابط بین متغیرها به کار برده‌ می‌شود.

به ­طور کلی با ارائه­ یک مجموعه داده به سیستم به کمک الگوریتم ­های یادگیری ماشین می­توان ارتباط بین داده ­های مستقل و وابسته را استخراج کرد و مطابق آن پیش بینی صحیحی از رخداد­های آینده به­ دست آورد.

در مثال پیش بینی قیمت خودرو عملکرد بدین ترتیب است که ابتدا میزان تغییرات قیمت خودروی مورد نظر را در طول مدت مشخصی به سیستم ارائه می­ کنیم. این مرحله وظیفه­ الگوریتم ­های یادگیری ماشین است تا دست به کار شوند و ارتباط بین تاریخ و قیمت خودرو را تحلیل کنند. سپس نوبت به رگرسیون می­رسد تا با قدرت خود پیش بینی دقیقی از قیمت خودرو را در تاریخ مد نظر به کاربر ارائه کند.

فرض کنید قیمت پراید را در بازه­ زمانی دی ماه تا اردیبهشت ماه سه سال اخیر به سیستم ارائه می­کنیم. الگوریتم­ های یادگیری ماشین به تحلیل تغییرات قیمت در طول این تاریخ می­پردازند و درمی­ یابند که قیمت خودرو در بازه­ی 22 بهمن تا 15 فروردین ماه هر سال روند افزایشی داشته و به طور کلی با 30 درصد افزایش قیمت روبرو است. بنابراین، اگر در سال جاری قیمت خودرو را در 1 فروردین بخواهید این سیستم می­تواند به ­خوبی به شما نشان دهد که برای سفر­های نوروزی خود بهتر است برای خرید خودرو در اوایل بازه­ی زمانی (22بهمن) اقدام کنید.

هر مجموعه داده­ با توجه به ویژگی­های خود، نیاز به رگرسیون با شرایط سازگار با ویژگی ­های خود دارد تا بتواند به خوبی ارتباط بین داده­ های آموزشی را یادبگیرد و برمبنای آن پیش بینی صحیحی را ارائه کند.

انواع رگرسیون عبارتند از:

خطی: به دنبال یک رابطه­ خطی بین ویژگی­ های مشاهده شده و نتیجه­ دریافتی است.

غیرخطی: اگر ویژگی ­های داده­ مورد نظر با خروجی دریافتی رابطه­ کرنلی داشته باشد، بایستی از الگوریتم­ های غیرخطی جهت پیش بینی استفاده کرد.