Регресионен модел

Шаблон:Експерт Шаблон:Обработка Регресионен модел е понятие от регресионния анализ.

Терминът „регресия“ е въведен от английския антрополог Франсис Галтон. С него той нарича тенденцията родителите с по-висок ръст от нормалния да имат деца с по-близък ръст до средния. Този факт Галтон нарекъл „regression to mediocrity“. От съвременна гледна точка това название е неподходящо , имайки предвид сегашния смисъл на регресионния модел, а именно – описание на връзката между множество от входни и друго множество от изходни величини , . Понякога входовете се наричат въздействия, независими или описателни променливи/характеристики, атрибути, а ако моделът е статичен, също се наричат фактори, регресори, предиктори и др. Изходите се наричат още: реакции, зависими или описвани променливи/характеристики, признаци и др. Въпреки че някои названия са взаимозаменяеми, важно е да се прави разлика между тях. Например фактори, регресори и предиктори в динамичен регресионен модел обикновено са изместени във времето входно-изходни величини (или техни функции). Затова е желателно, когато се набляга на зависимостта на изхода от множество променливи, те да се наричат фактори, регресори или предиктори. Но когато става дума за външни сигнали, влияещи на описваната система и отчетени от модела, те да се наричат входни въздействия или независими променливи.

В някои източници се прави разлика между фактор и регресор , като под регресор се има предвид променлива, която участва в модела, а фактор е реална, физическа величина. В този смисъл, ако даден фактор се трансформира, например с цел получаване на линеен по параметри модел, то трансформираната величина е регресор, а първоначалната – фактор. Естествено, ако даден фактор участва директно в модела, той е и регресор. По-долу не се прави разлика между двете понятия, защото в изложението се акцентира на типа на модела, а не на пътя, по който е получен. Още повече че често в литературата векторът на регресорите се означава с буквата $\phi$ (от фактори) .

Общ вид на регресионен модел

По-долу индексът на текущото наблюдение е означен с $k$. Ако данните са функция на времето, то наблюдението в предишния дискретен момент е с индекс $k-1$. Когато се търси статичен модел (който не отразява динамика в поведението на обекта), подредбата на данните във времето не е определяща. Например в набор, съдържащ еднократни (не периодично отчитани) данни за пациенти, наблюденията може да са подредени не по времето на провеждане на медицинските изследвания, а по азбучен ред според имената на пациентите. В този случай индексът $k$ отговаря на текущ пациент според въведената подредба, а не на момент от времето.

В общ вид регресионният модел може да се запише като

${\hat{y}}_k=f({\phi }_k,\theta ),$

където ${\hat{y}}_k$ е изходът на модела, $\theta$ и ${\phi }_k$ са съответно вектор на параметрите и вектор на регресорите, с помощта на които се описва реакцията на обекта $y_k$ в текущия момент (или отговарящ на $k$-тото наблюдение, при статична система). За разлика от случая, когато входът и изходът са скаларни величини, където броят на факторите и параметрите е еднакъв, при многомерните системи (с повече входове и/или изходи) обикновено броят им е различен. Ако случаят е такъв, броят на факторите е означен с $z$, а броят на параметрите – с $p$.

Често регресионните модели се представят като изходът им ${\hat{y}}_k$ се замени с измерения изход на системата , т.е.

$y_k=f({\phi }_k,\theta )+e_k.$

С други думи зависимостта между изхода на системата и на модела е $y_k={\hat{y}}_k+e_k$ като $e_k$ е обобщен сигнал, който отразява шума от измерване, смущенията от околната среда и несъвпадението между регресионната функция $f(.)$ и реалната връзка между факторите и изхода. За опростяване на употребата на горното представяне е прието $e_k$ да участва адитивно в описанието.

Линеен по параметри модел в общ вид

В много случаи с подходящи трансформации на факторите и/или на изхода регресионните модели може да се представят в линеен по параметри вид. Това позволява прилагането на линейната теория, която е добре развита и предлага унифицирани решения, както за изграждане на модела, така и за неговото използване. В някои източници , под „линеен“ се разбира модел, изходът на който е линейна функция на параметрите, докато в , и др., ако моделът е линеен, то изходът му зависи линейно от входа. По тази причина, ако изходът на модел е линеен по параметри, в статията това изрично се указва.

По-долу се използват съкращенията:

• MIMO (Multiple Input Multiple Output) – за модел с много входове и много изходи (многомерен модел)
• MISO (Multiple Input Single Output) – за модел с много входове и един изход (многомерен модел)
• SISO (Single Input Single Output) – за модел с един вход и един изход (едномерен модел)

MIMO модел

В едномерния случай линейният по параметри (SISO) модел може да се запише така:

$y_k={\phi }_k^T\theta +e_k.$

Тук $\theta$ и ${\phi }_k$ са вектори с еднаква размерност, а $y_k$ и $e_k$ са скаларни величини.

Когато системата е с повече изходи, т.е. $y_k\in {ℛ}^{\ell }$, тъй като отдясно на равенството се намира вектор, то и резултатът от произведението на факторите и параметрите също трябва да е вектор, отговарящ на изхода ${\hat{y}}_k$ на многомерния модел. Това означава, че горното умножение трябва да се извърши между матрица и вектор, както е показано на фигурата. Така възникват две групи представяния на линейните по параметри MIMO регресионни модели записани в общ вид , . При едното параметрите се подреждат във вектор, а факторите – в матрица с подходяща структура, докато при другото представяне факторите са във вектор, а параметрите в матрица. Първият запис на MIMO модел в общ вид е

$y_k={\varphi }_k\theta +e_k,$

където векторът $\theta \in {ℛ}^p$ се състои от параметрите на модела, а матрицата ${\varphi }_k\in {ℛ}^{\ell \times p}$ съдържа стойностите на регресорите, описващи изхода на системата в текущия момент. Другото представяне е

$y_k={\mathrm{\Theta }}^T{\phi }_k+e_k,$

при което параметрите са подредени в матрицата $\mathrm{\Theta }\in {ℛ}^{z\times \ell }$, а векторът ${\phi }_k\in {ℛ}^z$ съдържа стойностите на регресорите , , , , . На пръв поглед няма значение как се формира ${\hat{y}}_k$ – и в двата случая изходът е линейна функция на параметрите и на факторите. Въпреки това горните две представяния са свързани с различни особености, които са важни още на ниво уточняване на структурата на модела.

Възможни структури на матриците и векторите в общите записи, както и предимствата и недостатъците на представянията са разгледани подробно в .

MISO и SISO модели

Когато моделът е с един изход, регресорите и параметрите е удобно да се групират във вектори и в този случай общото представяне е

$y_k={\phi }_k^T\theta +e_k.$

То не се отличава от вече показаното описание на SISO моделите. Съответно изходът, изчислен от модела, е

${\hat{y}}_k={\phi }_k^T\theta .$

При наличие на повече входове, двата вектора се разширяват с необходимия брой параметри и регресори.

Представяне на нелинейни модели в линеен по параметри вид

Представянето, дори и понякога изкуствено, на различни модели в общ вид дава възможност да се извеждат общи оценители на параметри, общи методи за избор на структурата ми и др. Освен това съществен момент е, че параметрите и регресорите във вида, представен на фиурата, са в отделни матрици и вектори, а това улеснява извеждането на съответните алгоритми.

Нелинейни по параметри модели

Под нелинейни модели се има предвид такива, които не може да се представят в линеен по параметри вид. Също така, в някои източници , когато се набляга на връзката между входните и изходните величини, ако тя е нелинейна, такъв модел също се нарича нелинеен, независимо дали изходът е линейна функция на параметрите. Например нека изходът на модела е

${\hat{y}}_k={\theta }_1{y}_{k-1}^2+{\theta }_2\ln u_{1,k-1}+{\theta }_3{e}^{u_{2,k-1}}.$

Той може да се запише като

${\hat{y}}_k={\phi }_k^T\theta ,$

където $\theta ={\left[{\theta }_1{\theta }_2{\theta }_3\right]}^T$, ${\phi }_k={[y_{k-1}^2\ln u_{1,k-1}{e}^{u_{2,k-1}}]}^T$. Както се вижда, нелинейният модел (като връзка между входа и изхода) е линеен по параметри, а за привеждането му в този общ вид към първоначалните фактори се прилагат нелинейни трансформации. В резултат на това се получават новите фактори във вектора ${\phi }_k$.

За да се разграничат двата случая, когато ${\hat{y}}_k$ зависи нелинейно от $\theta$, изрично ще се указва, че моделът е нелинеен по параметри.

Въпреки удобствата, които предлага линейната теория, има области, където тя е неприложима. Нелинейните по параметри модели не може да се представят във вид, който да позволи унифицирането на задачата за построяване на модел, както и неговото използване. Например оценяването на парамерите на такъв модел е свързано с методи за числена оптимизация. Освен това, ако обектът участва в по-сложна система (например система за управление), нелинейността на неговото описание често е причина за наличието на други нелинейни елементи в системата като нелинеен регулатор, нелинейни компенсиращи звена и т.н. Това значително усложнява, както синтеза, така и анализа на системата за управление.

Пример: логистичен модел

Един често използван нелинеен модел в практиката е логистичният. Той се използва във финансите , медицината , автоматиката – за откриване на повреди, в психологията и др.). За описание на свойствата на модела е представен вариант с един изход. MISO логистичният модел има вида

$y_k=\frac{1}{1+e^{-{\phi }_k^T\theta }}+e_k.$

Моделът намира приложение, когато изходът на обекта има смисъл на вероятност. Например в системите за оценка на кредитния риск $y_k$ приема стойности между 0 и 1 (0 – „лош“, 1 – „добър“ кредитополучател). В този случай предствянето като линейна по параметри функция

${\tilde{y}}_k=\ln \frac{y_k}{1-y_k}={\phi }_k^T\theta +e_k,$

не е подходящо, тъй като ако оригиналният изход е 0, то ${\tilde{y}}_k=-\mathrm{\infty }$, а когато $y_k=1$, трансформираният изходен сигнал ${\tilde{y}}_k=\mathrm{\infty }$. Затова моделът не се представя в линеен по параметри вид, а се разглежда като нелинеен регресионен модел. Това води до усложняване на процеса на моделиране, както и на използването и анализа на модела (в сравнение с линейните по параметри модели).