2-uczenie-maszynowe slides

Podstawy sztucznej inteligencji¶

Temat: terminologia uczenia maszynowego¶

dr inż. Aleksander Smywiński-Pohl¶

apohllo@agh.edu.pl¶

https://apohllo.pl ¶

Jakie istnieją formy uczenia?¶

Regresja - drugi podstawowy typ uczenia nadzorowanego¶

https://www.bbc.com/news/science-environment-36888541

Uczenie nadzorowane - definicja¶

Mając dany zbiór treningowy par

(x_{1}, y_{1}), (x_{2}, y_{2}), (x_{3}, y_{3}), \dots, (x_{n}, y_{n})

$(x_1, y_1), (x_2, y_2), (x_3, y_3), \ldots, (x_n, y_n)$

generowanych przez funkcję $f(x)$ , znaleźć funkcję $h$ , która aproksymuje funkcję $f$ .

Funkcja $h$ zwana jest hipotezą, a przestrzeń z której jest wybierana przestrzenią hipotez H.

Alternatywnie mówimy, że $h$ jest modelem danych, wybieranym z określonej klasy modeli H.

Obciążenie i wariancja¶

Obciążenie - tendencja hipotezy $h$ do różnienia się od oczekiwanego wyniku (wartości oczekiwanej), w przypadku treningu na różnych zbiorach danych.

Niedopasowanie (ang. underfitting) - niezdolność hipotezy do właściwego odwzorowania danych uczących.

Wariancja - zmienność wyniku funkcji, wynikająca z (niewielkich) zmian w danych.

Przeuczenie lub nadmierne dopasowanie (ang. overfitting) - zbyt dokładne dopasowanie hipotezy do zbioru uczącego.

Kompromis między obciążeniem a wariancją (ang. bias-variance tradeoff) - wybór pomiędzy bardziej złożoną hipotezą, która dobrze dopasowuje się do danych, a prostszą hipotezą, która może lepiej się generalizować.

Generalizacja - zdolność modelu do generowania poprawnych wartości funkcji, na danych spoza dystrybucji danych uczących.

R e m a i n d e r (A) = \sum_{k = 1}^{d} \frac{p_{k} + n_{k}}{p + n} B (\frac{p_{k}}{p_{k} + n_{k}})

$Remainder(A) = \sum_{k=1}^{d} \frac{p_k + n_k}{p + n}B\left(\frac{p_k}{p_k + n_k}\right)$

$A$ - wybrany atrybut drzewa decyzyjnego
$d$ - liczba wartości atrybutu $A$
$E_1$ - $E_d$ - podzbiory przykładów pozostające po wybraniu atrybutu $A$

G a i n (A) = B (\frac{p}{p + n}) - R e m a i n d e r (A)

$Gain(A) = B\left(\frac{p}{p+n}\right) - Remainder(A)$

S. Russel, P. Norvig, AIMA 4rd edition.

Entropia skrośna:

H (p, q) = - \sum_{x \in X} p (x) \log q (x)

$H(p,q) = - \sum_{x \in X} p(x) \log q(x)$

C (X) = - \frac{1}{N} \sum_{i = 1}^{N} (y_{i} \log {\hat{y}}_{i} + (1 - y_{i}) \log (1 - {\hat{y}}_{i}))

$C(X)= - \frac{1}{N} \sum_{i=1}^N \left(y_i \log \hat y_i + (1 - y_i)\log(1 - \hat y_i)\right)$

Koszt generalizacji oraz koszt empiryczny¶

G e n L o s s_{L} (h) = \sum_{(x, y) \in ϵ} L (y, h (x)) P (x, y)

$GenLoss_L(h) = \sum_{(x,y) \in \epsilon} L(y, h(x))P(x,y)$

$\epsilon$ - zbiór wszystkich możliwych par

$P(x,y)$ - rozkład prawdopodobieństwa par (x, y).

h^{*} = arg min_{h \in H} G e n L o s s_{L} (h)

$h^* = \textrm{arg}\min_{h \in H} GenLoss_L(h)$

E m p L o s s_{L} (h) = \sum_{(x, y) \in ϵ} L (y, h (x)) \frac{1}{N}

$EmpLoss_L(h) = \sum_{(x,y) \in \epsilon} L(y, h(x))\frac{1}{N}$

Przyczyny rozbieżności między $\hat h(x)$ a $f(x)$ ¶

realizowalność - przestrzeń $H$ nie zawiera $f$

wariancja - jeśli funkcja jest realizowalna, to ze wzrosem liczby przykładów wariancja będzie spadać

szum (brak determinizmu) - funkcja zwraca różne wartości dla tych samych danych wejściowych

złożoność obliczeniowa - problemem jest odnalezienie właściwej hipotezy w przestrzeni $H$

Podstawy sztucznej inteligencji Temat: terminologia uczenia maszynowego dr inż. Aleksander Smywiński-Pohl apohllo@agh.edu.pl https://apohllo.pl