From: Seweryn =?ISO-8859-2?Q?Habdank=2DWojew=F3dzki?= <shw_mail wp.pl>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w?= pisanych
Witam
Wit Jakuczun wrote:
>> > Oprócz tego co podałeś dodałbym afiniczne
>> > przekształcenia przykładowych danych.
>>
>> Na matematyce uczyli mnie ze przykladami przeksztalcen afinicznych sa:
>> obroty, przesuniecia(ale tylko w "przestrzeni rozszerzonej"(chyba tak
>> to sie nazywalo)), skalowanie, rozciaganie, itp. Do czego mial bym uzyc
>> takich przeksztalcen?
> Do transformacji danych treningowych.
IMHO nie tylko danych treningowych.
BTW czy przypadkiem 2D Normalizacja Gaussa nie byłaby tutaj dobrą
metodą "ujednoradniania" danych? Oczywiście można iść dalej i używać
pełnego PCA, ale może nie na początku.
Pozdrawiam.
--
|\/\/| Seweryn Habdank-Wojewódzki
\/\/
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w?= pisanych
Dnia Wed, 20 Jun 2007 08:42:38 +0200
Seweryn Habdank-Wojew=F3dzki <shw_mail wp.pl> napisa=B3(a):
> IMHO nie tylko danych treningowych.
>=20
To znaczy? Te transformacje maj=B1 wzbogaci=E6 baz=EA treningow=B1. Zamiast=
np.
cyfry 3 napisanej przez dan=B1 osob=EA, masz te=BF t=B1 cyfr=EA przesuni=EA=
t=B1, obr=F3con=B1,
=B6ci=B6ni=EAt=B1, rozci=B1gni=EAt=B1 itp. Dzi=EAki temu mo=BFe by=E6 =B3at=
wiej rozpozna=E6=20
nowe przyk=B3ady cyfry 3.
Mo=BFna te=BF, przed klasyfikacj=B1 podda=E6 transformacji przyk=B3ad i zro=
bi=E6=20
g=B3osowanie. O to Ci chodzi=B3o?
> BTW czy przypadkiem 2D Normalizacja Gaussa nie by=B3aby tutaj dobr=B1
> metod=B1 "ujednoradniania" danych? Oczywi=B6cie mo=BFna i=B6=E6 dalej i u=
=BFywa=E6
> pe=B3nego PCA, ale mo=BFe nie na pocz=B1tku.
>=20
Normalizacja bardzo cz=EAsto jest dobrym pomys=B3em. Inaczej mo=BFe by=E6 t=
ak, =BFe
rozpoznajemy nie cyfr=EA, a t=B3o, albo szum, kt=F3ry t=EA cyfr=EA odr=F3=
=BFnia od=20
innych cyfr.
Pozdrawiam
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w?= pisanych
Dnia Wed, 20 Jun 2007 12:06:42 +0200
Seweryn Habdank-Wojew=F3dzki <shw_mail wp.pl> napisa=B3(a):
> > Mo=BFna te=BF, przed klasyfikacj=B1 podda=E6 transformacji przyk=B3ad i=
zrobi=E6
> > g=B3osowanie. O to Ci chodzi=B3o?
>=20
> Nie. Raczej chodzi=B3o mi o to, aby sie=E6 nauczy=E6 danymi ustawionymi t=
ylko
> w "dobrej" pozycji (chodzi o redukcj=EA rozmiaru i unikni=EAcie przeuczen=
ia).
A jak by=B6 chcial okre=B6li=E6 dobr=B1 pozycj=EA?
> Natomiast nowe dane zawsze wpuszcza=E6 uprzednio na preprocessing, kt=F3ry
> stosownie ustawi obrazek.
> =20
Hmm. Nie widz=EA tego. Zeby ustawi=E6 obrazek nale=BFy umie=E6 okre=B6li=E6=
=20
w jakim ustawieniu jest na pocz=B1tku.
Pozdrawiam
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
[ Short offer: data mining, operational research,=20
time series forecasting, consulting ]
From: Seweryn =?ISO-8859-2?Q?Habdank=2DWojew=F3dzki?= <shw_mail wp.pl>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w?= pisanych
Witam
Wit Jakuczun wrote:
> Dnia Wed, 20 Jun 2007 12:06:42 +0200
> Seweryn Habdank-Wojewódzki <shw_mail wp.pl> napisał(a):
>
>
>> > Można też, przed klasyfikacją poddać transformacji przykład i zrobić
>> > głosowanie. O to Ci chodziło?
>>
>> Nie. Raczej chodziło mi o to, aby sieć nauczyć danymi ustawionymi tylko
>> w "dobrej" pozycji (chodzi o redukcję rozmiaru i uniknięcie przeuczenia).
> A jak byś chcial określić dobrą pozycję?
No właśnie dlatego napisałem w cudzysłowiu.
>> Natomiast nowe dane zawsze wpuszczać uprzednio na preprocessing, który
>> stosownie ustawi obrazek.
>>
> Hmm. Nie widzę tego. Zeby ustawić obrazek należy umieć określić
> w jakim ustawieniu jest na początku.
Nie koniecznie.
Zapisujesz punkty obrazu z mapie (x,y), gdzie (x,y) odpowiadają tylko
punktom czarnym. Masz chmurę punktów, obojętne jaką obojętne gdzie. Nie ma
znaczenia, czy to obraz jest 1024x768, czy 32x32. Robisz dla punktów GN
(normalizację Gaussa). To zrobi stosowne skalowanie oraz przesunięcie
chmury punktów do (0,0).
Obrót może zrobić poprzez odjęcie regresji liniowej rzędu 1 (czyli estymuje
obraz funkcją liniową i zerujemy tą estymatę). W tym punkcie jest pewna
maleńka luka z wiązana z jedną na nieskończoność możliwością błędu, którą
jednak pozwalam sobie zadać czytelnikom jako ćwiczenie do rozwiązania ;-).
Zatem możesz traktować to jako punkt wyjścia. Czyli litera jest stosownie
obrócona, przeskalowana i wyśrodkowana. Zrobiłem to nie mając pojęcia o tym
jak ona jest położona wcześniej i jaką ma wielkość.
Teraz pozostają tylko do opanowania wewnętrzne proporcje w samej literze,
czyli np. zmiana wielkości "brzuszka" względem długości "laseczki" w
literze "b" itp. Ale to już jet nie liniowe i trzeba do tego podejść w
kolejnym kroku. Tak jak w analizie twarzy nie robi się wszystkiego na raz.
Pozdrawiam.
--
|\/\/| Seweryn Habdank-Wojewódzki
\/\/
From: Vik <wkotl gazeta.pl>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w_pisanych?=
Wit Jakuczun wrote:
>>
> To znaczy? Te transformacje mają wzbogacić bazę treningową. Zamiast np.
> cyfry 3 napisanej przez daną osobę, masz też tą cyfrę przesuniętą, obróconą,
> ściśniętą, rozciągniętą itp. Dzięki temu może być łatwiej rozpoznać
> nowe przykłady cyfry 3.
> Można też, przed klasyfikacją poddać transformacji przykład i zrobić
> głosowanie. O to Ci chodziło?
>
Albo użyć klasyfikatora potrafiącego obsługiwać niezmienniczość danych
ze względu na pewne grupy symetrii - np. wspomniany przez Ciebie tangent
distance albo pewne odmiany SVM.
Pozdrawiam
Vik
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w?= pisanych
Dnia Wed, 20 Jun 2007 14:57:35 +0200
Vik <wkotl gazeta.pl> napisa=B3(a):
> Wit Jakuczun wrote:
> >>
> > To znaczy? Te transformacje maj=B1 wzbogaci=E6 baz=EA treningow=B1. Zam=
iast np.
> > cyfry 3 napisanej przez dan=B1 osob=EA, masz te=BF t=B1 cyfr=EA przesun=
i=EAt=B1, obr=F3con=B1,
> > =B6ci=B6ni=EAt=B1, rozci=B1gni=EAt=B1 itp. Dzi=EAki temu mo=BFe by=E6 =
=B3atwiej rozpozna=E6=20
> > nowe przyk=B3ady cyfry 3.
> > Mo=BFna te=BF, przed klasyfikacj=B1 podda=E6 transformacji przyk=B3ad i=
zrobi=E6=20
> > g=B3osowanie. O to Ci chodzi=B3o?
> >=20
>=20
> Albo u=BFy=E6 klasyfikatora potrafi=B1cego obs=B3ugiwa=E6 niezmienniczo=
=B6=E6 danych=20
> ze wzgl=EAdu na pewne grupy symetrii - np. wspomniany przez Ciebie tangen=
t=20
> distance albo pewne odmiany SVM.
>=20
Mo=BFna, chocia=BF rozszerzaj=B1c zbi=F3r treningowy mo=BFesz zastosowac ka=
=BFdy=20
klasyfikator. Na szybko bym tak w=B3a=B6nei zrobi=B3. Zreszt=B1 nie wiem
na ile specjalizowany SVM by by=B3 tu lepszy od zwyk=B3ego SVM wyuczonego
na przekszta=B3conych danych treningowych. Ten pierwszy by=B3by
na pewno bardziej elegancki :).
Od pewnego czasu walcz=EA z zastosowaniem SVM do tzw. problemu
odwrotnego. Tutaj TRZEBA skonstruowa=E6 odpowiednie j=B1dro.
Pozdrawiam
PS
Problem odwrotny polega na tym, =BFe mamy r=F3wnanie
Lv =3D w,=20
gdzie L jest pewnym operatorem (u mnie jest to operator
r=F3=BFniczkowy).=20
W normalnej sytuacji znamy warto=B6ci funkcji w i
szukamy aproksymacji funkcji v.
W odwrotnej sytuacji, znamy warto=B6ci funkcji v
a o w zak=B3adamy, =BFe nale=BFy do pewnej =B6cisle okre=B6lonej
przestrzeni funkcji. Szukamy takiego w, =BFeby
L^-1 w jak najlepiej aproksymowa=B3 v.
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
[ Short offer: data mining, operational research,=20
time series forecasting, consulting ]
From: Seweryn =?ISO-8859-2?Q?Habdank=2DWojew=F3dzki?= <shw_mail wp.pl>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w?= pisanych
Witam
Wit Jakuczun wrote:
> Problem odwrotny polega na tym, że mamy równanie
> Lv = w,
> gdzie L jest pewnym operatorem (u mnie jest to operator
> różniczkowy).
> W normalnej sytuacji znamy wartości funkcji w i
> szukamy aproksymacji funkcji v.
> W odwrotnej sytuacji, znamy wartości funkcji v
> a o w zakładamy, że należy do pewnej ścisle określonej
> przestrzeni funkcji. Szukamy takiego w, żeby
> L^-1 w jak najlepiej aproksymował v.
No a zastosowanie metody Galerkina? Kiedy L^-1 jest operatorem rózniczkowym,
to znaczy, że masz równanie różniczkowe, a zatem jest to "byt" liniowy,
można to obłożyć iloczynem skalarnym z jednym z wektorów bazowych
przestrzeni Hilberta rozpinającej przestrzeń funkcji.
To znaczy mówię o podejściu konstruktywnym i zakłádam, że są takie
możliwości.
Można zatem wziąć ogólnie bazę (ewentualnie numerycznie jej skończony
podzbiór) i zapisać wszystkie równania iloczynów skalarnych równania z
kolejnymi wektorami bazowymi. Dostajesz wtedy wartości współczynników
Fouriera funkcji.
< L^-1 w, e_1 > - < v, e_1 > = 0
< L^-1 w, e_2 > - < v, e_2 > = 0
....
< L^-1 w, e_n > - < v, e_n > = 0
....
Zatem
L^-1 < w, e_1 > - < v, e_1 > = 0
L^-1 < w, e_2 > - < v, e_2 > = 0
....
L^-1 < w, e_n > - < v, e_n > = 0
....
Ale w = sum_{n} = b_n e_n
Jednak b_n = < w, e_n >
Dla każdego n można wyznaczyć < w, e_n > jako:
< w, e_n > = L * < v, e_n >
Zatem w = sum_{n} (L * < v, e_n >) * e_n
Może czegoś nie widzę, ale IMHO można coś pomyśleć.
Pozdrawiam.
--
|\/\/| Seweryn Habdank-Wojewódzki
\/\/
From: Vik <wkotl gazeta.pl>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w_pisanych?=
Wit Jakuczun wrote:
>
> Od pewnego czasu walczę z zastosowaniem SVM do tzw. problemu
> odwrotnego. Tutaj TRZEBA skonstruować odpowiednie jądro.
>
> Pozdrawiam
> PS
> Problem odwrotny polega na tym, że mamy równanie
> Lv = w,
> gdzie L jest pewnym operatorem (u mnie jest to operator
> różniczkowy).
> W normalnej sytuacji znamy wartości funkcji w i
> szukamy aproksymacji funkcji v.
> W odwrotnej sytuacji, znamy wartości funkcji v
> a o w zakładamy, że należy do pewnej ścisle określonej
> przestrzeni funkcji. Szukamy takiego w, żeby
> L^-1 w jak najlepiej aproksymował v.
Skoro znamy funkcję v, to czemu jej po prostu nie zróżniczkujemy i
wyznaczymy wartość w jako równą Lv? Gdzie tu problem?
Pozdrawiam
Vik
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w?= pisanych
Dnia Wed, 20 Jun 2007 17:30:04 +0200
Vik <wkotl gazeta.pl> napisa=B3(a):
> Skoro znamy funkcj=EA v, to czemu jej po prostu nie zr=F3=BFniczkujemy i=
=20
> wyznaczymy warto=B6=E6 w jako r=F3wn=B1 Lv? Gdzie tu problem?
>=20
Uszczeg=F3=B3awiam: znamy warto=B6=E6 funkcji v w sko=F1czonej liczbie
punkt=F3w. Co wi=EAcej warto=B6ci tej funkcji s=B1 zaburzone.
Pozdrawiam
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
[ Short offer: data mining, operational research,=20
time series forecasting, consulting ]
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w?= pisanych
Dnia Wed, 20 Jun 2007 17:10:27 +0200
Seweryn Habdank-Wojew=F3dzki <shw_mail wp.pl> napisa=B3(a):
> No a zastosowanie metody Galerkina?=20
Ta metoda jest ok, ale dla zadania normalnego.
> Kiedy L^-1 jest operatorem r=F3zniczkowym,
L jest operatorem r=F3=BFniczkowym, wi=EAc L^-1 nim nie jest.
> Mo=BFna zatem wzi=B1=E6 og=F3lnie baz=EA (ewentualnie numerycznie jej sko=
=F1czony
> podzbi=F3r) i zapisa=E6 wszystkie r=F3wnania iloczyn=F3w skalarnych r=F3w=
nania z
> kolejnymi wektorami bazowymi. Dostajesz wtedy warto=B6ci wsp=F3=B3czynnik=
=F3w
> Fouriera funkcji.=20
>=20
> < L^-1 w, e_1 > - < v, e_1 > =3D 0
> < L^-1 w, e_2 > - < v, e_2 > =3D 0
> ...
> < L^-1 w, e_n > - < v, e_n > =3D 0
> ...
>=20
> Zatem
>=20
> L^-1 < w, e_1 > - < v, e_1 > =3D 0
Tego przej=B6cia nie rozumiem. Na jakiej podstawie
wyszed=B3e=B6 z L^-1 przed iloczyn skalarny?
Og=F3lnie zadanie, kt=F3re przedstawi=B3em mo=BFna rozwi=B1za=E6 nast=EApuj=
=B1co:
1) budujemy aproksymacj=EA funkcji v:
hat(v)(x) =3D sum_{i=3D1}^N a_i b_i(x)
2) dzia=B3amy operatorem L otrzymuj=B1c hat(w)
hat(w)=3DL(hat(v)(x))=3D sum_{i=3D1}^N a_i L(b_i(x))
3) rzutujemy hat(w) na przestrze=F1 funkcji, do kt=F3rej
nale=BFy w.
To zadanie mo=BFna r=F3wnowa=BFnie rozwi=B1za=E6 konstruuj=B1c
odpowiednie SVM.
Pozdrawiam
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
[ Short offer: data mining, operational research,=20
time series forecasting, consulting ]
From: A.L. <fela 2005.com>
Subject: Re: =?ISO-8859-2?Q?Baza_znak=F3w_pisanyc?=
On Wed, 20 Jun 2007 19:28:45 +0200, Seweryn Habdank-Wojewódzki
<shw_mail wp.pl> wrote:
[...]
>Ale dla każdego k znasz e_k oraz
>
>< e_k, L^1 w_0 > znasz, bo to jest warunek brzegowy/początkowy.
>< e_k, v > znasz, bo znasz v
>
>Pozostaje wyznaczyć:
>
>< e_k, L^-1 (sum_{n} b_n e_n) >
>
>Pozdrawiam.
Wszytko piknie, ale a) problem odwrotny dla DOWOLNEJ funkcji v na ogol
nie ma rozwiazana, a tylko dla neiktorych, b) problem odwrotny jest na
ogol "ill posed". to znaczy male zmiany zmiany funkcji "wejsciowej" do
problemu odwrotnego moga spowodowac wielkie zmiany rozwiazania albo w
ogole jego utrate.
Jak Panowie razicie sobie z tym problemem :)
A.L.
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w?= pisanych
Dnia Wed, 20 Jun 2007 13:41:51 -0500
A.L. <fela 2005.com> napisa=B3(a):
> Wszytko piknie, ale a) problem odwrotny dla DOWOLNEJ funkcji v na ogol
> nie ma rozwiazana, a tylko dla neiktorych, b) problem odwrotny jest na
> ogol "ill posed".=20
Jest ill posed.
> Jak Panowie razicie sobie z tym problemem :)
>=20
Regularyzacj=B1 rozwi=B1zania.
Pozdrawiam
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
[ Short offer: data mining, operational research,=20
time series forecasting, consulting ]
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w?= pisanych
Dnia Wed, 20 Jun 2007 19:28:45 +0200
Seweryn Habdank-Wojew=F3dzki <shw_mail wp.pl> napisa=B3(a):
> Pozostaje wyznaczy=E6:
>=20
> < e_k, L^-1 (sum_{n} b_n e_n) >
>=20
Wszystko fajnie, tylko, =BFe ja nie chc=EA
mie=E6 sko=F1czonej bazy e_n :).=20
Pozdrawiam
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
[ Short offer: data mining, operational research,=20
time series forecasting, consulting ]
From: Seweryn =?ISO-8859-2?Q?Habdank=2DWojew=F3dzki?= <shw_mail wp.pl>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w?= pisanych
Witam
A.L. wrote:
> On Wed, 20 Jun 2007 19:28:45 +0200, Seweryn Habdank-Wojewódzki
> <shw_mail wp.pl> wrote:
>
> [...]
>>Ale dla każdego k znasz e_k oraz
>>
>>< e_k, L^1 w_0 > znasz, bo to jest warunek brzegowy/początkowy.
>>< e_k, v > znasz, bo znasz v
>>
>>Pozostaje wyznaczyć:
>>
>>< e_k, L^-1 (sum_{n} b_n e_n) >
>>
>>Pozdrawiam.
>
> Wszytko piknie, ale a) problem odwrotny dla DOWOLNEJ funkcji v na ogol
> nie ma rozwiazana, a tylko dla neiktorych,
Tak.
> b) problem odwrotny jest na
> ogol "ill posed". to znaczy male zmiany zmiany funkcji "wejsciowej" do
> problemu odwrotnego moga spowodowac wielkie zmiany rozwiazania albo w
> ogole jego utrate.
>
> Jak Panowie razicie sobie z tym problemem :)
To znaczy w pierwszym podejściu istotnie L^-1 jest odwracane i trzeba
uważać, w drugim nic się takiego nie dzieje, bo L^-1 traktuję jako dane.
Więc jeśli L^-1 jest dane to nie mam wpływu na jego kształt. Chyba, że dane
jest L, to co innego.
Można też się posłużyć metodami gradientowymi do wyznaczenia optimum
(minimalizacja błędu poprzez szukanie współczynników Fouriera na bazie),
ale trzeba mieć wzór.
Tak w całkiem ogólnym przypadku, to jest chyba niemożliwe, aby podać
rozwiązanie.
A czy ma Pan jakieś konkretne sugestie co do założeń o przestrzeni dla v i
w, oraz dla klasy funkcjonału L, aby można było zadanie konstruktywnie
uściślać?
No i jeszcze pozostaje sprawa, czy mówimy o rozwiązaniu numerycznym, czy
symbolicznym.
Pozdrawiam.
--
|\/\/| Seweryn Habdank-Wojewódzki
\/\/
From: A.L. <fela 2005.com>
Subject: Re: =?ISO-8859-2?Q?Baza_znak=F3w_pisanyc?=
On Wed, 20 Jun 2007 21:04:34 +0200, Wit Jakuczun <wit mefisto.hades>
wrote:
>Dnia Wed, 20 Jun 2007 13:41:51 -0500
>A.L. <fela 2005.com> napisał(a):
>
>> Wszytko piknie, ale a) problem odwrotny dla DOWOLNEJ funkcji v na ogol
>> nie ma rozwiazana, a tylko dla neiktorych, b) problem odwrotny jest na
>> ogol "ill posed".
>Jest ill posed.
>
>> Jak Panowie razicie sobie z tym problemem :)
>>
>Regularyzacją rozwiązania.
>
Jak?...
A.L.
From: Wit Jakuczun <jakucz tlen.pl>
Subject: =?iso-8859-2?q?Re:_Baza_znak=F3w_pisanych?=
On 20 Cze, 21:26, A.L. <f... 2005.com> wrote:
> On Wed, 20 Jun 2007 21:04:34 +0200, Wit Jakuczun <w... mefisto.hades>
> wrote:
>
> >Dnia Wed, 20 Jun 2007 13:41:51 -0500
> >A.L. <f... 2005.com> napisa=B3(a):
>
> >> Wszytko piknie, ale a) problem odwrotny dla DOWOLNEJ funkcji v na ogol
> >> nie ma rozwiazana, a tylko dla neiktorych, b) problem odwrotny jest na
> >> ogol "ill posed".
> >Jest ill posed.
>
> >> Jak Panowie razicie sobie z tym problemem :)
>
> >Regularyzacj=B1 rozwi=B1zania.
>
> Jak?...
>
Ad a). W rozwi=B1zaniu, kt=F3re opracowywuj=EA zawsze mam rozwi=B1zanie.
Ad b). Problem odwrotny jest ill posed. Podobnie jak wiele problem=F3w
statystycznych. Stosuj=B1c SVM "automatycznie" stosuj=EA regularyzacj=EA
rozwi=B1zania. To znaczy, ograniczam liczb=EA stopni swobody.
W praktyce wygl=B1da to tak, =BFe problem odwrotny sprowadzam do
nast=EApuj=B1cego zadania regresji:
1) mam warto=B6ci funkcji y_i=3Dv(x_i) dla i=3D1, ..., l
2) aproksymuj=EA funkcj=EA v metod=B1 SVM ze specjalnie skonstruowanym
j=B1drem. Aproksymator jest postaci:
f(x) =3D sum_{i=3D1}^l a_i k(x_i, x)
gdzie k(.,.) jest w=B3a=B6nie tym j=B1drem.
3) Szukaj=B1c wsp=F3=B3czynnik=F3w a_i ograniczam ich sum=EA warto=B6ci
bezwzgl=EAdnych
Pozdrawiam
--
Wit Jakuczun
From: A.L. <fela 2005.com>
Subject: Re: =?ISO-8859-2?Q?Baza_znak=F3w_pisanyc?=
On Wed, 20 Jun 2007 12:43:10 -0700, Wit Jakuczun <jakucz tlen.pl>
wrote:
>
>W praktyce wygląda to tak, że problem odwrotny sprowadzam do
>następującego zadania regresji:
> 1) mam wartości funkcji y_i=v(x_i) dla i=1, ..., l
> 2) aproksymuję funkcję v metodą SVM ze specjalnie skonstruowanym
>jądrem. Aproksymator jest postaci:
> f(x) = sum_{i=1}^l a_i k(x_i, x)
> gdzie k(.,.) jest właśnie tym jądrem.
> 3) Szukając współczynników a_i ograniczam ich sumę wartości
>bezwzględnych
>
A o Regularyzacji Tichonowa slyszales?...
A.L.
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w?= pisanych
Dnia Wed, 20 Jun 2007 12:43:10 -0700
Wit Jakuczun <jakucz tlen.pl> napisa=B3(a):
> >
> Ad a). W rozwi=B1zaniu, kt=F3re opracowywuj=EA zawsze mam rozwi=B1zanie.
Ale napisa=B3em :)
W podej=B6ciu, kt=F3re opracowuj=EA...
Dodatkowo, jeszcze mam ograniczenie na praw=B1 stron=EA. Poniewa=BF
problem dotyczy zjawiska fizycznego (pr=B1d w m=F3zgu) to=20
wiadomo jakie za=B3o=BFenia co do postaci prawej strony mo=BFna
przyj=B1=E6.
W skr=F3cie, prawa strona to jest kombinacja liniowa
kul. Problem jest jednak taki, =BFe nie wiadomo=20
a) ile jest kul
b) gdzie s=B1 po=B3o=BFone
c) jaki jest ich promie=F1
Oczywi=B6cie mo=BFna do tego podej=B6=E6 podobnie jak to
opisywa=B3 Seweryn i wybra=E6 sko=F1czon=B1 liczb=EA kul,=20
dyskretyzuj=B1c parametry, kt=F3rymi s=B1 opisane. Ja jednak
mam rozwi=B1zanie, w kt=F3rym nie trzeba niczego dyskretyzowa=E6.
Rozwa=BFa si=EA wszystkie kule razem.
Pozdrawiam
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
[ Short offer: data mining, operational research,=20
time series forecasting, consulting ]
From: A.L. <fela 2005.com>
Subject: Re: =?ISO-8859-2?Q?Baza_znak=F3w_pisanyc?=
On Wed, 20 Jun 2007 21:58:42 +0200, Wit Jakuczun <wit mefisto.hades>
wrote:
>Dnia Wed, 20 Jun 2007 14:55:13 -0500
>A.L. <fela 2005.com> napisał(a):
>
>
>> > 3) Szukając współczynników a_i ograniczam ich sumę wartości
>> >bezwzględnych
>
>> A o Regularyzacji Tichonowa slyszales?...
>>
>Oczywiście. SVM czerpie z tego pełnymi garściami.
>
>
W ktorym miejscu?...
A.L.
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w?= pisanych
Dnia Wed, 20 Jun 2007 15:10:52 -0500
A.L. <fela 2005.com> napisa=B3(a):
> >> A o Regularyzacji Tichonowa slyszales?...=20
> >>=20
> >Oczywi=B6cie. SVM czerpie z tego pe=B3nymi gar=B6ciami.=20
> >
> >
> W ktorym miejscu?...
>=20
W metodzie SVM szukamy aproksymatora postaci:
f(x) =3D sum_i a_i k(x_i, x)
dla pewnych x_i, i=3D1..l.
Szukamy a_i takich, =BFeby zminimalizowa=E6 b=B3=B1d:
sum_i ( f(x_i) - y_i )^2
To zadanie jest ill-posed (dla "bogatego" j=B1dra).
To znaczy, =BFe ma=B3a zmiana danych (x_i, y_i)=20
mo=BFe prowadzi=E6 do du=BFej zmiany funkcji f.
=AFeby temu zaradzi=E6 stosuje si=EA regularyzacj=EA.
S=B1 dwa podej=B6cia Tichonowa albo Ivanova.
W tej drugiej mininalizujemy b=B3=B1d aproskymacji
przy ograniczeniu:
phi(f) <=3D A
gdzie phi jest pewnym funkcjona=B3em, a A jest sta=B3=B1.
W klasycznym sformu=B3owaniu SVM jest zastosowana
regularyzacja Tichonova, czyli
minimalizowana jest funkcja postaci:
sum_i (f(x_i) - y_i)^2 + B phi(f)
gdzie B jest sta=B3=B1, a phi jest funkcjona=B3em j.w.
Dla SVM mo=BFna przyj=B1=E6 phi(f)=3Dsum_i |a_i|.
Mam nadziej=EA, =BFe wyja=B6ni=B3em.
Klasyczny Tichonov stosuje phi(f) jako norm=EA
kt=F3rej=B6 pochodnej. To mo=BFna znale=BC=E6 w smoothing splines,
w kt=F3rych minimalizuje si=EA norm=EA drugiej pochodnej.
Pozdrawiam
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
[ Short offer: data mining, operational research,=20
time series forecasting, consulting ]
From: Vik <wkotl gazeta.pl>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w_pisanych?=
Wit Jakuczun wrote:
>>
> Uszczegóławiam: znamy wartość funkcji v w skończonej liczbie
> punktów. Co więcej wartości tej funkcji są zaburzone.
>
Czyli właściwie odpowiada to śledzeniu trajektorii jakiegoś układu
dynamicznego przy znajomości równań ewolucji, ale bez znajomości części
niejednorodnej równań tego układu (źródła, siły wymuszającej, itp.),
którą na podstawie trajektorii chcemy przybliżać?
Vik
From: Vik <wkotl gazeta.pl>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w_pisanych?=
Wit Jakuczun wrote:
>
> W metodzie SVM szukamy aproksymatora postaci:
> f(x) = sum_i a_i k(x_i, x)
> dla pewnych x_i, i=1..l.
>
> Szukamy a_i takich, żeby zminimalizować błąd:
> sum_i ( f(x_i) - y_i )^2
>
Nie za bardzo rozumiem, na czym polega Twoja metoda. Skoro y_i = v(x_i),
z powyższego wynika, że próbujesz po prostu punkty y_i aproksymować
pewną ciągłą funkcją postaci f(x) = sum_i a_i k(x_i, x). Po pierwsze,
jest to właściwie problem aproksymacji za pomocą zbioru n funkcji
bazowych f_i(x) = k(x_i,x), mamy więc skończoną bazę funkcji. Po drugie,
co się stało z operatorem L i funkcją w, której przybliżanie było Twoim
celem?
Pozdrawiam
Vik
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w?= pisanych
Dnia Wed, 20 Jun 2007 22:50:45 +0200
Vik <wkotl gazeta.pl> napisa=B3(a):
> Czyli w=B3a=B6ciwie odpowiada to =B6ledzeniu trajektorii jakiego=B6 uk=B3=
adu=20
> dynamicznego przy znajomo=B6ci r=F3wna=F1 ewolucji, ale bez znajomo=B6ci =
cz=EA=B6ci=20
> niejednorodnej r=F3wna=F1 tego uk=B3adu (=BCr=F3d=B3a, si=B3y wymuszaj=B1=
cej, itp.),=20
> kt=F3r=B1 na podstawie trajektorii chcemy przybli=BFa=E6?
>=20
Tak to mo=BFna rozumie=E6.
Dobr=B1 analogi=B1 jest pok=F3j z paroma =BFar=F3wkami (prawa strona). Znamy
pomiar nat=EA=BFenia =B6wiat=B3a w paru punktach. Na podstawie tych
pomiar=F3w nalezy powiedzie=E6 gdize s=B1 =BCr=F3d=B3a =B6wiat=B3a (=BFar=
=F3wki) oraz
jakie s=B1 te =BCr=F3d=B3a (moc).
Pozdrawiam
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
[ Short offer: data mining, operational research,=20
time series forecasting, consulting ]
From: A.L. <fela 2005.com>
Subject: Re: =?ISO-8859-2?Q?Baza_znak=F3w_pisanyc?=
On Wed, 20 Jun 2007 22:32:17 +0200, Wit Jakuczun <wit mefisto.hades>
wrote:
>
>Mam nadzieję, że wyjaśniłem.
>
Tak
A.L.
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w?= pisanych
Dnia Wed, 20 Jun 2007 22:56:10 +0200
Vik <wkotl gazeta.pl> napisa=B3(a):
> Wit Jakuczun wrote:
> >=20
> > W metodzie SVM szukamy aproksymatora postaci:
> > f(x) =3D sum_i a_i k(x_i, x)
> > dla pewnych x_i, i=3D1..l.
> >=20
> > Szukamy a_i takich, =BFeby zminimalizowa=E6 b=B3=B1d:
> > sum_i ( f(x_i) - y_i )^2
> >=20
>=20
> Nie za bardzo rozumiem, na czym polega Twoja metoda.=20
Powy=BFej nie opisywa=B3em mojej metody. Tylko odpowiada=B3em
na pytanie o miejsce regularyzacji w SVM.
> Po drugie, co si=EA sta=B3o z operatorem L i funkcj=B1 w, kt=F3rej przybl=
i=BFanie by=B3o Twoim=20
> celem?
>=20
"Schowane" w j=B1drze k.
Po kolei:
a) za=B3=F3=BFmy, =BFe prawa strona jest sko=F1czon=B1 kombinacja liniow=
=B1
pewnych funkcji bazowych: b_1, ..., b_M. Czyli
w=3Dsum_j r_j b_j
b) wykorzystuj=B1c posta=E6 funkcji b_j tworz=EA funkcje
c_j takie, =BFe
L(c_j)=3Db_j
c) z funkcji c_j sk=B3adam aproksymator dla v postaci:
hat(v) =3D sum_j d_j c_j
d) aproskymator mog=EA zbudowa=E6 korzystaj=B1c z SVM, bior=B1c
j=B1dro postaci:
k(x,x') =3D < psi(x), psi(x')>
gdzie
psi(x) =3D (c_1(x), ..., c_M(x))^T
To co napisa=B3em jest fajne, ale do pewnego momentu.
Mianowicie nie wiadomo jak wybra=E6 sko=F1czony zbi=F3r b_j.
Ciekawe jest to, =BFe mo=BFna tak skonstruowa=E6 j=B1dro,
=BFeby nie trzeba by=B3o wybiera=E6 zbioru b_j.
Pozdrawiam
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
[ Short offer: data mining, operational research,=20
time series forecasting, consulting ]
From: Vik <wkotl gazeta.pl>
Subject: Re: Baza =?ISO-8859-2?Q?znak=F3w_pisanych?=
Wit Jakuczun wrote:
>
> Po kolei:
> a) załóżmy, że prawa strona jest skończoną kombinacja liniową
> pewnych funkcji bazowych: b_1, ..., b_M. Czyli
> w=sum_j r_j b_j
> b) wykorzystując postać funkcji b_j tworzę funkcje
> c_j takie, że
> L(c_j)=b_j
> c) z funkcji c_j składam aproksymator dla v postaci:
> hat(v) = sum_j d_j c_j
> d) aproskymator mogę zbudować korzystając z SVM, biorąc
> jądro postaci:
> k(x,x') = < psi(x), psi(x')>
> gdzie
> psi(x) = (c_1(x), ..., c_M(x))^T
>
> To co napisałem jest fajne, ale do pewnego momentu.
> Mianowicie nie wiadomo jak wybrać skończony zbiór b_j.
> Ciekawe jest to, że można tak skonstruować jądro,
> żeby nie trzeba było wybierać zbioru b_j.
>
Ciekawe jest to, co piszesz. Rozumiem, że w takim razie L jest
operatorem liniowym, żeby to działało. Przy okazji, są tu jakieś
odniesienia do funkcji Greena? (to są jądra operatorów całkowych
odwrotnych do operatorów różniczkowania i stąd mi się skojarzyło).
Pozdrawiam
Vik