piątek, 15 lipca 2011

Prognozowanie kursów akcji i indeksów giełdowych metodą WEB 3.0

Projekt badań został nagrodzony przez Fundację na rzecz Nauki Polskiej jako laureat VII edycji konkursu „Wspieranie transferu technologii – program VENTURES”.

Artykuł został opublikowany na blogu naukowym Kolegium Nauk o Przedsiębiorstwie  SGH PraktycznaTeoria.pl w dniu 15 lipca 2011 r. (zajął drugą pozycję najczęściej czytanych artykułów w 2011 r.).


Współautorzy:
mgr Wojciech Kurowski – Katedra Zarządzania Wartością, Szkoła Główna Handlowa w Warszawie
inż. Bartosz Baziński – Politechnika Gdańska, Wydział Elektroniki, Telekomunikacji i Informatyki
inż. Michał Brzezicki – Politechnika Gdańska, Wydział Elektroniki, Telekomunikacji i Informatyki

Technologie ICT, w szczególności bazujące na Web 2.0 zmieniły sposób tworzenia wartości. Konsument nie jest już jedynie odbiorcą, ale również współtwórcą produktów, usług i wartości firmy. Rozwój sieci i możliwość komunikacji przez internet umożliwił użytkownikom wspólne tworzenie i dzielenie się wiedzą. Ta funkcjonalność jest motorem napędzającym ruch w sieciach internetowych. Jednym z tego typu serwisów, Facebook, w ciągu niespełna trzech lat zwiększył ilość swoich użytkowników pięciokrotnie, do ponad 500 milionów[1]. Nieustanny wzrost popularności serwisów społecznościach, w szczególności „social media” (kanały komunikacyjne umożliwiające interakcję między internautami za pomocą technologii takich jak: blogi, fora, grupy dyskusyjne, wiki, podcasty, emaile, komunikatory, VoIP itp.) powoduje, że w ich zasobach zgromadzone są ogromne ilości informacji dotyczące stosunku użytkowników do rozmaitych obiektów, takich jak marki handlowe, produkty, firmy, instytucje, organizacje, itp. Mimo tego, znajdujące się w nich informacje w ogromnej części pozostają niewykorzystane. Co więcej, może tworzyć się sytuacja paradoksalna – chaos informacyjny w wyniku nadmiaru informacji. Czy dzieje się tak dlatego, iż te informacje są bezwartościowe?

Klasyczny przykład działań na zasadzie Web 2.0 możemy odnaleźć w tworzeniu np. Wikipedii czy systemu Linux, w których treść generowana jest przez samych użytkowników. Strategia tworzenia wartości oparta jest więc w całości na czerpaniu jej ze źródeł zewnętrznych (będących na zewnątrz organizacji), nie zaś na outsoursowaniu jedynie zbędnych czynności, po to, aby maksymalnie optymalizować kluczowe kompetencje. Rozwój tego typu strategii zapoczątkował funkcjonowanie nowych modeli biznesu opartych na produkcji partnerskiej. Wśród nich można zaobserwować sieci współtworzenia wykorzystujące crowdsourcing – całkowicie otwarte modele współpracy. Praktyczne rezultaty wykorzystania zewnętrznego źródła wiedzy, uwidoczniły kreatywną potęgę społeczności potrafiącą rozwiązywać trudne problemy lub formułować bardzo dokładne prognozy. Często cytowanym przykładem uzasadniającym powyższy wniosek jest przedsięwzięcie grupy politologów z Uniwersytetu stanowego stanu Iowa. Dotyczyło eksperymentu przewidzenia wyników wyborów – nie w tradycyjnej postaci ankietowej, ale przy wykorzystaniu mądrości tłumu, przez umożliwienie postawienia pewnej kwoty rzeczywistych pieniędzy na wygraną jednego z kandydatów (G. W. Bush, M. Dukakis). Nazywano to Iowa Political Stock Market. Po zakończonych wyborach tradycyjne wyniki badań ankietowych wskazały średni błąd na poziomie 2,5%, a IPSM – pojedynczych promili. Po tym sukcesie Uniwersytet Iowa rozciągnął tę działalność – przemianowaną na Iowa Electronic Market (www.biz.uiowa.edu/iem/index.cfm) – na inne obszary zbierania opinii, jak wybory w innych krajach, ceny akcji, decyzje Rezerwy Federalnej.

Czy więc przewidywanie przyszłości przez społeczność może być trafniejsze, niż naukowe metody stosowane obecnie? W ostatnich latach inteligencja zbiorowa wzbudza coraz większe zainteresowanie. Wikipedia – encyklopedia online, której użytkownicy mogą dodawać, uzupełniać i modyfikować informacje z każdej dziedziny – zapoczątkowała rozwój inteligencji zbiorowej, jednocześnie dając początek dyskusji na temat jakości informacji tworzonej przez grupę. Bestseller Jamesa Surowieckiego „Mądrość tłumów” (The Wisdom of Crowds) tylko podsycił entuzjazm do możliwości jakie daje myślenie zbiorowe. Powiedzenie „Co dwie głowy, to nie jedna” nabrało nowego sensu, gdyż w tym kontekście „wiele głów to jeszcze lepiej”. Zdaniem J. Surowieckiego, zamiast wysłuchiwać odpowiedzi ekspertów, powinniśmy raczej skierować pytanie do tłumu. Istnieje spore prawdopodobieństwo, że będzie on znał właściwą odpowiedź. Nawet jeśli poszczególna osoba nie posiada szczególnie rozległej wiedzy i nie potrafi myśleć bardzo racjonalnie, jako całość grupa może wciąż dokonywać mądrych wyborów[2].

Analizując rozwój internetu, można zauważyć, iż obecna ewolucja bazuje na tworzeniu możliwości wykorzystania znajdującej się wiedzy zgromadzonej poprzez system Web 2.0. Jest to więc istotna zmiana w sposobie kreacji nowej wiedzy. Ten kolejny etap specjalizacji nazywany „Web 3.0” bazuje na efekcie mnożnikowym korzyści, tj. tworzenia jej z już istniejących zasobów internetu za pomocą inteligentnego oprogramowania komputerowego. Biorąc pod uwagę powyżej przedstawioną ewolucję ekonomii sieci, powstaje jeszcze inne istotne pytanie. Czy wiedzę zgromadzoną np. poprzez efekt crowdsourcingu lub zastosowanie technologii współtworzenia „wiki”, można ponownie (nie tylko doraźnie, jednorazowo) wykorzystać, zgodnie z logiką działania Web 3.0? Czy i w jaki sposób można stworzyć system mnożnikowy, który wytworzoną wiedzę wielokrotnie poddawałby komercjalizacji, dynamicznie tworząc nową wartość?

Cel projektu badawczego

Celem projektu jest użycie zgromadzonych w internecie informacji wytworzonych przez serwisy Web 2.0 i odnalezienie korelacji pomiędzy monitorowanymi nasileniami ilościowymi wypowiedzi internautów oraz ich znaczeniem afektywnym – sentymentem, a zmianami kursów spółek i indeksów giełdowych. Szczególnym celem jest wykrycie takiego powiązania, które umożliwiłoby przewidywanie zmian wartości kursów w przyszłości.

Temat wpływu sentymentu inwestorów na notowania rynkowe spółek giełdowych jest znany i badany już od przynajmniej kilkunastu lat[3]. Analiza społeczności internetowych jest jednak nowym zagadnieniem, ciągle słabo zbadanym. Znacząco zyskuje ona na popularności. Wraz z rozwojem internetu, badacze uświadamiają sobie drzemiący w niej potencjał.

Pojawiające się w ciągu ostatniego roku w prasie naukowej badania potwierdzają istnienie powiązań pomiędzy opiniami internautów a notowaniami giełdowymi[4]. Powiązania te są na tyle wyraźne, że umożliwiają przewidywanie zmian kursów z zaskakująco dużą skutecznością[5].

Badań tego typu zostało jednak wykonanych do tej pory tylko kilka. Wszystkie charakteryzowały się uproszczonym badaniem zbiorczego sentymentu internautów z tylko jednego serwisu internetowego. Wyniki analizy wypowiedzi był porównywane tylko do całokształtu indeksu giełdowego. Celem planowanego badania jest przeprowadzenie takiego badania na szerszą skalę i w bardziej rozbudowany sposób, tzn.:
Dokładniejsze analizowanie wypowiedzi zebranych z całego internetu za pomocą narzędzia –aplikacji internetowej, wytworzonej przez Autorów w ramach ponad rocznej pracy badawczej na Politechnice Gdańskiej oraz współpracy ze spółką EX3 Infotech. Jest ona znacząco bardziej zaawansowane niż dotychczas używane.
Poszukiwanie korelacji pomiędzy wypowiedziami dokładnie na temat danej spółki giełdowej oraz notowaniami tej spółki.

Istniejący stan wiedzy

Słuszność teorii, mówiących że ekonomia nie rządzi się tylko prawami rynku, ale istotny jest także psychologiczny aspekt działań jego uczestników, potwierdzona została przyznaniem Nagrody Nobla w 2002 Danielowi Kahnemanowi za jego wkład w zintegrowanie wyników badań psychologicznych do nauk ekonomicznych, szczególnie dotyczących ludzkich osądów i podejmowania decyzji w warunkach niepewności. Jego odkrycia zainspirowały nową generację badaczy ekonomii i finansów, którzy wykorzystują metody psychologii do tłumaczenia zachowań ludzkich. Niemniej jednak poglądy dotyczące wpływu mechanizmów psychologicznych na rynki były wyrażane już dużo wcześniej. W szczególności te dotyczące wpływu nastroju uczestników rynku kapitałowego na kursy akcji, które były formułowane jeszcze na długo przez upowszechnieniem się internetu.

Jak zauważa R. Shiller w swoim szerokim studium, analizując historię rynku w Stanach Zjednoczonych, kursy indeksów giełdy nowojorskiej zależą przede wszystkim od popytu inwestorów indywidualnych. Przedstawia on wiele dowodów na to, że popyt ten zależy istotnie lub wręcz w sposób dominujący od zmian dynamiki społecznej[6]. Nowsze opracowania istotnie akcentują, że teorie ekonomiczne przeszły od założeń o efektywności rynku do teorii behawioralnych mówiących o podejmowaniu decyzji przez uczestników rynku w sytuacji niepewności informacji[7].

M. Baker i J. Wurgler porównując kursy spółek giełdowych, pokazali, że fale zmian sentymentu inwestorów przekładają się w sposób ważny, widoczny i powtarzalny na akcje danych spółek oraz na całokształt rynku akcji. Efekt ten był szczególnie widoczny w przypadku spółek, których kurs był niestabilny, a obiektywna wycena trudna do przeprowadzenia.[8]

Nastroje inwestorów, skorelowane ze zmianami kursów spółek, przekładają się automatycznie na zwroty z inwestycji. Jak dowiedli W. Lee, Ch. Jiang i D. Indro, przekraczające normę zwroty z inwestycji są pozytywnie skorelowane ze zmianami w sentymencie. Co więcej, zmiana nastroju inwestorów na bardziej pozytywne prowadzi do oceny rynku jako bardziej stabilnego i równocześnie większych oczekiwań co do zwrotów z inwestycji. Efekt odwrotny powoduje pogorszenie nastroju, skutkujące oceną rynku jako niestabilnego i mniejszymi oczekiwaniami zysków.[9]

Idąc dalej tropem stabilności rynku, najnowsze wyniki badań M. Zouaoui, G. Nouyrigat i F. Beer dotyczące wpływu sentymentu inwestorów na kryzysy giełdowe w latach 1995-2009 w 15 krajach UE i Stanach Zjednoczoncyh dowodzą, że nastroje inwestorów mogą służyć przewidywaniu kryzysów w perspektywie czasowej jednego roku. W opinii autorów badań sentyment inwestorów stanowi coraz bardziej znaczącą siłę w przewidywaniu zmian na rynku akcji, większą niż wszystkie inne dostępne wskaźniki. Wpływ nastroju jest szczególnie wysoki w krajach, w których nadmierne reakcje są uwarunkowane kulturowo, oraz tych, które posiadają nieefektywne instytucje nadzorujące rynek.[10]

Na podstawie wyników mówiących o korelacji pomiędzy sentymentem inwestorów a kursami spółek giełdowych, przeprowadzone zostały badania dotyczące zależności pomiędzy opiniami internautów z serwisu mikroblogowego Twitter, a zmianami indeksu Dow Jones Industrial Average. Naukowcy analizowali wszystkie wypowiedzi pojawiające się w serwisie za pomocą dwóch narzędzi, mierzących opinie na skali pozytywny – negatywny oraz na 6-stopniowej psychologicznej skali nastroju. Następnie za pomocą analizy przyczynowości Grangera oraz samoorganizujących się sieci neuronowych próbowali zbadać hipotezę, że nastrój społeczny jest proroczy dla kursu zamknięcia indeksu DIJA. Badacze osiągnęli 87,6% skuteczności w prognozowaniu zmiany kursu[11]. Podobne badanie przeprowadzono również w znacznie prostszy sposób, analizując częstość pojawiania się w kolejnych dniach słów: “strach”, “nadzieja” oraz “zmartwienie”. Na tej podstawie stworzono prosty model prognozowania zmienności rynku, który osiągnął wysokie współczynniki korelacji z indeksami giełdowymi: DIJA (0.672) ,NASDAQ (0.663) oraz S&P500 (0.657), a także z indeksem niestabilności rynku VIX (0.557)[12].

Metodologia

Do przedmiotowego badania zostanie wykorzystany stworzony przez Autorów prototyp systemu katalogującego i analizującego wypowiedzi internautów, w szczególności wykrywającego stosunek emocjonalny autorów wypowiedzi do badanych obiektów na skali pozytywny – negatywny. Narzędzie to, o nazwie roboczej „Chimeo”, zostanie zastosowane do zebrania wypowiedzi dotyczących spółek giełdowych, a następnie ich analizy. Planowana jest analiza na skalach:

1) już zaimplementowanej skali wypowiedź pozytywna – negatywna,
2) oraz dodatkowo wprowadzonej 6-odcieniowej skali psychologicznego profilu nastroju.

Dokładne działanie narzędzia jest następujące. Rozproszony system pobiera wszystkie strony internetowe z podanej listy źródeł (ang. distributed crawling), automatycznie wyszukując w treści strony hiperłącza do innych podstron w ramach tej samej domeny. System analizuje każdą pobraną stronę w pamięci i za pomocą kilku algorytmów heurystycznych odnajduje w jej treści wypowiedzi internautów. Tak zebrane wypowiedzi składowane są w dokumentowej bazie danych, rozproszonej pomiędzy wiele komputerów ze względu na bardzo duży rozmiar danych. Następnie, w momencie wywołania analizy, wyszukiwane są wypowiedzi zawierające wybrane słowa kluczowe i poddawane są one analizie za pomocą algorytmu sztucznej inteligencji. Jest to algorytm oparty o samouczący się Naiwny Klasyfikator Bayesa. Klasyfikator ten nauczony jest wag poszczególnych słów za pomocą zbioru uczącego, zawierającego z góry podzielone wypowiedzi na pozytywne i negatywne. Wraz z rozbudową zbioru uczącego poprzez weryfikację wyników analizy poprawia on swoją skuteczność działania. W przeprowadzanych przez nas wielu testach osiągał on skuteczność oceny w zakresie 84-97%. Wyniki analizy wypowiedzi zbierane są w zbiorczej relacyjnej bazie danych.

Tak zebrane wypowiedzi z przestrzeni ostatnich 3 lat zostaną porównane z historią notowań na giełdzie nowojorskiej na Wall Street. W szczególności analizowane będą spółki wchodzące w skład indeksów Standard & Poor’s 500, Dow Jones Industrial Average oraz NASDAQ Composite. W celach porównawczych wzięty pod uwagę będzie kurs zamknięcia danej spółki. Dla każdej ze spółek wchodzących w skład tych indeksów zostaną wyszukane i przeanalizowane wypowiedzi internautów.

Analizując daną spółkę, z jednej strony zebrane będą dane dotyczące tego ilu internautów i w jaki sposób wypowiadało się na jej temat w przeszłości, z drugiej strony znana będzie historia jej kursu. Na podstawie tych danych dokonana zostanie próba odkrycia powiązań umożliwiających prognozowanie zmiany kursu na podstawie danych o wypowiedziach. W tym celu użyte zostaną algorytmy sztucznej inteligencji, w szczególności sztuczne sieci neuronowe o samoorganizujących się mapach (sieci Kohonena). Jak wynika z poprzednich badań w tym temacie charakteryzują się one najlepszą skutecznością. Niemniej jednak autorzy dopuszczają użycie innych rozwiązań, takich jak maszyny wektorów nośnych (ang. support vector machines) czy klasyfikatory Bayesowskie, gdyby po wstępnych badaniach okazało się, że skuteczniej przewidują one zmiany kursów. Opracowany zostanie w ten sposób algorytm sztucznej inteligencji, mogący przewidywać zmiany kursów spółek. Działanie takiego algorytmu zostanie zweryfikowane w oparciu o historyczne dane notowań.

Przewidywanie wyniki i ich znaczenie

Przewidywanie kursów spółek i indeksów giełdowych jest szczególnie trudne, gdyż w związku z turbulentnym otoczeniem i konsekwencją zmian oddziałujących w różnej konfiguracji połączeń, należy skupić się na wielu aspektach wpływających na wycenę spółek. Istotę tego problemu można odnaleźć w myśli przewodniej książki G. Kołodki „Wędrujący Świat” – „Rzeczy dzieją się tak, jak się dzieją, bo wiele rzeczy dzieje się jednocześnie”[13].

Autorzy projektu przewidują usystematyzować chaos, używając mechanizm, który ten chaos kreuje – dzięki technologii wykorzystującej system Web 3.0 i crowdsourcing, badającej korelacji pomiędzy sentymentem wypowiedzi a zmianami kursów spółek notowanych na giełdzie. Jeśli uda się odnaleźć metody analizy wypowiedzi, które umożliwią odnalezienie przedmiotowej korelacji, zostanie opracowane narzędzie do wspomagania przewidywania zmian kursów.

Takie działające narzędzie może zostać skomercjalizowane i z pewnością znajdzie zastosowanie wśród inwestorów giełdowych, w szczególności u zarządzających funduszami inwestycyjnymi. Innym równie ważnym przestrzenią wykorzystania badań to społeczna odpowiedzialność biznesu. Z każdym rokiem coraz większa liczba przedsiębiorstw dostrzega wagę i wymierne korzyści z uwzględniania w strategii działań spółki interesów społecznych i ochronę środowiska, a także relacji z różnymi grupamiinteresariuszy. Dzieje się tak nie tylko z celów altruistycznych, ale przede wszystkim z wymiernym oddziaływaniem na wycenę spółki. Wydatki tego rodzaju są traktowane więc jako inwestycja, a nie koszt, podobnie jak w przypadku zarządzania jakością. Znajomość sentymentu społeczności oraz wiedza na temat nagłych ich wahań może być alertem dla przedsiębiorstwa, który skłaniając do szybkiej reakcji zabezpieczy proces destrukcji wartości firmy.


LITERATURA:
[1] Jankowski W., „Kolejny zwrot w sferze IT”, debata redakcyjna, Harvard Business Review Polska, luty 2011, s. 100.
[2] Surowiecki J., “Mądrość tłumu. Większość ma rację w ekonomii, biznesie i polityce”, Wydawnictwo Helion, Gliwice 2010.
[3] Shiller, R. J., “From efficient markets theory to behavioral finance”. The Journal of Economic Perspectives 2003, March 1, Volume 17, Number 1, , strony 83-104.
[4] Bollen, J., Mao, H. i Zeng, X., “Twitter mood predicts the stock market”, Journal of Computational Science 2011, Volume 2, Issue 1, strony 1-8.
[5] Grossman, L,. “Twitter Can Predict the Stock Market”. Wired Science, October 19, 2010.
[6] Shiller R., Fischer S., Friedman B “Stock Prices and Social Dynamics”, Brookings Papers on Economic Activity, The Brookings Institution, Vol. 1984, No. 2, pages 457-510, http://www.math.mcmaster.ca/~grasselli/Shiller84.pdf
[7] Shiller R., 2003. “From efficient markets theory to behavioral finance”, The Journal of Economic Perspectives, Volume 17, Number 1, 1 March 2003 , pp. 83-104(22), http://www.bilkent.edu.tr/~aydogan/man522/EfficientMarkets_Shiller.pdf
[8] Baker M, Wurgler W., „Investor Sentiment in the Stock Market,” Journal of Economic Perspectives, American Economic Association 2007, vol. 21(2), pages 129-152, Spring, http://www.nber.org/papers/w13189.pdf
[9] Lee W, Jiang Ch., Indro D.,. „Stock market volatility, excess returns, and the role of investor sentiment”, Journal of Banking & Finance 2002, Volume 26, Issue 12, Pages 2277-2299, https://umdrive.memphis.edu/cjiang/www/teaching/fir87710/paper/lee_jiang_indro_2002_jbf_investor_sentiment.pdf
[10] Zob. http://cerag.org/cahiers_recherche/cr%202010%2008%20E2.pdf
[11] Bollen J., Mao H., Zeng X., “Twitter mood predicts the stock market”, Journal of Computational Science, Volume 2, Issue 1, March 2011, Pages 1-8, http://arxiv.org/pdf/1010.3003v1
[12] Zhang X., Fuehres H., Gloor P., “Predicting Stock Market Indicators Through Twitter”, Second International Collaborative Innovation Networks Conference (COINs 2010), Oct 7-9 2010, http://www.ickn.org/documents/COINs2010_Twitter4.pdf
[13] Kołodko G., „Wędrujący świat”, Pruszyński i S-ka 2008.