Próbuje napisać aplikacje wyszukującą, ciekawe , zawyżone kursy wśród bukmacherów. Natknąłem się jednak na problem, którego nie moge przeskoczyć. Chodzi o strony typu ta : http://www.betexplorer.com/hot/ gdzie mamy kursy różnych bukmacherów zebranych w jedno miejsce. Chciałbym , żeby aplikacja pobierała te kursy na bieżąco, po czym poddawała dalszej analizie. Powstał jednak problem - nie wiem jak te kursy “skopiować”. Pierwsza myśl była, żeby ściągnąć kod html strony i w nim wyszukiwać wartości, teoretycznie sie udało bo w kodzie są zapisane kursy, jednak kod pojedynczej podstrony liczy po pare tysięcy linijek kodu i przy większej liczbie meczy może okazać się, że program będzie działał bardzo wolno. Chodzi mi o to, żeby ściągnąć coś a`la obraz strony i wrzucić to w jakąś baze danych (coś jak opcja w Excelu Data -> From Web). Oczywiście nie proszę o gotowe rozwiązanie, tylko podpowiedź czy istnieje jakiś gem do tego typu spraw i gdzie szukać.
Pomysł: przetwarzaj stronę w połączeniu z xPath.
Gem nazywa się nokogiri - http://nokogiri.org/
Parsowanie nie powinno zająć więcej aniżeli pobranie strony.
Ok świetnie Nokogiri rozwiąże problem najprawdopodobniej Jakby ktoś był zainteresowany to fajny filmik zrobił gość na ten temat od podstaw :
Dzięki
poczytaj o mechanize
I nie pobieraj tych kursów na bieżąco, tylko asynchronicznie w tle.