Pobieranie obrazu strony

Próbuje napisać aplikacje wyszukującą, ciekawe , zawyżone kursy wśród bukmacherów. Natknąłem się jednak na problem, którego nie moge przeskoczyć. Chodzi o strony typu ta : http://www.betexplorer.com/hot/ gdzie mamy kursy różnych bukmacherów zebranych w jedno miejsce. Chciałbym , żeby aplikacja pobierała te kursy na bieżąco, po czym poddawała dalszej analizie. Powstał jednak problem - nie wiem jak te kursy “skopiować”. Pierwsza myśl była, żeby ściągnąć kod html strony i w nim wyszukiwać wartości, teoretycznie sie udało bo w kodzie są zapisane kursy, jednak kod pojedynczej podstrony liczy po pare tysięcy linijek kodu i przy większej liczbie meczy może okazać się, że program będzie działał bardzo wolno. Chodzi mi o to, żeby ściągnąć coś a`la obraz strony i wrzucić to w jakąś baze danych (coś jak opcja w Excelu Data -> From Web). Oczywiście nie proszę o gotowe rozwiązanie, tylko podpowiedź czy istnieje jakiś gem do tego typu spraw i gdzie szukać.

Pomysł: przetwarzaj stronę w połączeniu z xPath.

Gem nazywa się nokogiri - http://nokogiri.org/
Parsowanie nie powinno zająć więcej aniżeli pobranie strony.

Ok świetnie Nokogiri rozwiąże problem najprawdopodobniej :slight_smile: Jakby ktoś był zainteresowany to fajny filmik zrobił gość na ten temat od podstaw :

Dzięki

poczytaj o mechanize

I nie pobieraj tych kursów na bieżąco, tylko asynchronicznie w tle.

A do tego polecam gem whenever: https://github.com/javan/whenever

przypadkiem nie ten ?

https://github.com/typhoeus/typhoeus :wink: