Jak zwijają lub wget stronę internetową?

głosy
16

Chciałbym, aby nocne crona, który pobiera moją stronę stackoverflow i dyferencjału ją od wczorajszego stronie, więc mogę zobaczyć podsumowanie zmian z moich pytań, odpowiedzi, ranking, etc.

Niestety, nie mogę uzyskać prawo zestaw ciasteczek, itp, aby to działało. Jakieś pomysły?

Również, gdy beta jest zakończona, będzie moja strona statusu być dostępne bez logowania?

Utwórz 05/08/2008 o 21:38
źródło użytkownik
W innych językach...                            


5 odpowiedzi

głosy
9

Strona status jest już dostępna bez logowania (kliknij wylogowanie i spróbuj). Kiedy beta-cookie jest wyłączona, nie będzie nic między wami a waszym stronie statusu.

Dla wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html
Odpowiedział 05/08/2008 o 21:43
źródło użytkownik

głosy
6

Od Mark Harrison

A oto, co działa ...

ta -S --cookie soba =. https://stackoverflow.com/users

I dla wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html
Odpowiedział 05/08/2008 o 23:04
źródło użytkownik

głosy
3

Dobry pomysł :)

Przypuszczam, że użyłeś Wget

--load-cookies (filename)

może pomóc trochę, ale to może być łatwiejsze w użyciu coś jak Mechanize (w Perl lub Python), aby naśladować przeglądarkę pełniej, aby uzyskać dobry pająka.

Odpowiedział 05/08/2008 o 21:43
źródło użytkownik

głosy
2

A oto, co działa ...

curl -s --cookie soba=. http://stackoverflow.com/users
Odpowiedział 05/08/2008 o 22:22
źródło użytkownik

głosy
2

Nie mogłem dowiedzieć się, jak dostać ciasteczka do pracy albo, ale udało mi się dostać do mojej stronie statusu w mojej przeglądarce, kiedy byłem wylogowany, więc zakładam, że to zadziała raz stackoverflow wchodzi na giełdę.

Jest to ciekawy pomysł, ale nie można również odebrać dyferencjału z bazowego kodu html? Czy masz strategię, aby uniknąć kończąc na diff do html, a nie rzeczywista zawartość?

Odpowiedział 05/08/2008 o 21:46
źródło użytkownik

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more