httphttpcurl

Как свернуть или развернуть веб-страницу?

просмотры: 6.9K

Я хотел бы выполнить ночное задание cron, которое извлекает мою страницу stackoverflow и сравнивает ее со страницей предыдущего дня, чтобы я мог видеть сводку изменений моих вопросов, ответов, ранжирования и т. Д.

К сожалению, мне не удалось получить нужный набор файлов cookie и т. Д. Для работы. Любые идеи?

Кроме того, после завершения бета-тестирования, будет ли моя страница статуса доступна без входа в систему?

Источник

Ответов (5)

Решение

Ваша страница статуса теперь доступна без входа в систему (нажмите « Выйти» и попробуйте). Когда бета-куки отключены, между вами и вашей страницей статуса ничего не будет.

Для wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html
Источник

Хорошая идея :)

Я полагаю, вы использовали wget

--load-cookies (filename)

может немного помочь, но может быть проще использовать что-то вроде Mechanize (на Perl или python), чтобы более полно имитировать браузер, чтобы получить хорошего паука.

Источник

От Марка Харрисона

А вот что работает ...

curl -s --cookie soba =. https://stackoverflow.com/users

А для wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html
Источник

А вот что работает ...

curl -s --cookie soba=. http://stackoverflow.com/users
Источник

Я также не мог понять, как заставить работать файлы cookie, но я смог попасть на свою страницу состояния в моем браузере, когда я вышел из системы, поэтому я предполагаю, что это сработает, когда stackoverflow станет общедоступным.

Это интересная идея, но разве вы не заметите также различия в базовом html-коде? Есть ли у вас стратегия, чтобы избежать разницы в HTML, а не в фактическом содержании?

Источник