Urllib2 import urllib2. urllib2 Получение текста страницы: t =.join(urllib2.urlopen(url)) Это некрасивый код, но он работает. - презентация

1 urllib2 import urllib2

2 urllib2 Получение текста страницы: t =.join(urllib2.urlopen(url)) Это некрасивый код, но он работает

3 urllib2 Загрузка файла (если он бинарный, например, картинка): open(1.jpg, "wb").write(urllib2.urlopen(url).read()) Написанное выше – ужасный код. Но работает Что происходит - понятно

4 urllib2 Описание urllib2.Request: Параметры: URL, post, headers post – строка, содержащая параметры post Её можно получить из словаря так: urllib.urlencode(post_dict.items()) Для этого не забываем сделать import urllib headers – словарь с заголовками

5 urllib2 Что можно интересного сделать с объектом, возвращаемым urllib2.Request req.set_proxy( :8118, "http") Установить прокси-сервер на протокол http для этого запроса

6 urllib2 Что можно интересного сделать с объектом, возвращаемым urllib2.Request req.add_header("Cookie", fu=abc) Это еще один способ установления заголовка Если используют одновременно прокси, обычно только этот способ и работает.

7 urllib2 Описание urllib2.urlopen: Принимает параметры: req – просто URL или объект, возвращаемый urllib2.Request Необязательный timeout – таймаут запроса в секундах Именно при вызове этого метода происходит обращение к сайту.

8 urllib2 Что делать с объектом, возвращаемым urllib2.urlopen: Обращаются с ним, как с открытым файлом. Поэтому имеет смысл применять методы readlines() и read() Метод info() возвращает заголовки. После применения к его выдаче str() получается строка, которую можно разбирать

9 urllib2 Исключения, возникающие при работе с urllib2: exception urllib2.URLError¶¶ exception urllib2.HTTPError¶¶

10 urllib2 Примеры – как получить код PDB файла: t =.join(urllib2.urlopen('

11 urllib2 Обладая Firebug и urllib2, можно проанализировать и сымитировать любую деятельность человека в сети. Как можно помешать работе паука? Например так:

12 urllib2 На чем мы будем учиться? На BLASTP