Парсинг за допомогою Python. Веб-скрапінг у дії. 3-е видання. Мітчелл Раян

Парсинг за допомогою Python. Веб-скрапінг у дії Якщо програмування - магія, то веб-скрапінг - справжнє чаклунство. Написавши просту автоматизовану програму, можна надсилати запити до веб-серверів, отримувати відповіді з даними, а потім аналізувати ці дані та витягувати необхідну інформацію.

Це оновлене третє видання книги не тільки познайомить вас із веб-скрапінгом, а й послужить вичерпним посібником зі збору практично будь-яких видів даних у сучасному Інтернеті. У частині I основну увагу приділено механіці веб-скрапінгу: як за допомогою Python надсилати запити веб-серверам, обробляти відповіді та автоматизувати взаємодію з сайтами. У частині II досліджуються більш конкретні інструменти та додатки, які стануть у пригоді за будь-якого сценарію веб-скрапінгу.

Книга покаже, як:

- аналізувати складні HTML-сторінки;

- розробляти веб-сканери за допомогою фреймворка Scrapy;

- зберігати дані, отримані за допомогою скрапінгу;

- читати і витягувати дані з документів;

- очищати і нормалізовувати погано відформатовані дані;

- читати і записувати інформацію природними мовами;

- виконувати пошук за формами і сторінками входу;

- виконувати скрапінг JavaScript-коду і працювати з API;

- писати і використовувати програми для перетворення зображень у текст;

- обходити протискрапінгові пастки і блокатори ботів;

- тестувати свої веб-сайти за допомогою скрапінгу.