Сучасний скрапинг веб-сайтів за допомогою Python. 2-е міжн. видання. Мітчелл Р.

Якщо програмування нагадує чари, то веб-скрапинг — це дуже сильне колдунство. Написавши просту автоматизовану програму, можна відправляти запити на веб-сервери, запитувати з них дані, а потім аналізувати їх і отримувати необхідну інформацію. Нове розширене видання книги знайомить не тільки з веб-скрапингом, але і допоможе зібрати будь-якого виду даних в сучасному Інтернеті.
У частині I основну увагу приділено механіці веб-скрапинга: як за допомогою Python запитувати інформацію з веб-сервера, виробляти базову обробку серверного відгуку і організувати автоматизоване взаємодія з сайтами. У частині II досліджено більш специфічні інструменти та програми, які знадобляться при будь-якому сценарії веб-скрапинга.
- Розбирайте складні HTML-сторінки.
- Розробіть пошукові роботи з допомогою фреймворку Scrapy.
- Вивчайте методи зберігання даних, отриманих з допомогою скрапинга.
- Считывайте і виймайте дані з документів.
- Очищайте і нормалізуйте погано відформатовані дані.
- Читайте та пишіть інформацію на природних мовах.
- Освойте пошук за формами і логінів.
- Вивчіть скрапинг JavaScript і роботу з API.
- Використовуйте і пишіть програми для перетворення зображень в текст.
- Вчіться обходити скрапинговые пастки і блокатори ботів.
- Протестуйте власний сайт за допомогою скрапинга