Інтернет містить велику кількість даних. Ці дані надаються як через структуровані API, так і через вміст, що надається безпосередньо через веб-сайти. Хоча дані в API добре структуровані, інформація на веб-сторінках часто є неструктурованою та потребує збору, вилучення та обробки, щоб мати цінність. Збір даних — це лише початок подорожі, оскільки ці дані також потрібно зберігати, видобувати, а потім надавати іншим у формі з доданою вартістю. З цією книгою ви дізнаєтесь про багато основних завдань, необхідних для збору різних форм інформації з веб-сайтів. Ми розповімо, як їх збирати, як виконувати кілька поширених операцій із даними (зокрема, зберігати їх у локальних і віддалених базах даних), як виконувати типові медіа-завдання, такі як перетворення зображень і відео на мініатюри, як очистити неструктуровані дані за допомогою NTLK, як вивчити кілька інструментів інтелектуального аналізу даних і візуалізації, і, нарешті, основні навички створення скребка на основі мікросервісів і API, які можна і буде працювати в хмарі. Завдяки підходу на основі рецептів ми навчимося незалежним методам вирішення конкретних завдання, пов’язані не лише з копіюванням, але й з маніпулюванням даними та керуванням ними, інтелектуальним аналізом даних, візуалізацією, мікросервісами, контейнерами та хмарними операціями. Ці рецепти розвиватимуть навички прогресивним і цілісним способом, не лише навчаючи, як виконувати основи скрейпінгу, але й переведуть вас від результатів скрейпінгу до сервісу, який пропонується іншим через хмару. Ми створюватимемо справжній веб-скребок як послугу, використовуючи звичайні інструменти в екосистемах Python, контейнерах і хмарах. Для кого ця книгаЦя книга для тих, хто хоче навчитися отримувати дані з веб-сайтів за допомогою процесу скрапінг, а також як працювати з різними інструментами керування даними та хмарними службами. Кодування вимагатиме базових навичок мови програмування Python. Книга також призначена для тих, хто хоче дізнатися про більшу екосистему інструментів для отримання, зберігання та пошуку даних, а також про використання сучасних інструментів і бібліотек Pythonic для створення даних API і хмарні сервіси. Можливо, ви також використовуєте Docker і Amazon Web Services для упаковки та розгортання скребка в хмарі.