Phenquestions
Наскоро взех инструмента и бях впечатлен от това колко неща Octoparse позволява на потребителите. В тази статия ще видите за какво се отнася Octoparse, въведение в неговия вграден скрепер и също как можете да създадете свой собствен скрепер от нулата.
Octoparse е инструмент, използван за изстъргване на данни от уебсайтове. Това е лесно за използване приложение за уеб обхождане за извличане на данни, без да се налага да пишете допълнителен ред код.
Octoparse не е сложен за използване и само с три стъпки можете да направите страхотни неща с този мощен инструмент за обхождане на мрежата. Всичко, от което се нуждаете, е URL адресът, от който се нуждаете, за да извлечете данни и няколко кликвания.
Той няма никакви ограничения по отношение на това от какъв уебсайт може да изстъргва данни. Освен това експортирането на данни е улеснено под формата на CSV файл или API.
Можете да се възползвате от функциите на Octoparse. Някои от тях са:
- Позволява ви бързо да създавате уеб роботове, без да пишете ред код
- Предоставя облачна услуга за планирано извличане на данни и ротация на IP
- Той предлага неограничено място за съхранение
- Тя ви позволява да наемете професионални експерти по изчистване на данни от Octoparse, които да ви свършат работа
С това имате солидна концепция за това какво е Octoparse, неговата цел и как да започнете с него.
Първи стъпки с Octoparse
Преди да изградим първия си уеб робот, нека създадем нашата среда за разработка. Започваме с изтеглянето на Octoparse от официалния им уебсайт. Препоръчвам ви да изтеглите Octoparse 7.1 версия.
Защо Octoparse 7.1?
Октопарен 7.1 идва с функции, които няма да намерите в по-старите версии на инструмента:
- Шаблони на задачи, които помагат с предварително дефинирани шаблони при изстъргване на данни от уебсайтове като Amazon или eBay.
- Таблото има структуриран нов облик, който предоставя повече информация на потребителя.
- Възможност за изстъргване на данни от множество URL адреси чрез импортиране от Excel лист, CSV или текстов файл.
- Антиблокираща функция за заобикаляне на защитите, които пречат на потребителите да изстъргват данни от уебсайт.
Можете да изтеглите Octoparse версия 7.1 изпълним файл. Той работи само на операционни системи Windows, така че ще ви е необходим VirtualBox, за да работи на вашата машина Linux. Octoparse предоставя ръководство за използване на инструмента за потребители на Linux машини.
Въведение в шаблона на задачата
Шаблонът за задача е функция, въведена в най-новата версия на Octoparse, предназначена да улесни изстъргването в мрежата за всички, независимо от техническите познания.
Как да използвам шаблона на задачата
За да ви спестим време, наистина няма дълъг процес за използване на шаблони на задачи. Необходими са обаче някои данни, които включват целевия URL адрес, ключови думи за търсене и много повече параметри, от които се нуждаете, за да извлечете необходимите данни по ваш избор от уебсайта.
Octoparse вече има някои вградени шаблони, когато трябва да изтриете данни от тях, повечето от които включват Google, Amazon, eBay и Walmart, наред с други. Нека се опитаме да използваме един от вградените шаблони на задачи.
Започвате с избор на шаблон по ваш избор, в този случай нека използваме шаблона за задачи на eBay. След като изберете шаблона, ще бъдете подканени да въведете параметрите си въз основа на необходимите данни. Тези параметри са целеви URL или ключова дума за търсене.
В нашето поле за параметри въведете „Nike shoes” като ключовата дума. С това Octoparse изпълнява останалата част от задачата, като извлича всички данни въз основа на вашите параметри, в този случай всички обувки на Nike. Тези данни са готови за използване за каквато и цел да имате предвид.
За по-нататъшен анализ на изтритите ви данни, отидете до раздела поле за данни на шаблона на вашата задача, за да видите допълнителна информация за цялото съдържание на уеб страницата, която включва изображения на обувки Nike, име на продавача, цена и брой инвентар.
Можете също така да отидете до раздела за примерни изходи, за да видите информация за данните като име на продукта, URL адрес на продукта и много повече данни, виртуално свързани с всички обувки Nike в eBay.
Видяхте колко лесно е да изстържете данни с шаблон на задача. Поиграйте с шаблона на задачата и изтрийте данни от eBay. Изпробвайте други вградени шаблони за задачи като Walmart или Google с Octoparse.
Изграждане на уеб робот с Octoparse
Стигнали сте дотук, за да създадете уеб робот с Octoparse. Имате основни познания и всичко, което трябва да знаете за изстъргване на данни от уебсайт с помощта на шаблон на задача. Можете обаче сами да изградите уеб робот.
При изграждането на уеб робот с Octoparse има два подхода. Те са:
- Режим на съветника
- Разширен режим
Изграждане на уеб робот с режим Octoparse Wizard
Подходът на Wizard Mode всъщност е по-лесен и бърз начин за изстъргване на данни от уебсайт. С плавен интерфейс стъпка по стъпка можете за нула време да стартирате и стартирате вашия уеб робот. Препоръчваме ви обаче да използвате разширен режим за по-сложно изчистване на данни.
С Wizard Mode можете да изтривате данни от таблици, връзки или елементи на страници. Ограничени до обхвата на този урок, ще се научите да изграждате уеб робот за една уеб страница.
Като начало стартирайте приложението си Octoparse и създайте нова задача от режима на съветника и въведете URL адреса, от който искате да изтриете данни. Можете да преименувате полето за въвеждане на група на всичко, което ви се струва готино, и да щракнете върху следващия бутон.
Ще бъдете навигирани до нова страница, за да изберете тип на извличане и тъй като работите по изстъргване на данни от една уеб страница, вие ще отделната страница. Тъй като вашият тип данни за извличане е много дефиниран, вече можете да дефинирате нашите полета.
За да дефинирате вашите полета, избирате целевите данни от отделната уеб страница и след като го направите, той автоматично попълва данните в полетата, сега можете да редактирате свойството на полетата в каквото искате и можете да добавите още данни, като щракнете върху бутона за добавяне на повече полета.
Следвайки тези стъпки, ще можете да извлечете данни от една уеб страница за по-малко от пет минути.
Изграждане на уеб робот с Octoparse Advanced Mode
Режимът на съветника може да се използва при изстъргване на прости уебсайтове с лесна структура, но уебсайтовете, проектирани с по-сложни структури, ще бъдат по-трудна задача. Разширеният режим е инструментът, който ще използвате за изстъргване на такива уебсайтове.
Продължете и стартирайте приложението си Octoparse, в разширения режим, създайте нова задача и въведете URL адреса, от който искате да изтриете данни, и натиснете бутона за запазване. Това ви навигира към работния процес на конфигуриране на задачата.
Интерфейсът на работния поток за конфигуриране на задачи ви дава повече гъвкавост по отношение на начина, по който искате да извлечете данни. Функцията за предварително дефиниране на работния поток е изключена по подразбиране, така че я включете, за да започнете с нея.
В разширен режим, когато избирате данни на уеб страницата, получавате съвети за действие, които да изпълните за избраните данни.
От уеб страницата, от която искате да обхождате данни, когато щракнете върху елемент, ще видите съветите за действие в долния десен ъгъл на страницата. Съветите за действие ви позволяват да изберете какво искате да направите, като например извличане на данни.
С разширения режим можете да отделите по-голямата част от времето си в създаването на работния процес за извличане на данни и след като преминете този етап, работният процес на вашата задача ще бъде готов за употреба. Просто кликнете върху бутона за стартиране на извличане, за да Octoparse работи в съответствие с вашия работен процес.
Работата с разширен режим може да изглежда малко трудно за разбиране за първите таймери, но с времето ще се чувствате по-удобно.
Заключение
Можете да изстъргвате уебсайтове, като пишете код за уеб стъргалки, но това може да отнеме много време. Octoparse ви дава страхотни резултати, без да пишете код или да отделяте време за работа по логиката на скрепера.
В тази статия сте видели за какво е Octoparse, как ви спестява време и усилия. Виждали сте също как можете да използвате вградените шаблони на задачи за изстъргване на данни от определени уебсайтове, а също така да създадете свои собствени мощни уеб скрепери.
Понастоящем Octoparse се предлага само като изпълним файл за Windows, така че ще ви е необходим VirtualBox, за да го използвате на вашата Linux машина.
Можете да посетите официалния уебсайт на Octoparse, за да научите повече за разширения режим и режима на съветника, за да можете да изтриете много уебсайтове.
