Juhtumiuuring: kasutage Tumblri 3000 piltide roomamiseks PHPQueryt

Tumblris on ilusaid pilte. Piltide otsimiseks ja allalaadimiseks saame kasutada Tumblri API-sid, kuid see nõuab tavaliselt registreerimist ja API-võtmeid. Teine võimalus on roomata HTML-i veebilehtedel ja sõeluda DOM-i (Document Object Model), mis võimaldab meil hankida piltide URL-id ja nende kirjeldused.

Seal on mugav raamatukogu, mida nimetatakse PHPQueryks. See võimaldab meil kirjutada JQuery stiilis PHP – d nii, nagu kirjutame JQuery, kasutades CSS-i valijaid. See muudab PHP võimsaks mis tahes HTML-lehtede DOM-i analüüsimisel.

phpquery

Järgmine on psudokood, mis illustreerib HTML – lehtede sõelumist ja piltide haaramist.

PHPQuery abil on DOM-i analüüsimine palju lihtsam! Klõpsake säutsumiseks

Väheste muudatustega saate lasta skriptil mõne minuti jooksul indekseerida mitu tuhat pilti. Kõik pildid salvestatakse VPS-serveri kohalikesse andmebaasidesse. Pilte saab näha aadressil: uploadbeta.com

Parem on määrata lehel roomamise vahele ajavahemik, vastasel juhul võib IP-aadress olla blokeeritud.

Pildi indekseerimine

PS, piltide üleslaadimise veebisait toetab mõningaid API-sid erinevatel eesmärkidel, mille puhul kehtivad õiglase kasutamise eeskirjad: https://uploadbeta.com/picture-gallery/faq.php#api