Cov txheej txheem ntawm cov ntaub ntawv scraping, tseem hu ua web scraping, yuav cia li xa cov ntaub ntawv los ntawm lub vev xaib nkag rau hauv cov ntaub ntawv. Muaj ib tug xov tooj ntawm scraping cov cuab yeej muaj. Kev lag luam thiab lwm yam siv web scraping hnub no kom tau txais cov ntaub ntawv ntawm cov neeg sib tw, kev lag luam, kev nrhiav neeg ua haujlwm, thiab ntau hom kev ntsuas. Tab sis yog web scraping raws li txoj cai?
Cov lus teb yog nws nyob ntawm. Whilst txoj cai nws tus kheej tsis txhaum cai, dab tsi koj ua nrog cov ntaub ntawv tom qab nws tau ua khawb yuav ua tau.
Scraping ntawm cov ntaub ntawv tus kheej
GDPR thiab lwm cov ntaub ntawv tus kheej cov cai ntawm cov teb chaws sib txawv yog qhov ncaj thaum nws los txog kev khaws thiab khaws cov ntaub ntawv tus kheej. Yog li, yog tias koj raug nplua tus kheej cov ntaub ntawv, tshwj xeeb tshaj yog cov pej xeem EU, koj yuav tsum muaj kev cai lij choj yog vim li cas ua li ntawdCov. Uas tuaj yeem yog:
- Kev pom zoo tshwj xeeb - tsis zoo li tsuas yog lub vas sab Cov Lus Cog Tseg ntawm kev siv qhia rau cov neeg siv paub tias lawv cov ntaub ntawv yuav raug pov tseg thaum lawv sau npe. Kev pom zoo tshwj xeeb yog qhov tsim nyog rau scraping cov ntaub ntawv rhiab.
- Ntsig txog txoj cai nyiam - nws yuav nyuaj rau cov scrapers los qhia tias lawv tau txais kev txaus siab raws cai rau scraping thiab khaws cov ntaub ntawv tus kheej, tshwj tsis yog lawv yog tub ceev xwm lossis tsoomfwv cov chaw lis haujlwm.
GDPR yuav tsum ua cov ntaub ntawv ntau npaum li tsim nyog kom ua tiav ib txoj haujlwm. Muab hais tias automated web scraping feem ntau ua cov txheej txheem loj ntawm cov ntaub ntawv rau ntau lub hom phiaj, nws tuaj yeem suav hais tias tsis ua raws li GDPR cov ntaub ntawv no.
Raws li cov ntaub ntawv ntawm ntau lab tus neeg siv Facebook & LinkedIn raug liam tias muaj nyob online, @jon_belcher zoo nkaus li #dabneeghmoobpojntxoog & lub luag haujlwm ntawm cov ntawv tshaj tawm. https://t.co/FUqXMB1k7X Luam tawm @BizMattersmag pic.twitter.com/I5awC1MTKG
- Txoj Cai Excello (@ExcelloLaw) Plaub Hlis Ntuj 22, 2021
Yog li, yog tias cov ntaub ntawv scrapers xav tau cov txheej txheem ntawm cov ntaub ntawv ntiag tug ntawm EU cov pej xeem, txawm tias nws tau tshaj tawm pej xeem, lawv yuav tsum tau txais lawv cov kev tso cai pom zoo lossis ua pov thawj txaus siab thiab muaj lub hom phiaj los txo qis cov ntaub ntawv sau. Qhov ntawd txhais tau hais tias tsuas yog khaws cov khoom uas tsim nyog rau lub hom phiaj / tus neeg siv khoom thiab tsis yog rub tawm tag nrho tus neeg siv daim ntawv ntawm LinkedIn pab pawg nrog rau txhua tus siv tus kheej, piv txwv.
Tsis ntev los no Lavxias tus kheej cov ntaub ntawv txoj cai mus ib kauj ruam ntxiv. Txij Lub Peb Hlis 1 ntawm lub xyoo no, muaj ib hom tshiab ntawm cov ntaub ntawv ntiag tug hu ua "cov ntaub ntawv tus kheej raug tso cai tshaj tawm". Qhov ntawd txhais tau tias, piv txwv li, tshaj tawm ntawm cov tuam txhab uas suav cov ntaub ntawv ntiag tug uas tsis yog lub npe thiab lub xeem ntawm cov neeg tshwj xeeb (duab, txoj haujlwm), lossis CVs ntawm lub vev xaib taub hau. Qhov tseem ceeb, nws suav nrog txhua cov ntaub ntawv tus kheej rau qhov faib tawm uas cov ntaub ntawv cov ntsiab lus tau pom zoo. Cov kev tso cai no yog qhov yuav tsum tau ua, thiab cov ntaub ntawv kawm muaj txoj cai suav nrog txhua qhov kev txwv lawv xav tau hauv qhov kev tso cai ntawd. Kev tso cai no yuav tsum tau muab qhia los ntawm lub vev xaib.
Yog tias cov ntaub ntawv scraper xav los txhuam cov ntaub ntawv tawm ntawm lub vev xaib, lawv yuav tsum ua raws li cov kev txwv ntawm qhov kev tso cai. Thiab yog tias cov ntaub ntawv cov ntaub ntawv tau muab lawv cov ntaub ntawv tshaj tawm rau lawv tus kheej thiab tsis tau muab kev pom zoo, txhua qhov chaw uas siv cov ntaub ntawv no muaj "lub nra ntawm cov ntaub ntawv ua pov thawj tias lawv ua cov ntaub ntawv raug cai“. Yog li, tsab cai lij choj no, zoo li GDPR, txwv hnyav heev npaum li cas kev tshaj lij ntawm cov ntaub ntawv tus kheej ntiag tug web web scrapers tuaj yeem ua nyob rau hauv cov ciaj ciam.
Khoos phib tawj dag, cov ntaub ntawv txwv thiab cov cai
Xyoo 2019, Tebchaws Meskas Kev Rov Hais Dua tuav nyob rau hauv nws qhov kev txiav txim siab nyob rau hauv kev txaus siab ntawm ib lub tuam txhab tsom xam ntaub ntawv hiQ tiv thaiv LinkedIn tias cov ntaub ntawv uas tau tshaj tawm pej xeem thiab tsis muaj cov cai txwv tsis pub tuaj yeem muab pov tseg. Txawm li cas los xij, uas siv rau cov ntaub ntawv tshaj tawm pej xeem nkaus xwb.
hi Linked Labs, Inc. V. Linkedin Corp .: Tsoomfwv Tsev Hais Plaub Loj Hauv Hauv Web Scraping, Hais Lus Dawb… https://t.co/hIOWj2b2hE By @rooj
- Mondaq (@Mondaq) Cuaj hlis 18, 2019
Txij li cov ntaub ntawv scrapers tsis tuaj yeem kiav cov ntaub ntawv uas tsis muaj rau pej xeem, LinkedIn tsis tuaj yeem siv cov kev cai lij choj uas cuam tshuam - Computer kev dag thiab tsim txom - kom hiQ nres cheem. Kev cai lij choj nkaus xwb tiv thaiv ntaub ntawv ntiag tugCov. Yog tias, txawm li cas los xij, ib lub tuam txhab cov ntaub ntawv scraping tau txais cov ntaub ntawv txwv xws li cov yeeb yaj kiab thiab tom qab ntawd rov muab lawv rau kev lag luam, uas yog txhaum kev cai.
Qee lub vev xaib Cov Lus Qhia muab kev txwv tsis pub cov ntaub ntawv tshaj lij lossis sau cov ntaub ntawv ib qho ntawm ib yam. Cov lus no kuj tseem tuaj yeem kev sau tseg qhia nyob rau hauv cov ntaub ntawv hauv lub vev xaib lub hauv paus npe hu ua robots.txt. Txhawm rau muab ib qho piv txwv rau koj, Kuv tau kos robots.txt ntawm Twitter rau scraping tso cai. Ntawm no yog lub ntxaij ntawm cov ntu ntawm cov nqe lus:
Raws li koj tuaj yeem pom, cov scraping bots raug tso cai los kho hashtags tab sis tsis qhia txog cov neeg siv thiab lawv cov thwjtim cov ntaub ntawv.
Cov lag luam ua raws li txoj cai li cas?
Cov lag luam uas muab cov ntaub ntawv scraping cov kev pab cuam yuav tsum ua raws li cov cai thiab cov kev cai txhawm rau tiv thaiv cov cai ntawm lawv cov neeg siv khoom. Lawv yuav tsum sab laj nrog tus kws lij choj hais txog cov ntaub ntawv twg raug tso cai kom muab pov tseg thiab hom ntawv tso cai yuav tsum muaj rau nws. Tsis tas li ntawd, lawv yuav tsum kom cov neeg siv khoom kos npe rau daim ntawv cog lus raug cai uas qhia txog lawv cov luag num thiab lub luag haujlwm ntawm kev siv cov ntaub ntawv scraping kev pab cuam. Tsis tas li ntawd, cov lag luam yuav tsum xyuas kom meej tias lawv pab pawg tau txais kev cob qhia zoo tshaj plaws rau kev tiv thaiv cov ntaub ntawv thiab kev ua raws cai ntiag tug thaum siv cov kev pabcuam.
Thiab ua li cas txog cov chaw muab kev pabcuam npe? Raws li tus thawj coj hauv IPPN (IP proxy networks) kev ua lag luam, Cov ntaub ntawv Bright tau teeb tsa cov qauv siab ntawm kev ua raws cai hauv kev lag luam proxy. Txhua tus tshiab Bright Data Residential / mobile cov neeg siv khoom tau raug kuaj xyuas kom meej thiab yuav tsum tau txais kev pom zoo los ntawm tus neeg ua haujlwm ua raws cai kom ntseeg tau tias lawv cov ntaub ntawv siv tau raws li peb cov qauv nruj. Bright Data tus txheej txheem nkag mus rau hauv qhov tob xav kom cov neeg siv khoom qhia lawv lub teb chaws ID thiab kos npe rau peb daim ntawv teev kev ua raws cai ntawm ntau lwm yam kev txheeb xyuas tus kheej.
Yog li, kev cai lij choj ntawm cov ntaub ntawv scraping nyob ntawm hom thiab ntau npaum li cas ntawm cov ntaub ntawv scraped. Txawm li cas los xij yuav yog, txawm li cas los xij, nws ib txwm zoo tshaj plaws los ua cov pob tshab kom ntau li ntau tau txog koj cov kev coj ua thiab muab tswv yim tshaj lij yog tias koj tsis paub meej. Koj kuj tseem yuav xav tau Kev Ntsuam Xyuas Kev Tiv Thaiv Cov Ntaub Ntawv raws li GDPR raws li qee tus tub ceev xwm ntseeg tias cov ntaub ntawv scraping yuav "high-risk pom ua".
Yees duab credit: Qhov tshwj xeeb duab tau noj los ntawm Maxim HopmanCov. Lub screenshot tau noj los ntawm tus sau rau TechAcute.
Qhov chaw: Zyte / Alexander Demchenko (Cov ntaub ntawv OO) / Srishti Saib (datahut) / GDPR-cov ntaub ntawv / Stanislav Rumyantsev, tus thawj coj (NYAJ) / Fiona Campbell: XNUMX Lab tus kiv cua tos koj rau Webtalk! (Cov teb)
