Semalt: Веб-сайтты скрепке салуу үчүн Python программасын кантип колдонсо болот?
Маалыматтар тергөөдө маанилүү роль ойнойт, туурабы? Бул нерселерге жаңы көз караш менен кароого жана башка түшүнүктөрдү өрчүтүүгө жардам берет. Эң өкүнүчтүүсү, сиз издеген маалыматтар, адатта, жеткиликтүү эмес. Сиз аны Интернеттен таба аласыз, бирок ал жүктөлүп ала турган форматта болбошу мүмкүн. Мындай учурда, сиз керектүү маалыматтарды программалоо жана чогултуу үчүн, веб скрепинг техникасын колдонсоңуз болот.
Бул процессте жардам боло турган бир нече скрепинг ыкмалары жана программалоо тилдери бар. Бул макала сизге сайтты кырыш үчүн питон тилин кантип колдонууга болот. Веб-баракчалардын иштеши жөнүндө көп маалымат аласыз. Иштеп чыгуучулар кандай гана вебсайтта маалыматтарды түзөөрүн билип аласыңар.
Эң жакшы башталышы - эсептөө машинаңызга Anaconda Python Distribution жүктөп алуу жана орнотуу. Ошондой эле сиз ушул программалоо тилинин негиздери боюнча айрым окуу куралдарын ала аласыз. Жолдун мыкты жери Codecademy болушу мүмкүн, айрыкча сиз бул жаатта эч кандай түшүнүгүңүз болбосо.
Бул колдонмодо түрмөдө отургандар үчүн Полк өлкөсүнүн учурдагы тизмеси колдонулат. Сизге камактагылардын тизмесин алуу жана Python скриптин кантип колдонуу керектиги боюнча көрсөтмө беребиз жана ар бир камалгандар үчүн жашаган шаар жана раса сыяктуу маалыматтарды алабыз. Биз сизге алып келген сценарийдин бардыгы GitHub-да сакталат жана ачылат. Бул компьютер коддорун бөлүшүүгө мүмкүнчүлүк берген популярдуу онлайн платформалардын бири. Коддор сизге чоң жардам боло турган комментарийлердин узун тизмесин камтыйт.
Кайсы бир сайтты кыркып жатканда, веб-браузерди издеген биринчи курал. Көпчүлүк браузерлер колдонуучуларга мотор люктарын көтөрүүгө жана барактын түзүлүшүн түшүнүүгө жардам берген HTML текшерүү куралдарын берет. Ар бир куралга жетүү ыкмасы бир браузерден экинчисине ар кандай. Бирок, негизги нерсе - бул 'көрүү баракчасынын булагы, сиз аны түз баракты оң баскыч менен чыкылдатып, ала аласыз.
Барактын HTML булагын карап жатканда, камактагы адамга шилтемелердин чоо-жайын стол катарларына тыкан тизмелеп турганыңыз оң. Кийинки кадам - бул маалыматты алуу үчүн колдоно турган сценарий жазуу. Оор көтөрүү процессинде колдоно турган эки Python пакети - бул сонун Шорпо жана Талаптар. Кодду иштетээрден мурун, аларды орнотконуңузду текшериңиз.
Желе кыргыч сценарий үч нерсени аткарат. Буларга листинг баракчаларын жүктөө жана маалымат баракчаларына шилтемелерди чыгаруу, ар бир деталдын баракчасын жүктөө жана маалыматтарды алуу жана алынган шаарды жана раса кандайча чыпкаланып жаткандыгына жараша алынган маалыматтарды басып чыгаруу кирет. Муну түшүнгөндөн кийин, кийинки кадам - кооз шорпону жана сурамдарды колдонуп, кодировкалоо процессин баштоо.
Биринчиден, камактагы адамдардын тизмесин баракчасына request.get URL дареги менен жүктөп, андан соң сулуу шорпо менен тазалаңыз. Андан кийин, биз ар бир катардан илгич кылып, маалымат баракчаларына шилтемени чыгарабыз. Камактагылардын маалыматын талдап чыккандан кийин, кийинки кадам - сөздүктө жынысы, курагы, расасы, брондолгон убактысы жана аталыш маанилерин алуу. Ар бир камактагы адам өзүнүн сөздүгүн алат, ал эми бардык сөздүктөр камалгандардын тизмесине киргизилет. Акырында, тизмеңизди басып чыгараардан мурун, жарыш жана шаар маанилерин карап чыгыңыз.