SAS網(wǎng)絡(luò)爬蟲抓取網(wǎng)頁數(shù)據(jù)

相似文件 換一批

是 否 +2 論壇幣

k人 參與回答

經(jīng)管之家送您一份

應(yīng)屆畢業(yè)生專屬福利!

求職就業(yè)群

趙安豆老師微信：zhaoandou666

經(jīng)管之家聯(lián)合CDA

送您一個(gè)全額獎(jiǎng)學(xué)金名額~ !

立即領(lǐng)取

感謝您參與論壇問題回答

經(jīng)管之家送您兩個(gè)論壇幣！

+2 論壇幣

本人剛剛完成SAS正則表達(dá)式的學(xué)習(xí)，初學(xué)SAS網(wǎng)絡(luò)爬蟲,看到過一些前輩大牛們爬蟲程序，感覺很有趣�，F(xiàn)在結(jié)合實(shí)際例子，淺談一下怎么做一些最基本的網(wǎng)頁數(shù)據(jù)抓取。第一次發(fā)帖，不妥之處，還望各位大牛們指正。
本帖研究網(wǎng)頁為'http://health.gmw.cn/2012-10/03/content_5266132.htm'，意在提取該網(wǎng)頁中全國各省降雨量信息，部分截圖如下：
大致步驟就是用filename  fileref  url '網(wǎng)頁地址'獲取網(wǎng)頁代碼信息(包含有待提取數(shù)據(jù))，再用infile fileref將字符代碼讀入變量中，接著根據(jù)待提取數(shù)據(jù)的特點(diǎn)對(duì)寫入的觀測進(jìn)行“數(shù)據(jù)清洗”，最后獲得所需數(shù)據(jù)觀測。
先針對(duì)該過程中可能出現(xiàn)的問題，做一下簡單說明：
1.本人所用SAS軟件為多國語言9.2版，剛開始運(yùn)行含有filename  fileref  url '網(wǎng)頁地址'及infile fileref時(shí)，很不友好的顯示錯(cuò)誤：無法連接主機(jī)。這一問題困惑我好久。最后看到有前輩發(fā)帖，從一個(gè)網(wǎng)站http://ftp.sas.com/techsup/download/hotfix/f9_sbcs_prod_list.html#034098下載相關(guān)hot fix(F9BA26)以后，得以解決。
2.若未在infile語句中加encoding='utf-8'，得出的觀測亂碼。
3.正則表達(dá)式并不是必須的，但是用起來簡潔明了，與一些字符函數(shù)配合使用，絕對(duì)可以達(dá)到你想要的提取目的。
4.大家進(jìn)入網(wǎng)頁后，點(diǎn)擊右鍵，查看源代碼(有些是源文件)，這個(gè)源代碼就是我們需要寫入數(shù)據(jù)集的文件。先用
filename fileref url 'http://health.gmw.cn/2012-10/03/content_5266132.htm';
5.怎樣將網(wǎng)頁源文件代碼寫入數(shù)據(jù)集？用infile+input。不過根據(jù)寫入方式不同，后續(xù)清洗數(shù)據(jù)的程序自然也不一樣了。由于源代碼中每一個(gè)input line的形式為<...>!!!<...>或者<...><...>(大家可以觀察網(wǎng)頁的源代碼)，而我們需要的數(shù)據(jù)就包含在!!!里面。而由于一個(gè)網(wǎng)頁包含的信息太多，也有可能找到的!!!不包含所需數(shù)據(jù)。為了“清洗”數(shù)據(jù)方便，在這里我采用了一個(gè)比較笨的方法，通過觀察源代碼中待提取數(shù)據(jù)的大致范圍，如第一個(gè)待提取字符串"黑龍江"出現(xiàn)在第184個(gè)input line，而最后一個(gè)"120”(澳門人均降水) 則出現(xiàn)在第623個(gè)input line，其他input line我們不需要，可以考慮在infile語句中加入firstobs=184 obs=623。
注意：由于網(wǎng)頁可能發(fā)生小的變化，firstobs=與obs= 的值可能不準(zhǔn)確，從而影響結(jié)果。建議查看源代碼確定相應(yīng)值。
這里介紹兩種不同的寫入方式。
a.以'>'為分隔符，寫入后每個(gè)觀測就形如<...或者!!!<...，而后者是我們所需保留的觀測。根據(jù)!!!<...寫出對(duì)應(yīng)正則表達(dá)式進(jìn)行清洗。考慮用正則表達(dá)式'/.+/'。
此種方式編程如下：
/*.............................................................................................................................*/
filename  fileref  url 'http://health.gmw.cn/2012-10/03/content_5266132.htm';
data a;
infile fileref  lrecl=10000  dlm='>' encoding='utf-8' firstobs=184 obs=623;
length text $1000;
input text $ @@;
run;

data newa;
if  _n_=1 then prx=prxparse('/.+</');
retain  prx;/*必須要用retain 否則下次循環(huán)時(shí)prx置為空值而產(chǎn)生錯(cuò)誤*/
set a;
if  prxmatch(prx,text);/*篩選那些不符合正則表達(dá)式形式的觀測值*/
text=substr(text,1,find(text,'<')-1);/*從合適觀測中提取所需數(shù)據(jù)的字符形式*/
drop prx;
run;
/*.................................................................................................................................*/

b.源代碼文件中每一個(gè)input line整體作為一個(gè)值，這樣就保留了原來形式<...>!!!<...>或者<...><...>，根據(jù)>!!!<寫出對(duì)應(yīng)表達(dá)式進(jìn)行清洗�？紤]用正則表達(dá)式'/>.{1,8}</'(數(shù)據(jù)位數(shù)最多為8)。
此種方式編程如下：
/*................................................................................................................................*/
filename  fileref  url  'http://health.gmw.cn/2012-10/03/content_5266132.htm';
data b;
infile fileref  lrecl=10000  encoding='utf-8'  firstobs=184  obs=623  length=len;
input text $varying1000. len;
run;

data newb;
if _n_=1 then prx=prxparse('/>.{1,8}</');
retain prx;
set b;
call prxsubstr(prx,text,position,length);
if position;
text=substrn(text,position+1,length-2);
keep text;
run;
/*...............................................................................................................................*/
以上兩種方式主要看各位的習(xí)慣吧。得到了篩選后的數(shù)據(jù)集work.newa(work.newb)，數(shù)據(jù)集只含有1個(gè)變量text。而網(wǎng)頁中則有6個(gè)變量。這是就需要對(duì)數(shù)據(jù)集work.newa做寫什么了。
法1.set操作：
/*.................................................................................................................................................................*/
data new;
set newa(rename=(text=text1) firstobs=1);
set newa(rename=(text=text2) firstobs=2);
set newa(rename=(text=text3) firstobs=3);
set newa(rename=(text=text4) firstobs=4);
set newa(rename=(text=text5) firstobs=5);
set newa(rename=(text=text6) firstobs=6);
if not anydigit(text1);
label text1='名稱（1）'  text2='人口'  text3='面積'  text4='年降水量'  text5='總降水量' text6='人均降水';
run;
/*.............................................................................................................................................................*/
注意：為避免重復(fù)，上述6個(gè)set語句完全可以用宏語句來代替，程序如下:
%macro t(n);
%do i=1 %to &n;
%str(set n(rename=(text=text&i) firstobs=&i);)
%end;
%mend;
data new;
%t(6)
if not anydigit(text1);
label text1='名稱（1）'  text2='人口'  text3='面積'  text4='年降水量'  text5='總降水量' text6='人均降水';
run;

法2.分組transpose：
/*...............................................................................................................................................................*/
data t;
set newa;
f=ceil(_n_/6);/*引入新變量f作為分組變量*/
run;
proc transpose data=t out=new(drop=_name_ f) prefix=text;
var text;
by f;/*由于數(shù)據(jù)集t中f已經(jīng)按序排列，故不必再用sort過程*/
label text1='名稱（1）' text2='人口' text3='面積' text4='年降水量' text5='總降水量' text6='人均降水';
run;
/*...............................................................................................................................................................*/

掃碼加我 拉你入群

請(qǐng)注明：姓名-公司-職位

以便審核進(jìn)群資格，未注明則拒絕

分享1 收藏30 回帖

關(guān)鍵詞：抓取網(wǎng)頁數(shù)據(jù) 網(wǎng)絡(luò)爬蟲 filename download Content 降雨量 表達(dá)式 網(wǎng)絡(luò) 網(wǎng)頁 程序

牛�。。。。。。。�！

支持哦       
              
                          
                  
                   
                                 
        

直接復(fù)制粘貼上去了 ，  不行呢

1. /*.............................................................................................................................*/
   
2. filename  fileref  url 'http://health.gmw.cn/2012-10/03/content_5266132.htm';
   
3. data a;
   
4. infile fileref  lrecl=10000  dlm='>' encoding='utf-8' firstobs=174 obs=613;
   
5. input text @@;
   
6. run;
   
7. 
   
8. data newa;
   
9. if  _n_=1 then prx=prxparse('/.+</');
   
10. retain  prx;/*必須要用retain 否則下次循環(huán)時(shí)prx置為空值而產(chǎn)生錯(cuò)誤*/
    
11. set a;
    
12. if  prxmatch(prx,text);/*篩選那些不符合正則表達(dá)式形式的觀測值*/
    
13. text=substr(text,1,find(text,'<')-1);/*從合適觀測中提取所需數(shù)據(jù)的字符形式*/
    
14. drop prx;
    
15. run;  
    
16. /*.................................................................................................................................*/
    
17. 
    
18. b.源代碼文件中每一個(gè)input line整體作為一個(gè)值，這樣就保留了原來形式<...>!!!<...>或者<...><...>，根據(jù)>!!!<寫出對(duì)應(yīng)表達(dá)式進(jìn)行清洗�？紤]用正則表達(dá)式'/>.{1,8}</'(數(shù)據(jù)位數(shù)最多為8)。
    
19. 此種方式編程如下：
    
20. /*................................................................................................................................*/
    
21. filename  fileref  url  'http://health.gmw.cn/2012-10/03/content_5266132.htm';
    
22. data b;
    
23. infile fileref  lrecl=10000  encoding='utf-8'  firstobs=174  obs=613  length=len;
    
24. input textvarying1000. len;
    
25. run;
    
26. 
    
27. data newb;
    
28. if _n_=1 then prx=prxparse('/>.{1,8}</');
    
29. retain prx;
    
30. set b;
    
31. call prxsubstr(prx,text,position,length);
    
32. if position;
    
33. text=substrn(text,position+1,length-2);
    
34. keep text;
    
35. run;
    
36. /*...............................................................................................................................*/
    
37. 以上兩種方式主要看各位的習(xí)慣吧。得到了篩選后的數(shù)據(jù)集work.newa(work.newb)，數(shù)據(jù)集只含有1個(gè)變量text。而網(wǎng)頁中則有6個(gè)變量。這是就需要對(duì)數(shù)據(jù)集work.newa做寫什么了。
    
38. 法1.set操作：
    
39. /*.................................................................................................................................................................*/
    
40. data new;
    
41. set newa(rename=(text=text1) firstobs=1);
    
42. set newa(rename=(text=text2) firstobs=2);
    
43. set newa(rename=(text=text3) firstobs=3);
    
44. set newa(rename=(text=text4) firstobs=4);
    
45. set newa(rename=(text=text5) firstobs=5);
    
46. set newa(rename=(text=text6) firstobs=6);
    
47. if not anydigit(text1);
    
48. label text1='名稱（1）'  text2='人口'  text3='面積'  text4='年降水量'  text5='總降水量' text6='人均降水';
    
49. run;
    
50. /*.............................................................................................................................................................*/
    
51. 注意：為避免重復(fù)，上述6個(gè)set語句完全可以用宏語句來代替，程序如下:
    
52. %macro t(n);
    
53. %do i=1 %to &n;
    
54. %str(set n(rename=(text=text&i) firstobs=&i);)
    
55. %end;
    
56. %mend;
    
57. data new;
    
58. %t(6)
    
59. if not anydigit(text1);
    
60. label text1='名稱（1）'  text2='人口'  text3='面積'  text4='年降水量'  text5='總降水量' text6='人均降水';
    
61. run;
    
62. 
    
63. 法2.分組transpose：
    
64. /*...............................................................................................................................................................*/
    
65. data t;
    
66. set newa;
    
67. f=ceil(_n_/6);/*引入新變量f作為分組變量*/
    
68. run;
    
69. proc transpose data=t out=new(drop=_name_ f) prefix=text;
    
70. var text;
    
71. by f;/*由于數(shù)據(jù)集t中f已經(jīng)按序排列，故不必再用sort過程*/
    
72. label text1='名稱（1）' text2='人口' text3='面積' text4='年降水量' text5='總降水量' text6='人均降水';
    
73. run;
    
74. /*...............................................................................................................................................................*/

復(fù)制代碼

就是復(fù)制的上面的，不知道哪個(gè)地方有問題

小鱷魚a 發(fā)表于 2014-9-26 14:53
就是復(fù)制的上面的，不知道哪個(gè)地方有問題

SAS 報(bào)錯(cuò)了么？

1989pengwei 發(fā)表于 2014-9-27 12:54
SAS 報(bào)錯(cuò)了么？

肯定不能全部復(fù)制的，從a或b代碼中任選一種，再從法一或法二中任選一種即可（你試一下a+法2）

感謝分享，學(xué)習(xí)了~~

很好不錯(cuò)，我前段時(shí)間也寫了一個(gè)，不過網(wǎng)頁都是比較簡單的get提交那類，樓主能否也寫個(gè)post提交的，有空一起交流學(xué)習(xí)下。