定時(shí)自動(dòng)抓取網(wǎng)頁數(shù)據(jù)

數(shù)據(jù)來源

http://www.chinaclear.cn/main/03/0303/030305/1330417819770.htm


數(shù)據(jù)會(huì)每周變動(dòng)一次，能否讓SAS在服務(wù)器自動(dòng)運(yùn)行，每周一上午9點(diǎn)自動(dòng)讀取網(wǎng)頁數(shù)據(jù)到SAS中？

data _null_;
        length value $32766;
        infile "http://www.chinaclear.cn/main/03/0303/030305/1330417819770.htm" url lrecl=1024;
        if _n_=1 then do;
                value='';
                reg=prxparse('/=.*?(\d{1,3}(,\d{3})*(\.\d+)?)\s*$/');
        end;
        input ;
        value=prxchange('s/(<[^>]*>|&[a-z]+;|\t+|show.*;|= \d \\\* GB3)//',-1,trimn(value)||trimn(_infile_));
        if not prxmatch('/<[^>]*$|\\\#\s*$/',value) then do;
                if compress(value) ne '' then do;
                        if prxmatch(reg,value) then do
                                value=prxposn(reg,1,value);
                        end;
                        put value;
                end;
                value='';
        end;
        retain value reg;
run;
抓取了里面的信息，可以保存到文件，再使用導(dǎo)入整理，抓取結(jié)果如下

中國證券登記結(jié)算有限責(zé)任公司
一周股票賬戶情況統(tǒng)計(jì)表（2012.02.20-2012.02.24）
上海分公司
深圳分公司
合計(jì)
一、期末有效賬戶數(shù)（萬戶）
6,748.94
6,841.17
13,590.11
二、新增股票賬戶數(shù)（戶）
116,711
103,716
220,427
其中：
1、新增A股開戶數(shù)（戶）
116,540
103,561
220,101
2、新增B股開戶數(shù)（戶）
171
155
326
三、期末股票賬戶數(shù)（萬戶）
8,364.85
0.00
8,269.22
16,634.07
其中：
1、期末A股賬戶數(shù)（萬戶）
8,212.05
8,169.70
16,381.75
（1）期末持倉A股賬戶數(shù)（萬戶）
3,196.63
2,502.79
5,699.42
（2）本周參與交易的A股賬戶數(shù)（萬戶）
616.56
578.89
1,195.45
2、期末B股賬戶數(shù)（萬戶）
152.80
99.52
252.32
四、期末休眠賬戶數(shù)（萬戶）
1,615.91
1,428.05
3,043.96
注：  ①期末有效賬戶數(shù)=期末A股賬戶數(shù)+期末B股賬戶數(shù)-期末休眠賬戶數(shù)；②新增股票賬戶數(shù)指當(dāng)周新開出的股
票賬戶數(shù)；③期末股票賬戶數(shù)=期末A股賬戶數(shù)+期末B股賬戶數(shù)；  ④期末持倉A股賬戶指期末持有證券余額不為零
的A股賬戶；  ⑤本周參與交易A股賬戶指本周參與證券市場二級(jí)市場集中交易的A股賬戶。  ⑥休眠賬戶指根據(jù)中
國證監(jiān)會(huì)《關(guān)于做好證券公司客戶交易結(jié)算資金第三方存管有關(guān)賬戶規(guī)范工作的通知》以及本公司《關(guān)于進(jìn)一步
規(guī)范賬戶管理工作的通知》的規(guī)定，經(jīng)證券公司核實(shí)、申報(bào)的休眠賬戶數(shù)。  ⑦本周5個(gè)交易日。

money is too low, if you reward 100, I could do that, lol

相應(yīng)樓上的要求，調(diào)整到200金幣

try proc download

樓上的能具體說說嘛

這個(gè)其實(shí)不難，如果你用windows可能有點(diǎn)難道，但是用linux很簡單的

可是我需要用windows下的SAS實(shí)現(xiàn)啊

data work.links_to_crawl;
   length url $256;
   input url $;
   datalines;

www.chinaclear.cn/main/03/0303/030305/1330417819770.htm
;
run;


%macro crawler();
   %let html_num = 1;

   data work.links_crawled;
      length url $256;
   run;

%next_crawl:
   /* pop the next url off */
   %let next_url = ;

   data work.links_to_crawl;
      set work.links_to_crawl;
      if _n_ eq 1 then call symput("next_url", url);
      else output;
   run;

   %let next_url = %trim(%left(&next_url));

   %if "&next_url" ne "" %then %do;

      %put crawling &next_url ... ;

      /* crawl the url */
      filename _nexturl url "&next_url";

      /* put the file we crawled here */
      filename htmlfile "file%trim(&html_num).html";

      /* find more urls */
      data work._urls(keep=url);
         length url $256 ;
         file htmlfile;
         infile _nexturl length=len;
         input text $varying2000. len;

         put text;

         start = 1;
         stop = length(text);

         if _n_ = 1 then do;
            retain patternID;
            pattern = '/href="([^"]+)"/i';
            patternID = prxparse(pattern);
         end;

         /* Use PRXNEXT to find the first instance of the pattern, */
         /* then use DO WHILE to find all further instances.       */
         /* PRXNEXT changes the start parameter so that searching  */
         /* begins again after the last match.                     */
         call prxnext(patternID, start, stop, text, position, length);
         do while (position ^= 0);
            url = substr(text, position+6, length-7);
            * put url=;
            output;
            call prxnext(patternID, start, stop, text, position, length);
         end;
      run;

      /* add the current link to the list of urls we have already crawled */
      data work._old_link;
         url = "&next_url";
      run;
      proc append base=work.links_crawled data=work._old_link;
      run;

      /* only add urls that we haven't already crawled or that aren't queued up to be crawled */
      proc sql noprint;
         create table work._append as
            select url
            from work._urls
            where url not in (select url from work.links_crawled)
                  and url not in (select url from work.links_to_crawl);
      quit;

      /* only add urls that are absolute (http://...) */
      data work._append;
         set work._append;
         absolute_url = substrn(url, 1, 7);
         put absolute_url=;
         if absolute_url eq "http://" ;
         drop absolute_url;
      run;

      /* add new links */
      proc append base=work.links_to_crawl data=work._append force;
      run;

      /* increment our file number */
      %let html_num = %eval(&html_num + 1);

      /* loop */
      %goto next_crawl;
   %end;

%mend crawler;

%crawler();

/*定時(shí)自動(dòng)靠你們啦~不負(fù)責(zé)任的飄過*/

to:tattoo27
我運(yùn)行之后，數(shù)據(jù)都為空