[Python]在Python中利用Pandas庫處理大數(shù)據(jù)的簡單介紹

相似文件 換一批

是 否 +2 論壇幣

k人 參與回答

經(jīng)管之家送您一份

應(yīng)屆畢業(yè)生專屬福利!

求職就業(yè)群

趙安豆老師微信：zhaoandou666

經(jīng)管之家聯(lián)合CDA

送您一個全額獎學(xué)金名額~ !

立即領(lǐng)取

感謝您參與論壇問題回答

經(jīng)管之家送您兩個論壇幣！

+2 論壇幣

   
【在Python中利用Pandas庫處理大數(shù)據(jù)的簡單介紹】只有在超過5TB數(shù)據(jù)量的規(guī)模下，Hadoop才是一個合理的技術(shù)選擇。這次拿到近億條日志數(shù)據(jù)，千萬級數(shù)據(jù)已經(jīng)是關(guān)系型數(shù)據(jù)庫的查詢分析瓶頸，之前使用過Hadoop對大量文本進(jìn)行分類，這次決定采用Python來處理數(shù)據(jù)。


這篇文章簡單介紹了在Python中利用Pandas處理大數(shù)據(jù)的過程,Pandas庫的使用能夠很好地展現(xiàn)數(shù)據(jù)結(jié)構(gòu),是近來Python項目中經(jīng)常被使用使用的熱門技術(shù),需要的朋友可以參考下
在數(shù)據(jù)分析領(lǐng)域，最熱門的莫過于Python和R語言，此前有一篇文章《別老扯什么Hadoop了，你的數(shù)據(jù)根本不夠大》指出：只有在超過5TB數(shù)據(jù)量的規(guī)模下，Hadoop才是一個合理的技術(shù)選擇。這次拿到近億條日志數(shù)據(jù)，千萬級數(shù)據(jù)已經(jīng)是關(guān)系型數(shù)據(jù)庫的查詢分析瓶頸，之前使用過Hadoop對大量文本進(jìn)行分類，這次決定采用Python來處理數(shù)據(jù)：
    硬件環(huán)境
        CPU：3.5 GHz Intel Core i7
        內(nèi)存：32 GB HDDR 3 1600 MHz
        硬盤：3 TB Fusion Drive
    數(shù)據(jù)分析工具
        Python：2.7.6
        Pandas：0.15.0

        IPython notebook：2.0.0

本帖隱藏的內(nèi)容

在Python中利用Pandas庫處理大數(shù)據(jù)的簡單介紹.docx (216.39 KB)

2015-4-10 09:33:26 上傳

信息來源：腳本之家

掃碼加我 拉你入群

請注明：姓名-公司-職位

以便審核進(jìn)群資格，未注明則拒絕

分享0 收藏11 回帖

關(guān)鍵詞：python pandas panda Das 大數(shù)據(jù) 數(shù)據(jù)庫 文章 朋友 規(guī)模 技術(shù)

auirzxp 發(fā)表于 2015-4-10 09:38

jerker 發(fā)表于 2015-4-10 09:40

用SPSS能進(jìn)行多大規(guī)模的數(shù)據(jù)處理？

[handshake][em49]

斯男 發(fā)表于 2015-4-10 09:55
用SPSS能進(jìn)行多大規(guī)模的數(shù)據(jù)處理？

兄臺參閱
http://www.ibm.com/developerwork ... /bd-spss/index.html

謝謝分享~~~

rrjj101022 發(fā)表于 2015-4-10 10:52
謝謝分享~~~