巨量資料

在使用python一次性處理大量資料(幾萬幾十萬筆)並儲存時，會發生資料缺漏狀況。本文講述如何解決python中for迴圈處理大量資料出現缺漏資料的問題。 在python中使用for處理大量資料後重新儲存的方式十分常見，但當資料量大於一定數目時，就會發生資料錯誤或是缺失等狀況。 假設巨量資料存於array1中，我們要對他分行做處理並再次存回file。 這邊我們使用到的解法就是利用enumrate來列舉後，在使用for迴圈處理。參考程式碼如下： f_target open('result', 'w') for index, data in enumrate(array1, 1): do something f_target.writelines(str(data) + '\n') f_target.close()