ga('set', 'anonymizeIp', 1);
在使用python一次性處理大量資料(幾萬幾十萬筆)並儲存時,會發生資料缺漏狀況。
本文講述如何解決python中for迴圈處理大量資料出現缺漏資料的問題。
在python中使用for處理大量資料後重新儲存的方式十分常見,
但當資料量大於一定數目時,就會發生資料錯誤或是缺失等狀況。
假設巨量資料存於array1中,我們要對他分行做處理並再次存回file。
這邊我們使用到的解法就是利用enumrate來列舉後,
在使用for迴圈處理。參考程式碼如下:
f_target = open('result', 'w')
for index, data in enumrate(array1, 1):
do something
f_target.writelines(str(data) + '\n')
f_target.close()