ga('set', 'anonymizeIp', 1);
Categories: CodingPython

[python] 處理大量資料並作儲存時,for迴圈掉資料情形

Share

在使用python一次性處理大量資料(幾萬幾十萬筆)並儲存時,會發生資料缺漏狀況。

本文講述如何解決python中for迴圈處理大量資料出現缺漏資料的問題。

在python中使用for處理大量資料後重新儲存的方式十分常見,
但當資料量大於一定數目時,就會發生資料錯誤或是缺失等狀況。

假設巨量資料存於array1中,我們要對他分行做處理並再次存回file。

這邊我們使用到的解法就是利用enumrate來列舉後,
在使用for迴圈處理。參考程式碼如下:

f_target = open('result', 'w')
for index, data in enumrate(array1, 1):
    do something
    f_target.writelines(str(data) + '\n')
f_target.close()

Jys

Published by
Jys

Recent Posts

[python] Flask Create RESTful API

This article gi... Read More

3 年 前發表

[Javascript] 新增/刪除JSON中key值

在web訊息交換常會需要對JS... Read More

3 年 前發表

[JAVA] SQL Server Connection

本文介紹JAVA連線SQL s... Read More

3 年 前發表