初学新手菜鸡 遇到一个问题，统计一个2G大小文件中每个单词的出现频率，修改memory limit后还是总报错 Allowed memory size of xxxx bytes exhausted ，光测总行数或者字符数可以出结果，怎样优化呢
ini_set("memory_limit", "-1");function calcWordFrequence($sFilePatch){ $aWordsInFile = array(); $aOneLineWords = array(); $sOneLineWords = ""; $fp = fopen($sFilePatch,"r"); while(!feof($fp)){ $sOneLineWords = fgets($fp); $aOneLineWords = str_word_count($sOneLineWords,1); foreach($aOneLineWords as $v){ array_push($aWordsInFile, $v); } } fclose($fp); $aRes = array_count_values($aWordsInFile); arsort($aRes); return $aRes;}echo calcWordFrequence("2013.mp4");
回复讨论(解决方案)
这个问题没法解决，2G大小的文件硬件差点的电脑打开就耗光内存了。在存储上做分布式设计。
这个问题没法解决，2G大小的文件硬件差点的电脑打开就耗光内存了。在存储上做分布式设计。
那有办法从代码里将这个文件分离成几部分分批统计吗或者只输出频率最大的那个单词也行
使用split命令把文件切割成小文件再统计吧
只有文本文件才有行的概念
你测试的 2013.mp4 显然不是文本文件
如果文件中没有出现 \n，或出现的靠后，你的 $sOneLineWords = fgets($fp); 就会把内存消耗光了
如果你是日志之类的文本文件，可以用php的SplFileObject()类，专门用于操作大文件，以前用过这个分析nginx的访问日志，5个多G。