详解PHP如何在两个大文件中找出相同记录

吾爱主题阅读：182 2022-11-07 15:34:00 评论：0

1、引言

给定a，b两个文件, 分别有x，y行数据, 其中(x, y均大于10亿), 机器内存限制100M，该如何找出其中相同的记录?

2、思路

处理该问题的困难主要是无法将这海量数据一次性读进内存中.
一次性读不进内存中，那么是否可以考虑多次呢？如果可以，那么多次读入要怎么计算相同的值呢？
我们可以用分治思想，大而化小。相同字符串的值hash过后是相等的, 那么我们可以考虑使用hash取模, 将记录分散到n个文件中。这个n怎么取呢？PHP 100M内存，数组大约可以存100w的数据, 那么按a,b记录都只有10亿行来算, n至少要大于200。
此时有200个文件，相同的记录肯定在同一个文件中，并且每个文件都可以全部读进内存。那么可以依次找出这200个文件中各自相同的记录，然后输出到同一个文件中，得到的最终结果就是a, b两个文件中相同的记录。
找一个小文件中相同的记录很简单了吧，将每行记录作为hash表的key, 统计key的出现次数>=2就可以了。

3、实操

10亿个文件太大了，实操浪费时间，达到实践目的即可。

问题规模缩小为: 1M内存限制, a, b各有10w行记录, 内存限制可以用PHP的ini_set('memory_limit', '1M');来限制。

4、生成测试文件

生成随机数用于填充文件:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 /** * 生成随机数填充文件 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $filename 输出文件名 * @param int $batch 按多少批次生成数据 * @param int $batchSize 每批数据的大小 */ function generate(string $filename , int $batch =1000, int $batchSize =10000) { for ( $i =0; $i < $batch ; $i ++) { $str = '' ; for ( $j =0; $j < $batchSize ; $j ++) { $str .= rand( $batch , $batchSize ) . PHP_EOL; // 生成随机数 } file_put_contents ( $filename , $str , FILE_APPEND); // 追加模式写入文件 } } generate( 'a.txt' , 10); generate( 'b.txt' , 10);

5、分割文件

将a.txt, b.txt通过hash取模的方式分割到n个文件中.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 /** * 用hash取模方式将文件分散到n个文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $filename 输入文件名 * @param int $mod 按mod取模 * @param string $dir 文件输出目录 */ function spiltFile(string $filename , int $mod =20, string $dir = 'files' ) { if (! is_dir ( $dir )){ mkdir ( $dir ); } $fp = fopen ( $filename , 'r' ); while (! feof ( $fp )){ $line = fgets ( $fp ); $n = crc32(hash( 'md5' , $line )) % $mod ; // hash取模 $filepath = $dir . '/' . $n . '.txt' ; // 文件输出路径 file_put_contents ( $filepath , $line , FILE_APPEND); // 追加模式写入文件 } fclose( $fp ); } spiltFile( 'a.txt' ); spiltFile( 'b.txt' );

执行 splitFile 函数, 得到如下图 files 目录的20个文件。

6、查找重复记录

现在需要查找20个文件中相同的记录, 其实也就是找一个文件中的相同记录，操作个20次。

找一个文件中的相同记录:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 /** * 查找一个文件中相同的记录输出到指定文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $inputFilename 输入文件路径 * @param string $outputFilename 输出文件路径 */ function search(string $inputFilename , $outputFilename = 'output.txt' ) { $table = []; $fp = fopen ( $inputFilename , 'r' ); while (! feof ( $fp )) { $line = fgets ( $fp ); !isset( $table [ $line ]) ? $table [ $line ] = 1 : $table [ $line ]++; // 未设置的值设1，否则自增 } fclose( $fp ); foreach ( $table as $line => $count ) { if ( $count >= 2){ // 出现大于2次的则是相同的记录，输出到指定文件中 file_put_contents ( $outputFilename , $line , FILE_APPEND); } } }

找出所有文件相同记录:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 /** * 从给定目录下文件中分别找出相同记录输出到指定文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $dirs 指定目录 * @param string $outputFilename 输出文件路径 */ function searchAll( $dirs = 'files' , $outputFilename = 'output.txt' ) { $files = scandir( $dirs ); foreach ( $files as $file ) { $filepath = $dirs . '/' . $file ; if ( is_file ( $filepath )){ search( $filepath , $outputFilename ); } } }

到这里已经解决了大文件处理的空间问题，那么时间问题该如何处理? 单机可通过利用CPU的多核心处理，不够的话通过多台服务器处理。

7、完整代码

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 <?php ini_set ( 'memory_limit' , '1M' ); // 内存限制1M /** * 生成随机数填充文件 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $filename 输出文件名 * @param int $batch 按多少批次生成数据 * @param int $batchSize 每批数据的大小 */ function generate(string $filename , int $batch =1000, int $batchSize =10000) { for ( $i =0; $i < $batch ; $i ++) { $str = '' ; for ( $j =0; $j < $batchSize ; $j ++) { $str .= rand( $batch , $batchSize ) . PHP_EOL; // 生成随机数 } file_put_contents ( $filename , $str , FILE_APPEND); // 追加模式写入文件 } } /** * 用hash取模方式将文件分散到n个文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $filename 输入文件名 * @param int $mod 按mod取模 * @param string $dir 文件输出目录 */ function spiltFile(string $filename , int $mod =20, string $dir = 'files' ) { if (! is_dir ( $dir )){ mkdir ( $dir ); } $fp = fopen ( $filename , 'r' ); while (! feof ( $fp )){ $line = fgets ( $fp ); $n = crc32(hash( 'md5' , $line )) % $mod ; // hash取模 $filepath = $dir . '/' . $n . '.txt' ; // 文件输出路径 file_put_contents ( $filepath , $line , FILE_APPEND); // 追加模式写入文件 } fclose( $fp ); } /** * 查找一个文件中相同的记录输出到指定文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $inputFilename 输入文件路径 * @param string $outputFilename 输出文件路径 */ function search(string $inputFilename , $outputFilename = 'output.txt' ) { $table = []; $fp = fopen ( $inputFilename , 'r' ); while (! feof ( $fp )) { $line = fgets ( $fp ); !isset( $table [ $line ]) ? $table [ $line ] = 1 : $table [ $line ]++; // 未设置的值设1，否则自增 } fclose( $fp ); foreach ( $table as $line => $count ) { if ( $count >= 2){ // 出现大于2次的则是相同的记录，输出到指定文件中 file_put_contents ( $outputFilename , $line , FILE_APPEND); } } } /** * 从给定目录下文件中分别找出相同记录输出到指定文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $dirs 指定目录 * @param string $outputFilename 输出文件路径 */ function searchAll( $dirs = 'files' , $outputFilename = 'output.txt' ) { $files = scandir( $dirs ); foreach ( $files as $file ) { $filepath = $dirs . '/' . $file ; if ( is_file ( $filepath )){ search( $filepath , $outputFilename ); } } } // 生成文件 generate( 'a.txt' , 10); generate( 'b.txt' , 10); // 分割文件 spiltFile( 'a.txt' ); spiltFile( 'b.txt' ); // 查找记录 searchAll( 'files' , 'output.txt' );

到此这篇关于详解PHP如何在两个大文件中找出相同记录的文章就介绍到这了,更多相关PHP文件相同记录内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家！

原文链接：https://mp.weixin.qq.com/s/CSRUtrlKFAbfQepFeF002w

可以去百度分享获取分享代码输入这里。

声明

1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，请转载时务必注明文章作者和来源，不尊重原创的行为我们将追究责任；3.作者投稿可能会经我们编辑修改或补充。