php性能优化进阶不要在for循环中操作DB

吾爱主题阅读：210 2022-11-10 16:18:00 评论：0

前言

如何提高程序运行速度，减轻服务器压力是服务端开发必须面对的一个问题。

简单且朴素的原则：不要在for循环中操作DB，包括关系型数据库和NoSql。

我们应该根据自己的业务场景，在for循环之前批量拿到数据，用尽量少的sql查询批量查到结果。在for循环中进行数据的匹配组装。

上一篇文章性能优化反思：不要在for循环中操作DB ，被推荐到首页也收到了大家的互动评论，再接再厉，进阶一版。

说明：继续上一篇文档的demo整理，不赘述重复代码了，建议大家先读上一篇内容。

场景说明

我们允许用户选择职业，系统预制了一批职业标签；又开放了自定义职业标签的功能，不限制自定义标签的次数。允许用户编辑资料时选择2个职业标签。
发现用户自定义的职业真的五花八门，随着业务增长，数量级越来越大；比如目前职业标签是2千个，以后可能有2万个，甚至20万个。
这种情况下，我们上一篇提到的在for循环之前批量查询全量数据，在for循环中用自定义函数匹配，避免在for循环中操作DB的方式命中率太低了，造成了极大的浪费。
比如：每个列表返回30个用户信息，每个用户选择了2个职业标签，最大标签数量是60；而我全量查到的职业标签数量是2千，命中率只有3%；如果职业标签达到2万个，命中率就只有0.3%了。

解题思路

首先，在for循环中不操作DB，这个大原则不变

上述问题的核心是命中率太低，就是全量查了很多用不到的数据

解决思路就是只批量查询命中的标签数据：

取到30个用户在user表中保存的职业id
30个用户的id去重后重组
在职业表通过whereIn查询匹配的职业标签
其他逻辑不变，替换的只是数据源：之前的数据源是全量数据，优化后的数据源是精准命中的数据。

思路清晰之后，开始coding

核心代码示例

为了行文紧凑，代码段中省略了和文章无关的代码，用竖着的三个.省略。

核心代码：抽取 renderUserInfo ，统一输出用户信息，这个函数在for循环中调用，获得数据源在for循环之前。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 <?php namespace App\Render; . . . class CommonRender extends BaseRender { public static function renderUserinfo( $data , $hobbyInfo = [], $professionInfo = []) { $hobbyInfo = ! empty ( $hobbyInfo ) ? $hobbyInfo : HobbyInfo::getAllInfo(); //特殊处理，因为职业用户可以自定义数字一直增长不全量查数据；$professionInfo为空时不是批量查询，只查单条记录 $professionInfo = ! empty ( $professionInfo ) ? $professionInfo : (isset( $data [ 'profession' ]) ? ProfessionInfo::getByIds( $data [ 'profession' ]) : []); if (! is_array ( $data )) { return []; } $ret = [ . . . //优化之前 // 'hobby' => !isset($data['hobby']) ? [] : HobbyInfo::getByIds($data['hobby']), // 'profession' => !isset($data['profession']) ? [] : ProfessionInfo::getByIds($data['profession']), //优化之后 'hobby' => !isset( $data [ 'hobby' ]) ? [] : self::_renderHobby( $data [ 'hobby' ], $hobbyInfo ), 'profession' => !isset( $data [ 'profession' ]) ? [] : self::_renderProfession( $data [ 'profession' ], $professionInfo ), . . . return $ret ; } }

isset() 判断，避免传入的数据不存在，提示数组越界。

我还整理了一篇如何避免数组下标越界，有兴趣可以阅读一下。

1 2 3 4 5 6 7 8 9 10 11 12 13 protected static function _renderProfession( $userProfession , $professionInfo ) { $ret = []; if ( $userProfession ) { $userProfessionIds = explode ( ',' , $userProfession ); foreach ( $userProfessionIds as $key => $userProfessionId ) { if (isset( $professionInfo [ $userProfessionId ])) { $ret [ $key ] = $professionInfo [ $userProfessionId ]; } } } return $ret ; }

调用 commonRender() 的代码，即展示数据源是怎么来的。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 public static function getBatchUserIntro( $userid , $userList ) { $retData = []; if ( empty ( $userList )) { return $retData ; } . . . $hobbyInfo = HobbyInfo::getAllInfo(); //按需批量查职业，不全量查询职业 $professionIds = array_column( $batchUserInfo , 'profession' ); $professionIds = implode( ',' , $professionIds ); $professionIds = array_unique ( explode ( ',' , $professionIds )); $professionInfo = ProfessionInfo::batchGetByIds( $professionIds ); foreach ( $batchUserInfo as $item ) { $retData [ $item [ 'userid' ]] = CommonRender::renderUserinfo( $item , $hobbyInfo , $professionInfo , $expectInfo ); } return $retData ; }

封装的工具方法，通过id数组批量获得数据，做了特殊判断，兼容值为空的情况。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 public static function batchGetByIds( $ids = []) { //兼容职业为空的情况 foreach ( $ids as $key => $id ) { if ( empty ( $id )) { unset( $ids [ $key ]); } } if ( empty ( $ids )) { return []; } return self::query()->selectRaw( 'id,name,pid' ) ->whereIn( 'id' , $ids ) ->get() ->keyBy( 'id' ) ->toArray(); }