首页 > 生活杂谈 > 一次惊心动魄的生产环境的事故记录与回顾

一次惊心动魄的生产环境的事故记录与回顾

今早一起床出门就和媳妇吵了一架,女人的思维真是不可理喻。导致路上开车也比较暴躁,右转时差点把电动车撞飞

来到公司,想着赶紧把618活动做完,好明天放假回家。于是composer安装了一个类库,提交到线上,突然小程序提示接口500,我不紧不慢的接了口水,心想肯定是个语法错误,待会再说

结果 提示类库未找到,赶快卸载类库再提交,发现系统提示所有控制器都找不到了,于是赶快回滚代码,事故就要开始了

乱咯

因为回滚用的少,结果选择成了合并,导致版本库也乱了,再提交发现大面积冲突,只好手动处理冲突,经过2小时的折腾总算恢复了出来,本地环境调试通过,提交线上环境。

可是提交完成发现还是报错,赶快上服务器查看情况,发现是节点冲突????,Excuse me???,服务器环境下 只拉取代码,不做修改与提交为毛会出现这样的情况???

事实上我也没整明白,最后处理办法是 把目录清空,重新检出了一次,恢复正常

原因猜测

因为composer 安装类库,导致文件发生了变化, linux下用户权限发生了异常,导致提交的时候没有完全覆盖,所以再次提交就会有冲突。

当然这只是猜测,毕竟当时环境下 条件不允许来一步一步排查

这一次事故导致线上业务中断3小时,还好避过了高峰期和活动时期,也是万幸,要不又要尴尬了

总结

定时检查生产环境,做好代码备份,本地测试一定不能少不能偷懒