视频存档上线后若干问题
前段时间上线了视频存档业务，上线之后访问情况良好，源站带宽比平时稍高，属于正常的范围。
接下来的工作就是删除电信，联通cs的存档内容，释放磁盘空间。
第一天我删除了fcs1-fcs10的内容，源站没有太大的变化。
第二天我删除了fcs1-fcs30的内容，源站有一点点波动，属于可以接受的范围。
第二天我删除了fcs1-fcs53的内容，xinxing和shaoguan的网通源站带宽由600Mbps 升到 1Gbps，如果不是由于限速，可能会更高。 电信带宽由于是万兆的，升高不明显。
1. 开始我以为是存档的内容不完全，于是启用rsync向源站做一次全同步， 第二天发现源站变化不明显，于是检查同步情况，发现很多机器的rsyncd没启动，于是启动rsyncd，过了几天，源站带宽稍微有点下降，但是还是不明显。
2. 进一步排查，发现有一些机器的数据目录权限是root:root，nginx可能没有权限读取文件，302到源站。这个权限可能是rsync同步的时候从cs哪里继承过来的，于是对所有的cs做了chown -R nobody:nobody /diska的操作，发现源站的带宽稍微有点下降，但是还是不明显。
3. 继续排查，发现小运营商的回源比较多，原来的逻辑是小运营商没有的文件，调度到联通的cs，现在需要加多一个判断，如果是存档的fcs，需要调度到存档的机器，做了修改之后，源站的带宽又下降了一些，回归到理想的范围，但是还是不满意。
4. 最后排查，发现vfs推送文件的时候，存档fcs的文件还是会去电信，联通cs取， 那两个地方的文件已经被删除了，于是回源站去取，造成了推送的回源，提交vfs的bug报告，进行修改。
本次排查结束，排查的过程相当的繁琐，抓住一点点的日志往上跟踪，才能找出问题的根源。
