扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
很长时间不更新博客了。最近做一些压力测试(流量实时导入与离线回放)、内网源(含全部centos、EPEL)、自制RPM包等事情了。个人有点浅显的理解,如各位看官对以上感兴趣,留言告诉我,后面会选择性更新出来,相信对各位都是比较有用的。
为镇赉等地区用户提供了全套网页设计制作服务,及镇赉网站建设行业解决方案。主营业务为做网站、成都网站制作、镇赉网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!本文用较短篇幅介绍Tcpcopy的流量导入,后续会再更新一篇离线模式使用。
一个完善的网站、系统,上线前必须经过完备的压力测试,这是基本的质量保证。在测试过程中,我们使用过 AB、Loadrunner效果都不理想,无法精确还原用户请求。后来我们使用了网易开源的Tcpcopy,还原了真实流量,以及离线流量按需回放等功能,对新业务的上线起了至关重要的作用。
简介:
Tcpcopy是一种请求复制(所有基于tcp的packets)工具,可以把在线流量导入到测试系统中去。
曾经应用于网易的广告投放系统,urs系统,nginx hmux协议等系统,避免了上线带来的很多问题。
现在此工具已经广泛应用于各大互联网公司。tcpcopy鼻祖王波同学(@wbo65),是他在这方面进行了最初探索。(2009年设计并代码实现,仅仅300多行代码就支撑了网易广告投放系统的最初开发,上线零失误,解决上线前数百个问题),当然这个最简单的版本应用范围非常有限,王斌(@wangbin579)在2010年末在这个架构上面进行了深度改造,扩展到1000多行代码)。最新版本1.0.0。
功能:
1)分布式压力测试工具,利用在线数据,可以测试系统能够承受的压力大小(远比ab压力测
试工具真实地多),也可以提前发现一些bug
2)普通上线测试,可以发现新系统是否稳定,提前发现上线过程中会出现的诸多问题,让开
发者有信心上线
3)流量放大功能,可以利用多种手段构造无限在线压力,满足中小网站压力测试要求
架构:
1.0.0版本架构如下图,
上述架构,也即最新架构,是为了极限测试的目的而设计的,把intercept的工作从测试服务器(test server)中offload出来,放到另外一台独立的辅助服务器(assistant server,原则上一定要用同网段的一台闲置的服务器来充当辅助服务器)上面进行截获响应包,而且把原先从IP层捕获响应数据包的工作转移到从数据链路层抓响应包,这些改变大大降低了对测试机器的各种干扰(除了路由设置,其它已经没有影响了),而且大大扩大了捕获响应包的能力。当然这种测试也更加真实。
部署:
此环境准备三台机器,假设我们需要导入Apache的80口流量,Apache安装过程省略。如对上图理解有困难,我画了一张简明草图方便你理解
一、正式节点 1.1.1.1 安装httpd tcpcopy
二、测试节点 1.1.1.2 安装httpd
三、辅助节点 1.1.1.3 安装intercept
安装tcpcopy cd /tmp wget https://github.com/session-replay-tools/tcpcopy/archive/1.0.0.tar.gz tar -zxvf 1.0.0.tar.gz ./configure --prefix=/usr/local/tcpcopy make make install vi /etc/profile.d/tcpcopy.sh #加入下面一行 export PATH=$PATH:/usr/local/tcpcopy/sbin source /etc/profile.d/tcpcopy.sh 安装intercept yum install libpcap-devel cd /tmp wget https://github.com/session-replay-tools/intercept/archive/1.0.0.tar.gz tar -zxvf 1.0.0.tar.gz ./configure --prefix=/usr/local/intercept make make install vi /etc/profile.d/intercept.sh #加入下面一行 export PATH=$PATH:/usr/local/intercept/sbin source /etc/profile.d/intercept.sh #正式环境中运行,将外部访客的IP转换为192.168.10.0/24,方便测试机设置路由 tcpcopy -x 80-1.1.1.2:80 -s 1.1.1.3 -c 192.168.10.x & #测试环境中添加路由 route add -net 192.168.10.0 netmask 255.255.255.0 gw 1.1.1.3 #辅助环境中运行,拦截80请求并丢弃 intercept -i eth0 -F 'tcp and src port 80' -d
效果:
用浏览器访问真实节点时,查看测试节点access_log是否滚动。
总结:
再次感谢Tcpcopy的开源作者(@wangbin579)的无私奉献。如有问题可留言回复,希望能帮到你。
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流