无忌
wenjinglian · 共 283 篇文章
网页异步ajax数据抓取几种解决方案
1.分析出ajax请求地址,直接请求地址 2.使用浏览器内核,比如WebKit,写浏览器插件 3.使用前端的自动化测试工具,比如WebUnit,Selenium 4.使用Phantomjs和Casperjs解析 注:PhantomJS是一个拥有JavaScript API的无界面WebKit。 推荐第4种方式 抓取解析流程: 使用Casperjs加载页面,然后保存文件,再使用你熟练语言解析,你也可以少去保存,直接解析. 基于Phantomjs和Casperjs的AJAX爬虫 网页上通过ajax异步加载的数据有什么办法抓取到吗? 使用PhantomJS测试JavaScript
2014-10-11 18:06 · 爬虫 · 评论(0)
[转]支付宝的性能测试
一、性能测试支付宝场景介绍 2013年双11过程当中,促销开启的第一分钟内支付宝的交易总额就突破了一亿元,短时间内大量用户涌入的情况下,如何保证用户的支付顺畅,是对支付宝应用系统的一个极大的挑战。 支付宝的性能测试场景分为性能基线测试,项目性能测试。 任意一笔交易过来,我们都需要对交易进行风险扫描,对于有可能是账户盗用的交易,我们会把这笔支付直接拒绝掉,或者通过手机校验码等方式进行风险释放。 我们有一个老的扫描平台A,现在需要构建一个新的扫描平台B,对A中关键技术进行升级,并增加额外的功能。扫描的策略是存储在DB中的,需要通过发布来更新到应用服务器的内存中。 二、性能测试需求分析和方案制定 …
2014-09-23 17:23 · 程序测试 · 评论(0)
关于betradar 数据解析 xml-statistics.pdf
3.2 Appendix 2: Cup tree XML parsing examples 附录2:杯赛结构xml解析事例 Brief Explanation 简要说明 We have the following definitions in the cup tree roster: 我们在杯赛结构文档中有下列定义 CupRound : E.g. 1/8 final, Quarter finals, Semi final etc. In 1/8 final there are 16 teams (8 matches), quarter final 8 teams (4 matches) etc. 杯赛轮…
2014-09-16 17:51 · www.betradar.com · 评论(0)
Caught IOException decoding xxx bytes of data
net.spy.memcached.transcoders.SerializingTranscoder: Caught IOException decoding 1668 bytes of data 原因是:本地的实体增加字段,但是缓存里并没有改变影响 解决:删除对应的缓存
2014-09-09 15:36 · 异常 · 评论(0)
linux 日志分析 命令grep、awk、sort、uniq
查看日志去除重复 cat catalina.out |grep "xxxxx"|awk -F ']' '{print $2}'|sort|uniq 统计去除重复的行数 cat catalina.out |grep "xxxxx"|awk -F ']' '{print $2}'|sort|uniq|wc -l 查询日志大于某一个时间点的日志,并且去重复 cat catalina.out | grep "xxxxxxxx"|awk '($0>"05-19 18:20:00"){print $0}'|awk -F ']' '{print $2}'|sort|uniq 统计行数 cat catali…
2014-05-19 19:56 · Linux · 评论(0)
shutdown: org.eclipse.ui.internal.Workbench$55
解决办法: Solved when I delete ".\workspace.metadata.plugins\org.eclipse.e4.workbench" folder http://stackoverflow.com/questions/18630845/eclipse-kepler-auto-exit-on-loading-workbench-with-error
2014-04-17 16:50 · 工具 · 评论(0)
HessianProxy cannot connect to 'http://localhost
HessianProxy cannot connect to 'http://localhost hessian接口地址不对
2014-04-12 10:57 · JAVA · 评论(0)
eclipse j2ee内部启动 tomcat内存溢出 java.lang.OutOfMemoryError: PermGen space
图文解决方案参照: eclipse启动tomcat出现内存溢出错误 java.lang.OutOfMemoryError: PermGen space 内存设置为:128倍数 -Xms384m -Xmx384m -XX:PermSize=384m -XX:MaxPermSize=384m
2014-04-12 10:21 · web容器 · 评论(0)
程序员如何写出杀手级简历
英文原文: http://niniane.org/resume_howto.html 这几年,我在Google工作,是一名软件工程师(之前是在微软做一个开发团队的队长),我曾浏览过成百上千的简历,从中挑选出可以进行下一步面试过程的 应聘者。 有些人的简历给我留下了很深的印象,而另一些则没有感觉。 慢慢的,有越来越多的朋友和亲人向我咨询如何优化他们的简历,所以我就收集了一些我见过的简历中出现的最常见的问题,并给出了如何避免这些问题的建议: 1. 简历里要有你工作的技术细节:编程语言,你的个人成就和水平。 我有时会看到一些简历,里面的工作描述就只有一行话,像这样: * 在一个3人组成的团队里开发…
2014-02-08 11:53 · 非技术 · 评论(0)
nginx Host X-Forward-For 作用
nginx重写请求头信息,让被代理的服务器能够获取请求来源的真实域名和真实IP proxy_set_header Host $host; proxy_set_header X-Forward-For $remote_addr; 引用 写道 Host的含义是表明请求的主机名,因为nginx作为反向代理使用,而如果后端真是的服务器设置有类似防盗链或者根据http请求头中的host字段来进行路由或判断功能的话,如果反向代理层的nginx不重写请求头中的host字段,将会导致请求失败【默认反向代理服务器会向后端真实服务器发送请求,并且请求头中的host字段应为proxy_pass指令设置的服务器】。…
技术项目走向失败的五条“捷径”
技术项目的失败,屡见不鲜。不论你运营的是一个持续跟进一些项目的软件公司,还是一个需要顾问来为你提供系统集成的非技术公司,你都有可能遭遇这个 问题。进度延期、预算疯涨、直至最后完全失败,这在软件世界非常普遍。事实上,一个项目延期数年,超支数百万,已经不是新鲜事了。 例如,在2003年,我飞去洛杉矶出席微软为软件开发者举办的其中一个会议。活动中,微软发表了激动人心的消息:下一个版本的windows将会带 来一些革命性的新功能。回顾我的笔记,其中有一个新功能叫做WinFS。具体细节不讲,简单来说,WinFS建议将操作系统的文件系统功能(文件和文件夹 的位置信息)和数据库功能(个人对文件的描述信息)…
SSL 自己生成的证书导致IE8浏览器挂掉
问题:https从交易网站跳转至支付中心导致IE8死掉 分析:不可能是程序问题 解决:将360安全软件关掉 自己生成的证书浏览器不信任,也搞不清安全软件在中间做了什么检测 正式环境使用商业证书不会出现这样的问题。不过有时用IE访问网上银行也会挂掉,根本没法解决,在家以前的处理方式是装 360浏览器(当时怀疑是自己IE的问题),难道是故意滴?
CountDownLatch 与 CyclicBarrier
CountDownLatch: 一个或者是一部分线程 ,等待另外一部线程都完成了,再继续执行 CyclicBarrier: 所有线程互相等待完成。 锁定老帖子 主题:java 多线程 CountDownLatch用法 锁定老帖子 主题:Java线程学习笔记(十)CountDownLatch 和CyclicBarrier 锁定老帖子 主题:淘宝面试题:如何充分利用多核CPU,计算很大的List中所有整数的和 JDK 7 中的 Fork/Join 模式 轻松实现多核时代的并行计算
2013-12-30 20:03 · 评论(0)