Webmagic爬虫框架实践

/*250*200 创建于 2016年6月23日 星期四*/ var cpro_id = "u2682629"; 对于这个,个人觉得很适合中国的国情。比如说爬去discuz等各大论坛的内容变得异常的轻松。 简单的测试了一下。这个例子很贴切。仅仅测试了爬虫爬取页面的能力。还没有写具体的爬取复杂页面的内容。   package ua; import ……

像少年一样无赖,想中年一样去爱

时间从未走远,在那些始终和时间赛跑的人身上。每一天落寞的阳光变成防腐剂,每一日沉睡的星空覆上保护膜,任何外界的干扰,都成为独自前进的坚定力量。而这种力量,历久弥新,终于成为你生命中不可或缺的一部分。认识蕾蕾姐,是在三年前。像少年一样无赖,像中年一样去爱我去天通苑采访画家“五龙先生”龙黔石,刚入门,便……

HTTP状态码

每次都在找这个东西,偶然发现了。留作备忘: 100 Continue 只有一部分请求被服务器接收,但只要没被服务器拒绝,客户端就会延续这个请求 101 Switching Protocols 服务器交换机协议 200 OK 请求被确认 201 Created 请求时完整的,新的资源被创建 202 Accepted 请求被接受,但未处理完 203 Non-authoritative……

WebMagic(java爬虫)

最近一直比较忙,都没什么时间写blog了。主要是在学习webmagic的使用。WebMagic是一个简单灵活的爬虫框架。基于WebMagic,你可以快速开发出一个高效、易维护的爬虫。是黄亿华大神写的一个java爬虫框架。 特性: 简单的API,可快速上手 模块化的结构,可轻松扩展 提供多线程和分布式支持 中文: http://webmagic.io/docs……

C#编码规范

Pascal命名法:每个单词首字母均大写。 Camel命名法:第一个单词首字母小写,其余单词首字母大写。 类: 1、使用 Pascal 大小写。 2、用名词或名词短语命名类,保证类名清晰,尽量达到望文生义的境界。 3、类名称尽量少用或不用缩写,若使用了缩写一定要在注释中详细注明类的用途。 4、不要使用类型前缀,例如,类名称前……

最好的关系,是我懂你的不容易

01 姐姐和姐夫结婚快二十年,感情很好,极少吵架,是亲戚里的好夫妻典范。大家说起他们来都会纳闷:这俩人,好像就不会生气似的。 我以前也纳闷。不过现在懂了。 前几天住姐姐家,姐夫晚上十一点才回来,当时我们都睡了,但姐姐一听开门声,就立刻爬起来,说你姐夫醉得不轻。 最好的关系,是我懂你的不容易 我迷迷糊糊跟……

很感谢你能来,不遗憾你离开

01昨天一个读者说,她刚从一个同学口中得知,她关系最好的姐妹今天生了一对双胞胎,但是她连自己姐妹什么时候结的婚都不知道,大学时候她俩好的,一个来大姨妈,另一个二话不说就跳下床去给对方洗内裤。很感谢你能来,不遗憾你离开可是现在却像两个擦肩而过后老死不相往来的冷漠逼。好心塞。为什么我们会走着走着就散了?……

非法文件上传漏洞技术的解析(ichunqiu)

1.MIME类型绕过漏洞 服务器端通过判断上传的MIME的类型来判断文件的类型,我们可以通过构造虚假的MIME来绕过服务器的MIME验证。如通过Content-type:image/jpeg表明上传的是jpg类型的文件。我们能够使用Burp抓包软软件修改MIME类型来成功上传我们的Webshell 2.文件拓展名绕过漏洞 比如如果是php的话,除了能够解析以php为……

ASP.NET课程设计

首先,我觉得我们的课程设计很水。没有达到我的要求,但我们不能为而对自己降低要求。所以我和我室友一起写了一个asp.net的小网站当作课程设计。名字比较的奇葩:学习部落。但是通过这个项目,让我们对于一个项目的创建的整个流程有了更加深入的理解。 放几张图把,代码太多了,还需要连接sql数据库。让大家欣赏一下我们7……

以后我不在你身边,你都要过得好好的

1 阿晨是我男朋友的哥们儿,我们几个经常一起吃饭。 他是个很逗的男生,一个会说话的男生再加上有品位,所以他身边从来不缺女孩子。 我们喜欢打趣儿他:“真羡慕阿晨,生活丰富多彩。” 以后我不在你身边,你都要过得好好的 晚上一起出来吃烧烤,阿晨自己过来的,于是我们几个又和他闹:“呦,怎么今天没带妹子。”阿晨摆摆手……