Python与简单网络爬虫的编写
电影来了 这个电影资源搜索网站火起来了,曾有一段时间因为太多人访问我的博客,访问量高于平常十多倍,Apache、PHP和MySQL这三个庞大的东西搭建的庞大的wordpress博客就直接挂掉了,直接挂掉了,挂掉了,了。。。 从上一篇博文的评论中看出似乎很多同学都比较关注爬虫的源代码。我也给大家回复,…
归档
共 34 篇文章
电影来了 这个电影资源搜索网站火起来了,曾有一段时间因为太多人访问我的博客,访问量高于平常十多倍,Apache、PHP和MySQL这三个庞大的东西搭建的庞大的wordpress博客就直接挂掉了,直接挂掉了,挂掉了,了。。。 从上一篇博文的评论中看出似乎很多同学都比较关注爬虫的源代码。我也给大家回复,…
有时候庆祝生日并非一件愉快的事情。记错了日期并不可怕,可怕的是它使你最深信不疑的信念一秒崩落。当记忆不再可靠,只能抽丝剥茧,从现实寻回最初的真相,然而真相又是否能如想象中般美好?
经常切换到新环境下工作,例如VPS变更了,电脑换了,OS换了等。无论是哪个发行版的Linux,还是哪个版本的OSX或BSD,只需要配置一下Bash和Vim这两个使用最频繁的工具就OK。听说“天然呆小萌兔”去了Google,难怪最近一直那么萌的了,她说她的部门只有一个人用Emacs,Vim还是目前主流…
虽然放假了,但最近的时间都用在做作业和做实验上了。第一次用Qt4 Creator开发一个软件,靠自己胡乱摸索,稍微了解了一下工作原理。这IDE似乎比VS那个还要强大,面向对象的编程方法,所有地方只打"."就能自动识别和转换成"->",比Codelite方便和稳定很多。Qt4的类库也很强大,QStri…
Design: The software consists of two parts. The server program and the client program. The server program is simply a command line application that re…
因为这个学期学习的Pattern Recognition需要做一个Lab实验,而我所在的小组的题目是人脸识别。我想参与做的工作是人脸检测定位,然后提取特征。 为了减少工作量,尽量采用现成的技术和现有的库,例如OpenCV。最容易实现而且已经被广泛实践的就是人脸的定位了,使用过google plus或…
继上一篇在路由器上写CMCC自动登录脚本介绍用python脚本实现cmcc自动登录之后,用起来不是很爽!另外发现openwrt也不支持perl脚本,所以想到用shell脚本重新写一遍。方便在没有python环境下,能够直接使用。 今晚琢磨了两个小时,终于成功写出busybox能够支持的登录脚本了。因…
0. 索引很重要 之前列举记录用了下面的语句。state字段为索引。 当记录数量很大时,有几万之后,这句SQL就很慢了。主要是因为feed_url没有建立索引。后来的解决方法是,把feed_url为空的,设为一个ok以外的state值,就行了。 1、索引不是万能的 为了计算记录总数,下面的语句会很慢…