• 初学数据库-sqlite3 简介

    通过最近几天的学习,对数据库终于有了一些认识,现在记录一下。

    什么是数据库,为何需要使用数据库?

    我们先来想想几个问题:

  • 维护爬虫代理IP池--采集并验证

    本文是维护爬虫代理IP池系列文章的第一篇文章,系列教程将会一步步教你搭建你自己的代理IP池。本文介绍了如何采集互联网上的免费的代理IP,并验证IP是否有效。

    任务分析

    我们爬的免费代理来自于https://www.kuaidaili.com这个网站。

    requests将ip地址与端口采集过来,将IPPORT组合成requests需要的代理格式,用requests访问ipcheck.chinahosting.tk,并判断返回的字符串是否是代理IP,若是,则代理IP有效,若不是,则代理IP无效。

    数据采集现在已经成为了基本操作了,所以大家直接看代码就可以了,注释应该写的很清楚了。如果是个新手,那么可以看这篇文章:采集wordpress并自动发布文章 ,这篇文章看懂了,基本上全世界大部分的网站你就都能爬了。

    这个站点http://ipcheck.chinahosting.tk/ 是我个人搭建的用来验证IP的,详情见文章:利用虚拟主机搭建一个验证爬虫代理IP是否有效的服务 ,大家如果自己用的话最好搭建一个,基本上10多分钟就能搭建完,并且只要点点鼠标。

  • 利用虚拟主机搭建一个验证爬虫代理IP是否有效的服务

    经常写爬虫的小伙伴们肯定有自己的代理IP池,我们在验证代理IP是否有效时,往往是利用response=requests.get(ipcheck_url,proxies=proxy)这样的方法去验证,通过访问ipcheck_urlresponse能返回当前访客的ip地址,通过和代理ip对比一下,若一样,则代理ip有效,若response中的ip和你的电脑ip相同,则代理无效。ipcheck_url我们常常是选择的例如站长工具等之类的工具,这类工具往往访问量大,随时可能会出问题,这篇文章教你自己搭建一个验证有效性的这样一个平台,永不掉线,成本为一年20RMB,具体搭建耗时约在15分钟内。

    先放一张效果图:

    当我访问这个网址时,返回了我电脑的ip地址。

  • 发布自己的Python包到pypi

    大佬们写的包,我们只需要pip install就能安装了,但是,其实人人都能发布包到pypi。 本教程将指导您如何打包一个简单的Python项目。它将向您展示如何添加必要的文件和结构来创建包,如何构建包以及如何将其上载到Python包索引。

    一个简单的项目

    本教程使用名为example_pkg_xujhtop的简单项目。

    要在本地创建此项目,请创建以下文件结构:

    1
    2
    3
    /example_pkg_xujhtop
    /example_pkg_xujhtop
    __init__.py
  • Flask速成项目:Flask实现计算机资源的实时监控

    很多人都说使用Python开发WEB应用非常方便,那么对于WEB新手来说,到底有多方便呢?本文即将展示给你Python的魔法。 本文将通过一个实例:Flask实现计算机资源的实时监控,迅速带你入门Flask开发。 先说一下我的水平,博主的专业并不是做WEB开发的,对于WEB方面,只会写爬虫,因此,只能看懂html,略看得懂css与js,我估计有很多像我一样的小伙伴,因此,如果你的WEB掌握的水平在我之上或与我相当,那么,这篇文章将是你迅速入门Flask的终极教程

    先放上一张成果图: 访问,浏览器能够实时显示我的电脑的两个CPU的使用情况,这里特地采用两种显示方式,方便大家学习代码。

  • 华为研发岗位面试经验(已拿offer)

    专业面试:

    • ** 自我介绍:3-5分钟把自己的校园经历简单介绍一下**

    面试官您好,很高兴能有机会来参加面试,我叫周杰伦,来自上海市,现在正在上海交通大学学习。 首先,我在大学期间非常重视专业知识的学习,我平时学习非常用功,在每学年的考试中都始终保持年级前10名的成绩,整个大学期间成绩排名为第1,排名人数95人,获得过1次二等奖学金,1次一等奖学金。 其次,我还非常注重实践经验的积累。在大学期间,我积极参加学校组织的各类活动,如电子设计竞赛,数学建模比赛,大学生创新性实验计划项目,并且利用寒暑假去企业实习,积累了很多实践经验。 我性格乐观开朗,拥有较强的工作组织协调能力,并且能够吃苦耐劳,重视团队精神,我曾担任学院开放实验室的年级负责人,积极组织参加各类活动。

  • Flask项目结构

    拥有良好的项目结构对于开发与维护有着巨大的作用

  • Python配置虚拟环境

    Python的开发过程中往往会遇到不同库存在不同版本的问题,例如我使用flask框架开发一个网站,A网站可能会使用flask 1.0,B网站可能会使用flask 2.0, 那么如何在电脑上进行配置,可以很方便的对开发环境进行隔离呢?这就要用到本文介绍的工具了

    VirtualEnv可以搭建虚拟且独立的python运行环境,使得单个项目的运行环境与其它项目独立起来。同时也可以用于在一台机器上创建多个独立的python运行环境,VirtualEnvWrapper为前者提供了一些便利的命令行上的封装

    Virtualenv是一个非常好的virtual python environment builder,他最大的好处是,可以让每一个python项目单独使用一个环境,而不会影响python系统环境,也不会影响其他项目的环境。

    Virtualenv可用于创建独立的Python环境,在这些环境里面可以选择不同的Python版本或者不同的Packages,并且可以在没有root权限的情况下在环境里安装新套件,互相不会产生任何的影响。

  • 最实用的docker使用教程

    Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从Apache2.0协议开源。

    Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。

    容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app),更重要的是容器性能开销极低。

    docker命令大全

    容器生命周期管理

    1.run

    docker run :创建一个新的容器并运行一个命令

  • 常用排序算法之选择排序

    题目:编写一个C程序,运用选择排序将序列{2,5,6,3,7,8,0,9,12,1}进行排序,要求从小到大排序,并输出排序后的数列元素

    算法分析:运用选择排序算法即可

    代码实现:

178910