初学数据库-sqlite3 创建示例数据库

编写SQL语句需要对基础数据库的设计有良好的理解,不知道什么信息存储在什么表中,表之间如何相互关联以及行内数据如何分解,是不可能编写出高效的SQL的。本博客关于数据库这一系列文章是我花了半天时间学习了《MySQL必知必会》这本书的基础上,产生的学习笔记,记录在博客上,以便于将来查找阅读。那本书讲的是MySQL,我这里用的是sqlite3,书中的命令会有微小修改。

安装sqlite3

可以从这里下载https://www.sqlite.org/download.html

创建表

系列教程将围绕实例:随身物品推销商使用的订单录入系统。需要6个表:

初学数据库-sqlite3 简介

通过最近几天的学习,对数据库终于有了一些认识,现在记录一下。

什么是数据库,为何需要使用数据库?

我们先来想想几个问题:

维护爬虫代理IP池--采集并验证

本文是维护爬虫代理IP池系列文章的第一篇文章,系列教程将会一步步教你搭建你自己的代理IP池。本文介绍了如何采集互联网上的免费的代理IP,并验证IP是否有效。

任务分析

我们爬的免费代理来自于https://www.kuaidaili.com这个网站。

requests将ip地址与端口采集过来,将IPPORT组合成requests需要的代理格式,用requests访问ipcheck.chinahosting.tk,并判断返回的字符串是否是代理IP,若是,则代理IP有效,若不是,则代理IP无效。

数据采集现在已经成为了基本操作了,所以大家直接看代码就可以了,注释应该写的很清楚了。如果是个新手,那么可以看这篇文章:采集wordpress并自动发布文章,这篇文章看懂了,基本上全世界大部分的网站你就都能爬了。

这个站点http://ipcheck.chinahosting.tk/是我个人搭建的用来验证IP的,详情见文章:利用虚拟主机搭建一个验证爬虫代理IP是否有效的服务,大家如果自己用的话最好搭建一个,基本上10多分钟就能搭建完,并且只要点点鼠标。

利用虚拟主机搭建一个验证爬虫代理IP是否有效的服务

经常写爬虫的小伙伴们肯定有自己的代理IP池,我们在验证代理IP是否有效时,往往是利用response=requests.get(ipcheck_url,proxies=proxy)这样的方法去验证,通过访问ipcheck_urlresponse能返回当前访客的ip地址,通过和代理ip对比一下,若一样,则代理ip有效,若response中的ip和你的电脑ip相同,则代理无效。ipcheck_url我们常常是选择的例如站长工具等之类的工具,这类工具往往访问量大,随时可能会出问题,这篇文章教你自己搭建一个验证有效性的这样一个平台,永不掉线,成本为一年20RMB,具体搭建耗时约在15分钟内。

先放一张效果图:

当我访问这个网址时,返回了我电脑的ip地址。

发布自己的Python包到pypi

大佬们写的包,我们只需要pip install就能安装了,但是,其实人人都能发布包到pypi。 本教程将指导您如何打包一个简单的Python项目。它将向您展示如何添加必要的文件和结构来创建包,如何构建包以及如何将其上载到Python包索引。

一个简单的项目

本教程使用名为example_pkg_xujhtop的简单项目。

要在本地创建此项目,请创建以下文件结构:

1
2
3
/example_pkg_xujhtop
/example_pkg_xujhtop
__init__.py

Flask速成项目:Flask实现计算机资源的实时监控

很多人都说使用Python开发WEB应用非常方便,那么对于WEB新手来说,到底有多方便呢?本文即将展示给你Python的魔法。 本文将通过一个实例:Flask实现计算机资源的实时监控,迅速带你入门Flask开发。 先说一下我的水平,博主的专业并不是做WEB开发的,对于WEB方面,只会写爬虫,因此,只能看懂html,略看得懂css与js,我估计有很多像我一样的小伙伴,因此,如果你的WEB掌握的水平在我之上或与我相当,那么,这篇文章将是你迅速入门Flask的终极教程

先放上一张成果图: 结果 访问,浏览器能够实时显示我的电脑的两个CPU的使用情况,这里特地采用两种显示方式,方便大家学习代码。

华为研发岗位面试经验(已拿offer)

专业面试:

  • 自我介绍:3-5分钟把自己的校园经历简单介绍一下

面试官您好,很高兴能有机会来参加面试,我叫周杰伦,来自上海市,现在正在上海交通大学学习。 首先,我在大学期间非常重视专业知识的学习,我平时学习非常用功,在每学年的考试中都始终保持年级前10名的成绩,整个大学期间成绩排名为第1,排名人数95人,获得过1次二等奖学金,1次一等奖学金。 其次,我还非常注重实践经验的积累。在大学期间,我积极参加学校组织的各类活动,如电子设计竞赛,数学建模比赛,大学生创新性实验计划项目,并且利用寒暑假去企业实习,积累了很多实践经验。 我性格乐观开朗,拥有较强的工作组织协调能力,并且能够吃苦耐劳,重视团队精神,我曾担任学院开放实验室的年级负责人,积极组织参加各类活动。

Flask项目结构

拥有良好的项目结构对于开发与维护有着巨大的作用

Python配置虚拟环境

Python的开发过程中往往会遇到不同库存在不同版本的问题,例如我使用flask框架开发一个网站,A网站可能会使用flask 1.0,B网站可能会使用flask 2.0, 那么如何在电脑上进行配置,可以很方便的对开发环境进行隔离呢?这就要用到本文介绍的工具了

VirtualEnv可以搭建虚拟且独立的python运行环境,使得单个项目的运行环境与其它项目独立起来。同时也可以用于在一台机器上创建多个独立的python运行环境,VirtualEnvWrapper为前者提供了一些便利的命令行上的封装

Virtualenv是一个非常好的virtual python environment builder,他最大的好处是,可以让每一个python项目单独使用一个环境,而不会影响python系统环境,也不会影响其他项目的环境。

Virtualenv可用于创建独立的Python环境,在这些环境里面可以选择不同的Python版本或者不同的Packages,并且可以在没有root权限的情况下在环境里安装新套件,互相不会产生任何的影响。

最实用的docker使用教程

Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从Apache2.0协议开源。

Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。

容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app),更重要的是容器性能开销极低。

docker命令大全

容器生命周期管理

1.run

docker run :创建一个新的容器并运行一个命令