光纤测温WEB系统

本项目解决的问题:

工业上光纤测温仪配有自带的桌面上位机,此上位机是用C++语言编写,在测温的过程中,温度数据会每隔一秒记录一次,写入TXT文件。本项目将此TXT文件中的数据通过Python发送到服务器,并且在服务器上建立WEB接口,使用户可以通过WEB访问。

Pandas系列教程(二): 索引,选择, 赋值

1
2
3
import pandas as pd
reviews = pd.read_csv("data/wine-reviews/winemag-data-130k-v2.csv", index_col=0)
pd.set_option("display.max_rows", 5)

能够选择一张表中的某些数据是一个极其重要的操作,如果你连这个都不会的话,后面的处理根本就不可能实现了。

Python语言自带的索引,切片方法

原生的Python提供了很多优秀的方法来索引数据,pandas继承了这些方法,考虑这个DataFrame

Pandas系列教程(一):创建和读写

在大多数数据分析项目中第一步往往是读取数据文件,在这个教程中,你将分别通过手动和读取数据文件来创建SeriesDataFrame对象。

1
import pandas as pd

创建数据

pandas中有两个核心的对象: DataFrameSeries

一个DataFrame是一张表格,每个元素有行和列来确定

举例如下:是一个简单的DataFrame

Linux系统TIPS

这篇文章用来记录使用linux时遇到的各种BUG与解决方案

单变量线性回归--Pytorch实现

单变量线性回归——Pytorch实现

吴恩达老师机器学习课程中的线性回归采用的是Matlab编写的,我用Pytorch实现一遍。

x_train是房子大小

y_train是房子售价

最终目标是预测y_train

采集wordpress并自动发布文章

这是一篇去年的老文章了,我的博客的域名从xujh.top->ikeji8.com->xujh.top,建站程序从wordpress变为了typecho静态博客。最近,我将把之前的文章慢慢迁移过来

最近我的博客新开了,一直在申请Google AdSense, 结果申请一次被拒一次,google发邮件说我的内容太少了, 这就让我很不爽了,虽然被拒绝的原因可能是其他的比如网站建站时间短等等,但是我还是想瞬间把我的博客的内容给增加上去,再一看,群里那些基友用的都是wordpress建站,OK,造个小爬虫吧! 虽然网上有自动采集文章的插件,但是你不觉得那个太low了吗!(虽然我的爬虫也很low) 好了,闲话少说,进入主题。

初学数据库-sqlite3 创建示例数据库

编写SQL语句需要对基础数据库的设计有良好的理解,不知道什么信息存储在什么表中,表之间如何相互关联以及行内数据如何分解,是不可能编写出高效的SQL的。本博客关于数据库这一系列文章是我花了半天时间学习了《MySQL必知必会》这本书的基础上,产生的学习笔记,记录在博客上,以便于将来查找阅读。那本书讲的是MySQL,我这里用的是sqlite3,书中的命令会有微小修改。

安装sqlite3

可以从这里下载https://www.sqlite.org/download.html

创建表

系列教程将围绕实例:随身物品推销商使用的订单录入系统。需要6个表:

初学数据库-sqlite3 简介

通过最近几天的学习,对数据库终于有了一些认识,现在记录一下。

什么是数据库,为何需要使用数据库?

我们先来想想几个问题:

维护爬虫代理IP池--采集并验证

本文是维护爬虫代理IP池系列文章的第一篇文章,系列教程将会一步步教你搭建你自己的代理IP池。本文介绍了如何采集互联网上的免费的代理IP,并验证IP是否有效。

任务分析

我们爬的免费代理来自于https://www.kuaidaili.com这个网站。

requests将ip地址与端口采集过来,将IPPORT组合成requests需要的代理格式,用requests访问ipcheck.chinahosting.tk,并判断返回的字符串是否是代理IP,若是,则代理IP有效,若不是,则代理IP无效。

数据采集现在已经成为了基本操作了,所以大家直接看代码就可以了,注释应该写的很清楚了。如果是个新手,那么可以看这篇文章:采集wordpress并自动发布文章,这篇文章看懂了,基本上全世界大部分的网站你就都能爬了。

这个站点http://ipcheck.chinahosting.tk/是我个人搭建的用来验证IP的,详情见文章:利用虚拟主机搭建一个验证爬虫代理IP是否有效的服务,大家如果自己用的话最好搭建一个,基本上10多分钟就能搭建完,并且只要点点鼠标。

利用虚拟主机搭建一个验证爬虫代理IP是否有效的服务

经常写爬虫的小伙伴们肯定有自己的代理IP池,我们在验证代理IP是否有效时,往往是利用response=requests.get(ipcheck_url,proxies=proxy)这样的方法去验证,通过访问ipcheck_urlresponse能返回当前访客的ip地址,通过和代理ip对比一下,若一样,则代理ip有效,若response中的ip和你的电脑ip相同,则代理无效。ipcheck_url我们常常是选择的例如站长工具等之类的工具,这类工具往往访问量大,随时可能会出问题,这篇文章教你自己搭建一个验证有效性的这样一个平台,永不掉线,成本为一年20RMB,具体搭建耗时约在15分钟内。

先放一张效果图:

当我访问这个网址时,返回了我电脑的ip地址。