Oliver xu's Blog
0%

发表于 更新于 分类于
本文字数： 129 阅读时长 ≈ 1 分钟

PYSWARMS是用python编写的一个可扩展的，用于研究粒子群算法(particle swarm optimization[PSO])的工具包。

它适用于群体智能研究人员，从业者，学生，因为PYSWARMS拥有完善的优秀的接口，非常容易在问题中实施PSO算法。

发表于 更新于 分类于
本文字数： 279 阅读时长 ≈ 1 分钟

本项目解决的问题：

工业上光纤测温仪配有自带的桌面上位机，此上位机是用C++语言编写，在测温的过程中，温度数据会每隔一秒记录一次，写入TXT文件。本项目将此TXT文件中的数据通过Python发送到服务器，并且在服务器上建立WEB接口，使用户可以通过WEB访问。

阅读全文 »

发表于 更新于 分类于
本文字数： 12k 阅读时长 ≈ 11 分钟 
1
2
3
import pandas as pd
reviews = pd.read_csv("data/wine-reviews/winemag-data-130k-v2.csv", index_col=0)
pd.set_option("display.max_rows", 5)

能够选择一张表中的某些数据是一个极其重要的操作，如果你连这个都不会的话，后面的处理根本就不可能实现了。

Python语言自带的索引，切片方法

原生的Python提供了很多优秀的方法来索引数据，pandas继承了这些方法，考虑这个DataFrame

阅读全文 »

发表于 更新于 分类于
本文字数： 5.8k 阅读时长 ≈ 5 分钟

在大多数数据分析项目中第一步往往是读取数据文件，在这个教程中，你将分别通过手动和读取数据文件来创建Series和DataFrame对象。

1
import pandas as pd

创建数据

在pandas中有两个核心的对象: DataFrame 和 Series

一个DataFrame是一张表格，每个元素有行和列来确定

举例如下：是一个简单的DataFrame

阅读全文 »

发表于 更新于 分类于
本文字数： 150 阅读时长 ≈ 1 分钟

这篇文章用来记录使用linux时遇到的各种BUG与解决方案

阅读全文 »

发表于 更新于 分类于
本文字数： 3.4k 阅读时长 ≈ 3 分钟

单变量线性回归——Pytorch实现

吴恩达老师机器学习课程中的线性回归采用的是Matlab编写的，我用Pytorch实现一遍。

x_train是房子大小

y_train是房子售价

最终目标是预测y_train

阅读全文 »

发表于 更新于 分类于
本文字数： 4.4k 阅读时长 ≈ 4 分钟

这是一篇去年的老文章了，我的博客的域名从xujh.top->ikeji8.com->xujh.top，建站程序从wordpress变为了typecho静态博客。最近，我将把之前的文章慢慢迁移过来

最近我的博客新开了，一直在申请Google AdSense， 结果申请一次被拒一次，google发邮件说我的内容太少了， 这就让我很不爽了，虽然被拒绝的原因可能是其他的比如网站建站时间短等等，但是我还是想瞬间把我的博客的内容给增加上去，再一看，群里那些基友用的都是wordpress建站，OK，造个小爬虫吧！ 虽然网上有自动采集文章的插件，但是你不觉得那个太low了吗！(虽然我的爬虫也很low) 好了，闲话少说，进入主题。

阅读全文 »

发表于 更新于 分类于
本文字数： 10k 阅读时长 ≈ 9 分钟

编写SQL语句需要对基础数据库的设计有良好的理解，不知道什么信息存储在什么表中，表之间如何相互关联以及行内数据如何分解，是不可能编写出高效的SQL的。本博客关于数据库这一系列文章是我花了半天时间学习了《MySQL必知必会》这本书的基础上，产生的学习笔记，记录在博客上，以便于将来查找阅读。那本书讲的是MySQL，我这里用的是sqlite3，书中的命令会有微小修改。

安装sqlite3

可以从这里下载https://www.sqlite.org/download.html

创建表

系列教程将围绕实例：随身物品推销商使用的订单录入系统。需要6个表：

阅读全文 »

发表于 更新于 分类于
本文字数： 926 阅读时长 ≈ 1 分钟

通过最近几天的学习，对数据库终于有了一些认识，现在记录一下。

什么是数据库，为何需要使用数据库？

我们先来想想几个问题：

阅读全文 »

发表于 更新于 分类于
本文字数： 2k 阅读时长 ≈ 2 分钟

本文是维护爬虫代理IP池系列文章的第一篇文章，系列教程将会一步步教你搭建你自己的代理IP池。本文介绍了如何采集互联网上的免费的代理IP，并验证IP是否有效。

任务分析

我们爬的免费代理来自于https://www.kuaidaili.com这个网站。

用requests将ip地址与端口采集过来，将IP与PORT组合成requests需要的代理格式，用requests访问ipcheck.chinahosting.tk，并判断返回的字符串是否是代理IP，若是，则代理IP有效，若不是，则代理IP无效。

数据采集现在已经成为了基本操作了，所以大家直接看代码就可以了，注释应该写的很清楚了。如果是个新手，那么可以看这篇文章：采集wordpress并自动发布文章，这篇文章看懂了，基本上全世界大部分的网站你就都能爬了。

这个站点http://ipcheck.chinahosting.tk/是我个人搭建的用来验证IP的，详情见文章：利用虚拟主机搭建一个验证爬虫代理IP是否有效的服务，大家如果自己用的话最好搭建一个，基本上10多分钟就能搭建完，并且只要点点鼠标。

阅读全文 »