0%

1. 安装

1.1 安装 mongodb
1
2
3
4
5
6
7
8
mkdir ~/data

sudo docker pull mongo:latest

# 一定要把数据卷暴露出去, 这样方便数据迁移
sudo docker run -d -p 27017:27017 --name mongo -v /home/liuwei/data:/data/db mongo:latest

sudo docker exec -it mongo mongo
阅读全文 »

0. 前言

Docker Compose 是 Docker 官方编排(Orchestration)项目之一,负责快速的部署分布式应用,它是由 python 编写。

Compose 定位是定义和运行多个 Docker 容器的应用。Compose 有两个重点

  • docker-compose.yml compose 配置文件
  • docker-compose 命令行工具
阅读全文 »

curl是一种命令行工具,作用是发出网络请求,然后得到和提取数据,显示在”标准输出”(stdout)上面。

1. 使用教程

1.1 查看网页源码和保存
1
curl www.sina.com

如果要把这个网页保存下来,可以使用-o参数,这就相当于使用wget命令了。

1
curl -o [文件名] www.sina.com
阅读全文 »

1. github DMCA takedown

前两天, 发现blog突然无法提交了. 去邮箱里看github发的邮件才知道有一篇博文涉及到jetbrains版权问题, 让24小时内处理, 后来完美错过了时间. 就直接被takedown了.

2. 折腾过程

takedown后一脸懵逼, 在网上查询的解决方案基本都是给github发邮件, 请求删除仓库或者再给一次宽限24小时的处理时间.

于是我试着发了一封邮件, 没想到10天后才得到回复 (这效率~~~). 回复的时间还在十一假期内, 虽然又给我了24小时处理, 又被我完美错过了.(!!!!!一定要定期查看邮件)

阅读全文 »

1. 同一台电脑有2个github账号?

  • 首先要为每个帐号生成公钥私钥对, 并且设置到 github 里。

  • 修改 ~/.ssh/config, 设置如下

1
2
3
4
5
6
7
8
Host unix2dos
HostName github.com
IdentityFile ~/.ssh/github-unix2dos
User unix2dos
Host levonfly
HostName github.com
IdentityFile ~/.ssh/github-levonfly
User levonfly

测试:

1
2
ssh -T git@unix2dos
ssh -T git@levonfly
阅读全文 »

Session是服务器端使用的一种记录客户端状态的机制,Session在用户第一次访问服务器的时候自动创建。客户端只保存sessionid到cookie中,而不会保存session,关掉浏览器并不会关闭session。

阅读全文 »

Cookie 是在 HTTP 协议下,由 Web 服务器保存在用户浏览器(客户端)上的小文本文件,它可以包含有关用户的信息。无论何时用户链接到服务器,Web 站点都可以访问 Cookie 信息。

Cookie实际上是一小段的文本信息。客户端请求服务器,如果服务器需要记录该用户状态,就使用response向客户端浏览器颁发一个Cookie。客户端浏览器会把Cookie保存起来。当浏览器再请求该网站时,浏览器把请求的网址连同该Cookie一同提交给服务器。服务器检查该Cookie,以此来辨认用户状态。服务器还可以根据需要修改Cookie的内容。

阅读全文 »

0. 前言

Selenium 的初衷是打造一款优秀的自动化测试工具,但是慢慢的人们就发现,Selenium 的自动化用来做爬虫正合适。我们知道,传统的爬虫通过直接模拟 HTTP 请求来爬取站点信息,由于这种方式和浏览器访问差异比较明显,很多站点都采取了一些反爬的手段,而 Selenium 是通过模拟浏览器来爬取信息,其行为和用户几乎一样,反爬策略也很难区分出请求到底是来自 Selenium 还是真实用户。

通过 Selenium 来做爬虫,不用去分析每个请求的具体参数,比起传统的爬虫开发起来更容易。Selenium 爬虫唯一的不足是慢,如果你对爬虫的速度没有要求,那使用 Selenium 是个非常不错的选择。

阅读全文 »

1. 常用软件

1.1 健康类

  • autosleep 睡眠。 25元买断终身,可以和heartwatch一起购买,一共50元。

  • heart watch / heart analyzer 心率分析。

  • keep 跑步。

阅读全文 »