在Linux上安装编译Python3

系统环境

CentOS 7.4
Python 3.9.1 可以去官网下载发行包 https://www.python.org/downloads/release/python-391/

编译工具

在编译Python的时候,需要安装一些必要的模块。

1
2
3
4
5
6
7
8
9
10
11
yum -y install zlib zlib-devel
yum -y install bzip2 bzip2-devel
yum -y install ncurses ncurses-devel
yum -y install readline readline-devel
yum -y install openssl openssl-devel
yum -y install openssl-static
yum -y install xz lzma xz-devel
yum -y install sqlite sqlite-devel
yum -y install gdbm gdbm-devel
yum -y install tk tk-devel
yum -y install libffi libffi-devel

编译Python3

解压Python-3.9.1源码包

1
tar -zxvf Python-3.9.1.tar.gz

进入目录

1
cd Python-3.9.1

配置编译,设置安装目录,以及选择相应的模块

1
2
3
4
./configure --prefix=/usr/python3 \
--enable-shared CFLAGS=-fPIC \
LDFLAGS=-Wl,-rpath=/usr/local/openssl/lib:/usr/python3/lib \
--with-openssl=/usr/local/openssl

编译安装

1
2
3
make

make install

创建软连接

1
2
ln -s /usr/python3/bin/python3 /usr/bin/python3
ln -s /usr/python3/bin/pip3 /usr/bin/pip3

安装完成。

参考
https://www.cnblogs.com/freeweb/p/5181764.html

常用的排序算法

最近在leetcode上刷题,想回顾一下计算机编程的基本功排序。常用的排序算法(内部排序),按大类分可分为以下几种:插入排序、交换排序、选择排序、归并排序和计数排序五大类。下面用python代码简单实现一下这几种排序算法。

插入排序

插入排序(Insertion Sort)比较简单直观,原理是将为排序数据,在已排序序列中从后往前扫描,找到相应位置插入。

直接插入排序(Straight Insertion Sort)

1
2
3
4
5
6
7
8
def insertion_sort(nums):
for i in range(1, len(nums)):
j, key = i - 1, nums[i]
while j >= 0 and key < nums[j]:
nums[j+1] = nums[j]
j = j - 1

nums[j+1] = key

其他插入排序

交换排序

交换排序也是一种非常基础的算法,主要包含冒泡排序和快速排序。

冒泡排序(Bubble Sort)

1
2
3
4
5
6
7
8
9
10
def bubble_sort(nums):
for i in range(0, len(nums)-1):
swapped = False
for j in range(0, len(nums)-1-i):
if nums[j] > nums[j+1]:
nums[j], nums[j+1] = nums[j+1], nums[j]
swapped = True
if not swapped:
break
return nums

快速排序(Quick Sort)

快速排序,又称分区交换排序,简称快排,是对冒泡排序的一种改进。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
def quick_sort(nums, low, high):
if low >= high: return

pivot = nums[low] # 选数列第一个元素作为"基准"
i, j = low, high
while i < j:
while i < j and nums[j] >= pivot:
j = j - 1
nums[i] = nums[j]

while i < j and nums[i] <= pivot:
i = i + 1
nums[j] = nums[i]
nums[i] = pivot

quick_sort(nums, low, i-1)
quick_sort(nums, i+1, high)

选择排序

堆排序(Heap Sort)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
def heap_sort(nums):
# 堆调整
def max_heapify(nums, i, length):
parent = i
child = 2 * i + 1
if child >= length:
return
if child + 1 < length and nums[child] < nums[child+1]:
child += 1
if nums[parent] < nums[child]:
nums[parent], nums[child] = nums[child], nums[parent]
max_heapify(nums, child, length)

# 初始化,构造大顶堆
for i in range(len(nums) // 2 - 1, -1, -1):
max_heapify(nums, i, len(nums))

# 堆排序
for j in range(len(nums) - 1, 0, -1):
nums[0], nums[j] = nums[j], nums[0]
max_heapify(nums, 0, j)

归并排序(Merge Sort)

快速排序虽然排序效率高,但是不稳定,时间复杂度介于O(nlogn)跟O(n2)之间。
而归并排序可以稳定在O(nlogn)。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
def mergeSort(nums):
if len(nums) == 1:
return nums

mid = len(nums) // 2
left = mergeSort(nums[:mid])
right = mergeSort(nums[mid:])
result = []
while left and right:
if left[0] <= right[0]:
result.append(left.pop(0))
else:
result.append(right.pop(0))
if left:
result += left
if right:
result += right
return result

参考

  1. 《数据结构(C语言版)》——严蔚敏、吴伟民
  2. https://zh.wikipedia.org/wiki/快速排序
  3. https://blog.csdn.net/wthfeng/article/details/78037228

使用shell批量更改文件名

问题由来
由于5D3默认使用的文件名前缀是【5P7A】,在拍了一大堆照片后才注意到这个前缀。后来在相机中重新设置文件名前缀为【IMG_】,但是已经拍摄的照片文件名前缀没法在相机中更改。所以只能在电脑中通过程序批量更改这些文件名。于是想到了shell。

屏幕截图

解决办法

1
for i in `ls -a|grep 5P7A`;do mv $i ${i/5P7A/IMG_};done

一行代码搞定。

Scala 中几种常用集合操作符

Scala 中的几种常用的集合操作符

  • ::
  • :+/+:
  • ++
  • :::

几种操作符的说明以及用法

一、::
两个冒号,表示往一个集合的头部添加元素,构造一个新的集合。x::list 表示往 list 队列的头部添加元素 x

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
//创建一个List
scala> val list = List(1,2)
list: List[Int] = List(1, 2)

//创建不变量x
scala> val x = 3
x: Int = 3

//将x插入到list头部
scala> x::list
res16: List[Int] = List(3, 1, 2)

// :: 的另一种使用形式
scala> list.::(x)
res17: List[Int] = List(3, 1, 2)

二、:+ 和 +:
冒号和加和组合的操作符,冒号在左边和冒号在右边的区别是分别是:1. list:+x 在集合尾部添加元素;2. x+:list在集合头部添加元素。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
//将x插入到list尾部
scala> list:+x
res18: List[Int] = List(1, 2, 3)

//将x插入到list头部
scala> x+:list
res19: List[Int] = List(3, 1, 2)

//也可以这样使用
scala> list.+:(x)
res20: List[Int] = List(3, 1, 2)

scala> list.:+(x)
res21: List[Int] = List(1, 2, 3)

//创建一个 Seq 类型集合
scala> val seq = Seq(1, 2, 3)
seq: Seq[Int] = List(1, 2, 3)

//seq调用 :+
scala> seq.:+(5)
res29: Seq[Int] = List(1, 2, 3, 5)

其中 +: 和 :: 类似,但是 :: 可以用于 pattern match,而 +: 不支持。

三、++
两个加号,表示连接两个集合。例如,list++list1

1
2
3
4
5
6
7
8
9
10
scala> list1
res25: List[Int] = List(3, 4)

//list 加上 list1 中的元素
scala> list++list1
res26: List[Int] = List(1, 2, 3, 4)

//list1 加上 list 中的元素
scala> list1++list
res27: List[Int] = List(3, 4, 1, 2)

四、:::
三个冒号,表示连接两个 List 类型的集合。

1
2
3
4
5
6
7
8
9
10
11
12
13
//创建seq1
scala> val seq1 = Seq(4, 5)
seq1: Seq[Int] = List(4, 5)

//seq调用 ::: 去连接seq1,报错
scala> seq:::seq1
<console>:10: error: value ::: is not a member of Seq[Int]
seq:::seq1
^

//::: 只能用于连接两个 List 类型的集合
scala> list:::list1
res31: List[Int] = List(1, 2, 3, 4)

开始使用OpenSUSE

【前言】
之前一直在用Ubuntu和CentOS,最近看到github上有位大神强烈推荐OpenSUSE这个系统。于是,顺着一直想找个新的Linux发行版玩玩的想法,搭上了openSUSE的这般顺风车。

【开始】
上openSUSE的官网下载了最新的版本,openSUSE leap 42.1。这里我并不了解这个版本号的意义,也不清楚openSUSE的上一个版本是多少。直接下载了最新的稳定版42.1,开始了openSUSE的征程!

如何在MySQL中实现row_number函数

很久之前给自己挖的坑,现在来把它补完。
MySQL的统计函数比较稀缺,很多经典的统计函数如row_number这样的函数在MySQL是没有的,不确定最新版本会不会增加。
为了实现这个功能,需要在查询中启用临时变量。
比如对这张Employee表加上行号:
| Id | Salary |
| :– | :—– |
| 1 | 100 |
| 2 | 200 |
| 3 | 300 |

代码如下:

1
2
3
4
5
6
7
SET @row_number = 0;

SELECT
(@row_number:=@row_number + 1) AS num, id, salary
FROM
employee
LIMIT 10;

也可以这样写:

1
2
3
4
5
SELECT 
(@row_number:=@row_number + 1) AS num, id, salary
FROM
employee,(SELECT @row_number:=0) AS t
LIMIT 10;

参考文章:
https://segmentfault.com/a/1190000004566152

在 Linux 上挂载硬盘

1.先执行如下命令 df -h 查看当前系统磁盘信息。

1
2
3
4
5
6
7
8
9
10
root@host01:/opt/hadoop-2.6.2/etc/hadoop# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/vda1 25G 4.4G 19G 19% /
none 4.0K 0 4.0K 0% /sys/fs/cgroup
udev 7.9G 12K 7.9G 1% /dev
tmpfs 1.6G 408K 1.6G 1% /run
none 5.0M 0 5.0M 0% /run/lock
none 7.9G 0 7.9G 0% /run/shm
none 100M 0 100M 0% /run/user
/dev/vdc1 50G 52M 47G 1% /data

2.执行 fdisk -l 查看系统中是否存在未挂载磁盘。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
root@host01:/opt/hadoop-2.6.2/etc/hadoop# fdisk -l

Disk /dev/vda: 26.8 GB, 26843545600 bytes
255 heads, 63 sectors/track, 3263 cylinders, total 52428800 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0008d3a3

Device Boot Start End Blocks Id System
/dev/vda1 * 2048 52426751 26212352 83 Linux

Disk /dev/vdb: 17.2 GB, 17179869184 bytes
255 heads, 63 sectors/track, 2088 cylinders, total 33554432 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000d5b4e

Device Boot Start End Blocks Id System
/dev/vdb1 63 33543719 16771828+ 82 Linux swap / Solaris

Disk /dev/vdc: 53.7 GB, 53687091200 bytes
255 heads, 63 sectors/track, 6527 cylinders, total 104857600 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000e4ad7

Device Boot Start End Blocks Id System
/dev/vdc1 63 104856254 52428096 83 Linux

Disk /dev/vdd: 2147.5 GB, 2147483648000 bytes
14 heads, 61 sectors/track, 4911362 cylinders, total 4194304000 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0xd15b19e1

Device Boot Start End Blocks Id System
/dev/vdd1 2048 4194303999 2097150976 83 Linux

Disk /dev/vde: 2147.5 GB, 2147483648000 bytes
14 heads, 61 sectors/track, 4911362 cylinders, total 4194304000 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0xef776a1b

Device Boot Start End Blocks Id System
/dev/vde1 2048 4194303999 2097150976 83 Linux

3.对磁盘分区。
执行 fdisk /dev/vdd1 命令,对磁盘进行分区。
依次输入,n,p,1,两次回车,再输入 wq 分区自动进行,并且很快完成。

4.查看分区 fdisk -l 可以看到,分区已经新建。

5.格式化新分区,输入 mkfs.ext3 /dev/xvdb1 进行格式化分区。

6.添加分区信息
使用“echo ‘/dev/xvdb1 /mnt ext3 defaults 0 0’ >> /etc/fstab”(不含引号)命令写入新分区信息。
然后使用“cat /etc/fstab”命令查看,出现以下信息就表示写入成功。

注:ubuntu12.04不支持barrier,所以正确写法是:echo ‘/dev/xvdb1 /mnt ext3 barrier=0 0 0’ >> /etc/fstab

  • 如果需要把数据盘单独挂载到某个文件夹,比如单独用来存放网页,可以修改以上命令中的/mnt部分

7.挂载分区
使用“mount -a”命令挂载新分区,然后用“df -h”命令查看,出现以下信息就说明挂载成功,可以开始使用新的分区了。

参考文章:
http://help.aliyun.com/knowledge_detail/5974154.html

在 Mac 上配置 Hadoop-2.6.2 和 Hive-1.2.1 遇到问题

问题描述:
在 Mac 上安装配置完 Hadoop-2.6.2 后,再安装 Hive-1.2.1 并启动,出现以下错误信息。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
gjl: ~/bin/apache-hive-1.2.1-bin $bin/hive

Logging initialized using configuration in jar:file:/Users/gaojunliang/bin/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties
[ERROR] Terminal initialization failed; falling back to unsupported
java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected
at jline.TerminalFactory.create(TerminalFactory.java:101)
at jline.TerminalFactory.get(TerminalFactory.java:158)
at jline.console.ConsoleReader.<init>(ConsoleReader.java:229)
at jline.console.ConsoleReader.<init>(ConsoleReader.java:221)
at jline.console.ConsoleReader.<init>(ConsoleReader.java:209)
at org.apache.hadoop.hive.cli.CliDriver.setupConsoleReader(CliDriver.java:787)
at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:721)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

Exception in thread "main" java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected
at jline.console.ConsoleReader.<init>(ConsoleReader.java:230)
at jline.console.ConsoleReader.<init>(ConsoleReader.java:221)
at jline.console.ConsoleReader.<init>(ConsoleReader.java:209)
at org.apache.hadoop.hive.cli.CliDriver.setupConsoleReader(CliDriver.java:787)
at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:721)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

解决办法:
将 Hive 中的 jline 从 2.x 版本降级到 1.x 之后,将 Hadoop 中 share/hadoop/yarn/lib 目录下的 jline 升级到 2.x 版本。

Mac OS X 10.11 上安装 MySQLdb 出现问题

问题描述

更新Mac OS X 10.11后安装MySQLdb,进入ipython交互命令后,输入import MySQLdb

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
In [1]: import MySQLdb
---------------------------------------------------------------------------
ImportError Traceback (most recent call last)
<ipython-input-1-dd22983d5391> in <module>()
----> 1 import MySQLdb

/Library/Python/2.7/site-packages/MySQL_python-1.2.4b4-py2.7-macosx-10.10-intel.egg/MySQLdb/__init__.py in <module>()
17 from MySQLdb.release import __version__, version_info, __author__
18
---> 19 import _mysql
20
21 if version_info != _mysql.version_info:

ImportError: dlopen(/Library/Python/2.7/site-packages/MySQL_python-1.2.4b4-py2.7-macosx-10.10-intel.egg/_mysql.so, 2): Library not loaded: libmysqlclient.18.dylib
Referenced from: /Library/Python/2.7/site-packages/MySQL_python-1.2.4b4-py2.7-macosx-10.10-intel.egg/_mysql.so
Reason: image not found

问题原因

由于EI Capitan 增加了System Integrity Protection 的功能,阻止了写入的操作的,默认是开启的,需要关闭。

解决办法

重启电脑,开机时按住 cmd + R,进入 Recovery 模式。然后打开终端工具 ,输入命令:csrutil disable,然后再次重启电脑。
重启后,打开terminal输入以下命令:

1
sudo ln -s /usr/local/mysql/lib/libmysqlclient.18.dylib /usr/lib/libmysqlclient.18.dylib

如果不关闭写入操作,将会出现以下情况:

1
ln: /usr/lib/libmysqlclient.18.dylib: Operation not permitted

参考资料

http://segmentfault.com/q/1010000003026543
http://blog.csdn.net/janronehoo/article/details/25207825
http://stackoverflow.com/questions/10557507/rails-mysql-on-osx-library-not-loaded-libmysqlclient-18-dylib