Big data

Posted on   |   In

《刘瑜写给女儿的信：愿你慢慢长大 》
小布谷，愿你慢慢长大。
愿你有好运气，如果没有，愿你在不幸中学会慈悲。
愿你被很多人爱，如果没有，愿你在寂寞中学会宽容。
愿你一生一世每天都可以睡到自然醒。

I am BlankCat ，welcome to my blog；

技术要点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
集群分3种
负载均衡：分发机制，也会用到主从概念，咱们访问wwww.baidu.com时候，百度会对应着一个服务器
	  这个服务ip不是对应真正的请求服务，而是做了一层分发，这样用户请求多了，可以保证减轻服务的压力
	  负载均衡机制都是通过算法计算，然后完成；
高可用：针对服务概念，访问一个比较重要的服务，把服务做成高可用模式
	把服务写成分解成多个，主服务和从服务（服务的总数必须是奇数个，方便投票机制），
	服务与服务之间通过心跳机制去沟通，发消息，每秒钟发一次；
	服务与服务之间通过投票机制产生主服务。把服务拓展成性能比较高的服务
	这叫高可用服务。
并行计算，针对任务，一个大任务分成几个小任务，最后做汇总，hadoop并行计算（百度一下）
	  业务场景，统计（天气预报）全国的天气预报，需要每天每分钟做定时统计，这里设计业务很复杂的计算
	  为了完成一个任务，会把大的任务分解成一个小的任务，把小任务的结果进行汇总，完成任务的并行计算。
================================
5个九，保一年内证宕机几分钟？
5个 9的是可用性，服务的可用性，高可用性 (服务器的高可用性)
什么是“5个9”(99.999%)的可靠性？（GG一下,你就知道）
================================
cluster
LB: load balancing : 负载均衡，提高并发处理能力
    health check: 健康检测
HA:hight availability: 高可用集群，检测心跳，提升服务在线能力（服务可用性）
			在线时间/（在线时间+故障处理时间）
HP:hight performance : 高性能集群，并行计算集群，处理复杂计算，科学计算集群
			分布式文件系统
			将大任务切割成小任务，分别进行处理的机制
================================
数据库主从（读写分离）
http://www.cnblogs.com/panxuejun/p/5887118.html
主数据库master（在往log日志里面写的时候会先锁住），插入数据库的记录会进入等待，
从数据库slave，会开启两个线程（单进程多线程模式），一个io线程，一个sql线程，io读取主数据的binlog日志，
sql线程执行sql，同步数据，完成数据库的同步；
================================
cURL是一个利用URL语法在命令行下工作的文件传输工具，1997年首次发行。
它支持文件上传和下载，所以是综合传输工具，
但按传统，习惯称cURL为下载工具。cURL还包含了用于程序开发的libcurl
官网 https://curl.haxx.se/
curl 命令行下载工具使用方法小结 http://www.jb51.net/softjc/26483.html