摘要: 一、大數據處理流程         1.1 數據收集         1.2 數據存儲     &n閱讀全文
posted @ 2019-07-04 16:55 heibaiying 閱讀(266) 評論(0) 編輯
摘要: 一、大數據處理流程         1.1 數據收集         1.2 數據存儲     &n閱讀全文
posted @ 2019-07-04 16:55 heibaiying 閱讀(266) 評論(0) 編輯
摘要: 項目 GitHub 地址:https://github.com/heibaiying/BigData Notes :black_nib: 前 言 1. "大數據常用技術棧思維導圖" 2. "大數據常用軟件安裝指南" 一、Hadoop 1. "分布式文件存儲系統——HDFS" 2. "分布式計算框架—閱讀全文
posted @ 2019-07-03 07:50 heibaiying 閱讀(58) 評論(0) 編輯
摘要: 一、高可用簡介 二、集群規劃 三、前置條件 四、集群配置 五、啟動集群 六、查看集群 七、集群的二次啟動 一、高可用簡介 Hadoop 高可用 (High Availability) 分為 HDFS 高可用和 YARN 高可用,兩者的實現基本類似,但 HDFS NameNode 對數據存儲及其一致性閱讀全文
posted @ 2019-06-23 09:25 heibaiying 閱讀(222) 評論(0) 編輯
摘要: 項目 GitHub 地址 : "https://github.com/heibaiying/spring samples for all" 版本說明 : Spring: 5.1.3.RELEASE Spring Boot: 2.1.1.RELEASE Spring Cloud: Finchley.S閱讀全文
posted @ 2019-06-16 07:24 heibaiying 閱讀(35) 評論(0) 編輯
摘要: 一、安裝Hive 1.1 下載并解壓 下載所需版本的Hive,這里我下載版本為cdh5.15.2。下載地址:http://archive.cloudera.com/cdh5/cdh/5/ 1.2 配置環境變量 添加環境變量: 使得配置的環境變量立即生效: 1.3 修改配置 1. hive-env.s閱讀全文
posted @ 2019-06-10 13:47 heibaiying 閱讀(21) 評論(0) 編輯
摘要: 一、Zookeeper集群搭建為保證集群高可用,Zookeeper集群的節點數最好是奇數,最少有三個節點,所以這里搭建一個三個節點的集群。1.1 下載 & 解壓下載對應版本Zo...閱讀全文
posted @ 2019-06-10 13:31 heibaiying 閱讀(19) 評論(0) 編輯
摘要: 一、單機環境搭建1.1 下載下載對應版本Zookeeper,這里我下載的版本3.4.14。官方下載地址:https://archive.apache.org/dist/zook...閱讀全文
posted @ 2019-06-10 13:31 heibaiying 閱讀(10) 評論(0) 編輯
摘要: 一、集群規劃這里搭建一個3節點的HBase集群,其中三臺主機上均為Regin Server。同時為了保證高可用,除了在hadoop001上部署主Master服務外,還在hado...閱讀全文
posted @ 2019-06-10 13:30 heibaiying 閱讀(21) 評論(0) 編輯
摘要: 一、前置條件Flume需要依賴JDK 1.8+,JDK安裝方式見本倉庫:Linux環境下JDK安裝二 、安裝步驟2.1 下載并解壓下載所需版本的Flume,這里我下載的是CDH...閱讀全文
posted @ 2019-06-10 13:30 heibaiying 閱讀(8) 評論(0) 編輯
摘要: 一、Azkaban 源碼編譯1.1 下載并解壓Azkaban 在3.0版本之后就不提供對應的安裝包,需要自己下載源碼進行編譯。下載所需版本的源碼,Azkaban的源碼托管在Gi...閱讀全文
posted @ 2019-06-10 13:30 heibaiying 閱讀(7) 評論(0) 編輯
内蒙古快3开奖结果