学习程序开发是可以多浏览一些开源平台上面的项目，博客，问答等。比较好著名的平台如stackoverflow,stackoverflow等。
在github上收索bigdata,都会出现相关的项目，有一个大数据入门指南的项目挺不错的，你可以不参照着去学习。地址：，如果不是ftp访问被限制，可以点赞，评论。
万分感谢是本文摘自项目中的图解，和章节导航。
附：项目的具体知识点追加
前言
大数据学习路线
大数据技术栈思维导图
大数据常用软件安装指南
一、hadoop
分布式文件存储系统——hdfs
分布式计算框架——mapreduce
集群资源管理器——yarn
hadoop单机伪集群环境搭建
hadoop集群环境搭建
hdfs具体用法shell命令
hdfsjavaapi的使用
基于zookeeper堆建hadoop高可用集群
二、hive
hive简介及核心概念
linux环境下hive的安装部署
hivecli和beeline命令行的基本都使用
hive具体用法ddl你的操作
hive分区表和分桶表
hive视图和索引
hive具体方法dml你的操作
hive数据查询详细解析
三、spark
sparkcore:
spark简介
spark开发环境搭建
弹性式数据集rdd
rdd具体用法算子求答
spark运行模式与作业并提交
spark累加器与广播变量
基于组件zookeeper垒建spark高可用集群
sparksql:
dateframe和dataset
structuredapi的基本使用
sparksql外部数据源
sparksql具体用法聚合函数
sparksqljoin不能操作
sparkstreaming：
sparkstreaming简介
sparkstreaming基本操作
sparkstreaming整合flume
sparkstreaming整合起来kafka
四、storm
storm和流如何处理简介
storm核心概念详解
storm单机环境搭建
storm集群环境搭建
storm编程模型求答
storm项目三种打包对比分析
storm集成显卡redis详解
storm集成hdfs/hbase
storm集成主板kafka
五、flink
flink核心概念综述
flink开发环境搭建
flinkdatasource
flinkdatatransformation
flinkdatasink
flink窗口模型
flink状态管理与检查点机制
flinkstandalone集群作战部署
六、hbase
hbase简介
hbase系统架构及数据结构
hbase都差不多环境搭建(standalone/pseudo-structuredmode)
hbase集群环境搭建
hbase广泛shell命令
hbasejavaapi
hbase过滤器求答
hbase协处理器求答
hbase容灾与备份
hbase的sql中间层——phoenix
spring/springboot整合起来mybatisphoenix
七、kafka
kafka简介
实现zookeeper搭建kafka高可用集群
kafka生产者详细解析
kafka消费者求答
探索再理解kafka副本机制
八、zookeeper
zookeeper简介及核心概念
zookeeper单机环境和集群环境搭建
zookeeper正确shell命令
zookeeperjava客户端——apachecurator
zookeeperacl权限控制
九、flume
flume简介及基本是可以使用
linux环境下flume的安装部署
flume统一整合kafka
十、sqoop
sqoop简介与安装好
sqoop的基本是使用
十一、azkaban
azkaban简介
azkaban3.x代码编译及部署
azkabanflow1.0的使用
azkabanflow2.0的使用
十二、scala
scala简介及开发环境配置
基本都数据类型和运算符
流程控制语句
数组——array
数学集合类型综述
具体方法集合类型之——listset
广泛真包含于类型之——maptuple
类和对象
继承和特质
函数闭包柯里化
模式不兼容
类型参数
隐式转换和隐式参数
十三、bec内容
大数据应用广泛发邮箱
后记
资料分享与开发工具推荐
ls-ld文件夹路径|awk{printint($5/1024)}
或则：
du-b文件夹路径|awk{printint($1/1024)}
跟你上面算出文件大小类似于，能得到的都是以kb为单位的大小。
如果不是要以byte为单位，不要乘以1024也千万不能int取整应该是了。
特别注意：linux的ext2或ext3文件系统会给目录分配一个inode块（索引节点），用来记录文件信息，所以我文件夹的大小并非很简单地将其中文件大小累加就能换取的，还除了了这个索引节点的大小。索引节点是一个结构，它真包含了一个文件的长度、创建角色及直接修改时间、权限、隶属关系、磁盘中的位置等信息。
