首页 > 教育培训

shell编程for循环求1到n的累加和 没有计算机基础应该如何学习大数据知识?

没有计算机基础应该如何学习大数据知识?

学习程序开发是可以多浏览一些开源平台上面的项目,博客,问答等。比较好著名的平台如stackoverflow,stackoverflow等。

在github上收索bigdata,都会出现相关的项目,有一个大数据入门指南的项目挺不错的,你可以不参照着去学习。地址:,如果不是ftp访问被限制,可以点赞,评论。

万分感谢是本文摘自项目中的图解,和章节导航。

shell编程for循环求1到n的累加和 没有计算机基础应该如何学习大数据知识?

附:项目的具体知识点追加

前言

大数据学习路线

大数据技术栈思维导图

大数据常用软件安装指南

一、hadoop

分布式文件存储系统——hdfs

分布式计算框架——mapreduce

集群资源管理器——yarn

hadoop单机伪集群环境搭建

hadoop集群环境搭建

hdfs具体用法shell命令

hdfsjavaapi的使用

基于zookeeper堆建hadoop高可用集群

二、hive

hive简介及核心概念

linux环境下hive的安装部署

hivecli和beeline命令行的基本都使用

hive具体用法ddl你的操作

hive分区表和分桶表

hive视图和索引

hive具体方法dml你的操作

hive数据查询详细解析

三、spark

sparkcore:

spark简介

spark开发环境搭建

弹性式数据集rdd

rdd具体用法算子求答

spark运行模式与作业并提交

spark累加器与广播变量

基于组件zookeeper垒建spark高可用集群

sparksql:

dateframe和dataset

structuredapi的基本使用

sparksql外部数据源

sparksql具体用法聚合函数

sparksqljoin不能操作

sparkstreaming:

sparkstreaming简介

sparkstreaming基本操作

sparkstreaming整合flume

sparkstreaming整合起来kafka

四、storm

storm和流如何处理简介

storm核心概念详解

storm单机环境搭建

storm集群环境搭建

storm编程模型求答

storm项目三种打包对比分析

storm集成显卡redis详解

storm集成hdfs/hbase

storm集成主板kafka

五、flink

flink核心概念综述

flink开发环境搭建

flinkdatasource

flinkdatatransformation

flinkdatasink

flink窗口模型

flink状态管理与检查点机制

flinkstandalone集群作战部署

六、hbase

hbase简介

hbase系统架构及数据结构

hbase都差不多环境搭建(standalone/pseudo-structuredmode)

hbase集群环境搭建

hbase广泛shell命令

hbasejavaapi

hbase过滤器求答

hbase协处理器求答

hbase容灾与备份

hbase的sql中间层——phoenix

spring/springboot整合起来mybatisphoenix

七、kafka

kafka简介

实现zookeeper搭建kafka高可用集群

kafka生产者详细解析

kafka消费者求答

探索再理解kafka副本机制

八、zookeeper

zookeeper简介及核心概念

zookeeper单机环境和集群环境搭建

zookeeper正确shell命令

zookeeperjava客户端——apachecurator

zookeeperacl权限控制

九、flume

flume简介及基本是可以使用

linux环境下flume的安装部署

flume统一整合kafka

十、sqoop

sqoop简介与安装好

sqoop的基本是使用

十一、azkaban

azkaban简介

azkaban3.x代码编译及部署

azkabanflow1.0的使用

azkabanflow2.0的使用

十二、scala

scala简介及开发环境配置

基本都数据类型和运算符

流程控制语句

数组——array

数学集合类型综述

具体方法集合类型之——listset

广泛真包含于类型之——maptuple

类和对象

继承和特质

函数闭包柯里化

模式不兼容

类型参数

隐式转换和隐式参数

十三、bec内容

大数据应用广泛发邮箱

后记

资料分享与开发工具推荐

shell脚本得到文件夹大小?

ls-ld文件夹路径|awk{printint($5/1024)}

或则:

du-b文件夹路径|awk{printint($1/1024)}

跟你上面算出文件大小类似于,能得到的都是以kb为单位的大小。

如果不是要以byte为单位,不要乘以1024也千万不能int取整应该是了。

特别注意:linux的ext2或ext3文件系统会给目录分配一个inode块(索引节点),用来记录文件信息,所以我文件夹的大小并非很简单地将其中文件大小累加就能换取的,还除了了这个索引节点的大小。索引节点是一个结构,它真包含了一个文件的长度、创建角色及直接修改时间、权限、隶属关系、磁盘中的位置等信息。

简介环境大数据集群开发

原文标题:shell编程for循环求1到n的累加和 没有计算机基础应该如何学习大数据知识?,如若转载,请注明出处:https://www.shcrbfchs.com/tag/29471.html
免责声明:此资讯系转载自合作媒体或互联网其它网站,「泰福润金」登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,文章内容仅供参考。