太乙金华宗旨
自然曰道,道无名相,一性而已,一元神而已。性命不可见,寄之天光,天光不可见,寄之两目。古来仙真,口口相传,传一得一。自太上见化,东华递传某,以及南北两宗,全真可为极盛,盛者盛其徒众,衰者衰于心传,以至今曰,滥泛极矣!
工作流调度系统 Azkaban介绍与安装(一)
(1)一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序、java程序、MapReduce程序、Hive脚本等。 (2)各个单元之间存在时间先后及前后依赖关系 (3)为了很好地组织这样的复杂执行计划,需要一个工作流调度系统来执行。
MQ(消息队列)与RPC的区别与使用场景
MQ(Message Queue)消息队列,即符合“先进先出”的逻辑。将所要传输的数据/消息放到队列中,实现消息传递。 生产者将消息放到队列,然后由消费者处理。消费者可以到置顶的队列拉取消息,或者订阅响应的队列,由MQ服务端推送消息。
"善"与"念"
1、做善岂非好事,然一有好名之心,即招谤引祸也,慎之,戒之。 为善之时,若存着功利之心,则只是伪善,做了再多,也偏离了本心,则只是伪善,只有心无他念,不求回报,才是真正的大善。
hadoop集群报错总结
1 案例 1.1 Hello World 1.2 作业依赖案例 1.3 自动失败重试 1.4 手动失败重试 2 JavaProcess作业案例 3 条件工作流 3.1 运行时参数 3.2 预定义宏案例 4 定时执行 5 报警 5.1 邮件 5.2 电话告警 5 Azkaban 多 Executor 模
康波周期
康波周期是1926年苏联经济学家康德拉季耶夫,在分析了英、法、美、德以及世界经济的大量统计数据后,发现商品经济中存在一个为期50`~`60年的长周期。在康博周期中,前15年是衰退期,接着20年是大量再投资期,并在此期间新技术不断被采用,经济快速发展,引来繁荣期;后10年是过度建设期,过期建设的结果是5~10年的混乱期,从而导致下一次大衰退的出现。
hive数据类型、表创建、数据导入导出、动态分区Dynamic Partition
1 Hive基础数据类型 1.1 复杂数据类型 2 数据库、表操作 2.1 创建数据库 2.2 创建表 2.3 删除表 2.4 修改表 2.5 查表 3 数据导入 3.1 本地文件系统导入 4 常用参数 5 动态分区 注意事项 5.1 是否允许动态分区 5.2 动态分区的模式设置 5.3 单个节点上的mapper/reducer允许创建的最大分区...
hadoop HA高可用集群实战
HA(high available),即高可用(24h不中断服务) 实现高可用最关键的策略是消除单点故障。HA严格来说是应该分成各个组件的HA机制 hadoop2.0之前,在HDFS集群中NamNode存在单点故障(SPOF) NameNode主要存在以下两个方敏影响HDFS集群。 NameNode机器发生意外,如宕机,集群无法使用,直到管理员重启。...
DolpinScheduler2.0.5详细介绍与踩坑实战
Apache DolphinScheduler是一个分布式 易扩展的可视化工作流任务调度平台,致力于解决数据处理流程中错综复杂的关系,使调度系统在数据处理流程中开箱即用。
使用python将es数据导出为csv文件
es数据导出到csv文件,仅谈实现方式。
python操作Elasticsearch7.17.0
python操作Elasticsearch7.17.0
轻量型日志采集器 Filebeat基本使用
Filebeat是一个日志文件托运工具,安装客户端后,filebeat会监控指令日志,
Elasticearch 查询详解(二)
一种软件架构风格,而不是标准,知识提供了一组设计原则和约束条件。它主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁,更改有层次,易于实现缓存的机制。
Elasticearch 安装 基础介绍 (一)
Elasticsearch是一个实时分布式搜索和分析引擎。它让你以前所未有的速度处理大数据成为可能。 它用于全文搜索、结构或搜索、分析以及将这三者混合使用
ElasticSearch配置优先使用自带jdk
ElasticSearch配置优先使用自带jdk
hadoop程序开发 (python)
1 首先建立mapper.py 2 建立reducer.py 3 在Hadoop上运行Python
hadoop程序开发(Java)
1、创建maven项目 2、在pom.xml写入架包配置文件 3、创建源程序 4、将WordCount.java 打包为jar文件 (1)基本配置 (2)开始打包 (3)查看生成的jar文件 5、运行 6、结束
hadoop 全分布式部署
1 环境配置 1.1 系统变量 1.2 hadoop-env.sh 2 主节点配置 core-site.xml 3 hdfs配置 hdfs-site.xml 4 mapreduce配置 mapred-site.xml 5 yarn配置 yarn-site.xml 6 配置节点域名 7 完成分发任务 8 启动 8.1.1 全启动(推荐) 8.1.2...
linux上传下载文件
1 安装 2 命令 3 报错
linux安装 java jdk
1 Centos 1.1 卸载原有jdk 1.2 下载jdk 1.3 配置环境