python 实例方法、静态方法@staticmethod、类方法@classmethod
在 Python类中有3个常用方法： - 实例方法(self) - 静态方法：@staticmethod - 类方法：@classmethod
python 文件传输 ftp linux之paramiko模块
paramiko模块可以使得哦Python通过ssh命令远程执行linux命令，上传下载文件等功能。
linux 之 ps命令详细介绍
如过想实现对进程监控，就需要使用到ps命令，使用该命令我们可以知道哪些是正在运行的进程、结束的进程、僵尸进程、占用资源过多等
工作流调度系统 Azkaban使用方法大全（二）
1 案例 1.1 Hello World 1.2 作业依赖案例 1.3 自动失败重试 1.4 手动失败重试 2 JavaProcess作业案例 3 条件工作流 3.1 运行时参数 3.2 预定义宏案例 4 定时执行 5 报警 5.1 邮件 5.2 电话告警 5 Azkaban 多 Executor 模
通过idea打包java Maven项目 架包与全包
架包定义：指仅将代码打包到jar中，在运行的平台必须保证依赖。 方法：maven —> Lifecyle —> Clean —> Package
工作流调度系统 Azkaban介绍与安装（一）
（1）一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序、java程序、MapReduce程序、Hive脚本等。 （2）各个单元之间存在时间先后及前后依赖关系 （3）为了很好地组织这样的复杂执行计划，需要一个工作流调度系统来执行。
MQ(消息队列)与RPC的区别与使用场景
MQ（Message Queue）消息队列，即符合“先进先出”的逻辑。将所要传输的数据/消息放到队列中，实现消息传递。 生产者将消息放到队列，然后由消费者处理。消费者可以到置顶的队列拉取消息，或者订阅响应的队列，由MQ服务端推送消息。
hadoop集群报错总结
1 案例 1.1 Hello World 1.2 作业依赖案例 1.3 自动失败重试 1.4 手动失败重试 2 JavaProcess作业案例 3 条件工作流 3.1 运行时参数 3.2 预定义宏案例 4 定时执行 5 报警 5.1 邮件 5.2 电话告警 5 Azkaban 多 Executor 模
康波周期
康波周期是1926年苏联经济学家康德拉季耶夫，在分析了英、法、美、德以及世界经济的大量统计数据后，发现商品经济中存在一个为期50`~`60年的长周期。在康博周期中，前15年是衰退期，接着20年是大量再投资期，并在此期间新技术不断被采用，经济快速发展，引来繁荣期；后10年是过度建设期，过期建设的结果是5~10年的混乱期，从而导致下一次大衰退的出现。
hive数据类型、表创建、数据导入导出、动态分区Dynamic Partition
1 Hive基础数据类型 1.1 复杂数据类型 2 数据库、表操作 2.1 创建数据库 2.2 创建表 2.3 删除表 2.4 修改表 2.5 查表 3 数据导入 3.1 本地文件系统导入 4 常用参数 5 动态分区 注意事项 5.1 是否允许动态分区 5.2 动态分区的模式设置 5.3 单个节点上的mapper/reducer允许创建的最大分区...
hadoop HA高可用集群实战
HA（high available），即高可用（24h不中断服务） 实现高可用最关键的策略是消除单点故障。HA严格来说是应该分成各个组件的HA机制 hadoop2.0之前，在HDFS集群中NamNode存在单点故障（SPOF） NameNode主要存在以下两个方敏影响HDFS集群。 NameNode机器发生意外，如宕机，集群无法使用，直到管理员重启。...
DolpinScheduler2.0.5详细介绍与踩坑实战
Apache DolphinScheduler是一个分布式 易扩展的可视化工作流任务调度平台，致力于解决数据处理流程中错综复杂的关系，使调度系统在数据处理流程中开箱即用。
