hadoop2.8.0的部署安装教程

Hadoop部署准备 本地vmware安装 Linux系统家族中 centos7 下载地址http://101.110.118.58/isoredirect.centos.org/centos/7/isos/x86\_64/CentOS-7-x86\_64-Minimal-1611.iso Java对应版本1.8.0_121 Hadoop版本2.8.0下载地址 http://mirror.bit.edu.cn/apache/hadoop/common/ 可以根据自己喜好的版本下载

1.基本配置

首先安装一个centos7并配置好java Java环境配置 我的java安装地址 /usr/java/ jdk1.8.0_121 编辑java环境 vi ~/.bash_profile 添加或修改 export JAVA_HOME=/usr/java/jdk1.8.0_121 export PATH=$JAVA_HOME/bin:$PATH 执行 . ~/.bash_profile 使变量生效

展开全文 >>

PHP算法和递归 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
<?php 
header("Content-Type:text/html;charset=utf-8");

$arr=array(1,12,53,14,5,16,7,18,91,10,11,120); //**冒泡排序** 小数往前放，大数往后放 

function getpao($arr) {

	$len=count($arr); //设置一个空数组 用来接收冒出来的泡 //该层循环控制 需要冒泡的轮数

    for($i=1;$i<$len;$i++) { //该层循环用来控制每轮 冒出一个数 需要比较的次数 

        for($k=0;$k<$len-$i;$k++) { 

          if($arr\[$k\]>$arr\[$k+1\]) { 

          $tmp=$arr\[$k+1\]; $arr\[$k+1\]=$arr\[$k\]; $arr\[$k\]=$tmp;

          } 

        } 

    } 

return $arr;

}

展开全文 >>

mysql如何应对消息

在使用mysql数据库时，如果是商城那就要考虑到秒杀、抢购、发消息等同一时间访问数据库所带来的堵塞从而压垮数据库。 如何有效的在程序和mysql是做些处理来应对呢。

答案就是：把http请求放入内存的高速队列，然后对队列里的数据按一定的规则进行分流处理。 当一个用户发送一个请求时，我们可以给他延迟2s，依次类推。

如果是发送通知类消息，用户量大，不可能同时发送，那么就是需要列队发送；把发送的消息操作延迟，同时针对活跃用户 优先发送（即异步操作），合理分摊服务器负担。

异步操作优点：部署简单，使用mysql内置存储过程和定时器即可完成大部分调度，服务器部署简单，容易迁移。

缺点：对于大数据量、上千万的消息处理效果不佳。不能应对实时性要求很高的场所。 关于htpp队列，金山有个内部开源HTTPSQL，把队列从mysql移到内存数据库中，并有一个专门的进程负责队列的操作，客户端则通过socket请求进行读写。 另外还有一个轻量级的基于内存的消息队列ZeroMQ,此队列是通过API来实现消息的传输。

展开全文 >>

mysql瓶颈的应对措施

mysql本身是存在瓶颈的，当数据量达到千万级别以上，无论mysql如何优化，其性能都显著降低（有专门团队开发并改进mysql的除外）。 那么就有以下几种办法解决。
1.增加mysql配置中buffer和cache的数值，增加服务器cpu数量和内存大小。
2.使用第三方引擎或衍生版本。例如：Percona、MariaDB、TokuDB 3.迁移到其他数据库。例如：PostgreSQL、Oracle

展开全文 >>

有关mysql优化的准则

前辈们总结的经验，学习、学习。

1.尽量避免在列上进行运算，这样会导致索引失效。

例如：SELECT FROM t WHERE YEAR(d) >=2011; 优化为：SELECT FROM t WHERE d >=’2011-01-01’;

2.使用JOIN时，应该用小结果集驱动大结果集。

同时把复杂的JOIN查询拆分成多个QUERY。因为JOIN多个 表时，可能导致更多的锁定和堵塞。 SELECT * FROM a JOIN b ON a.id=b.id LEFT JOIN c ON c.time=a.date LEFT JOIN d ON c.pid=d.aid LEFT JOIN e ON e.cid=a.did

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

<ul> <li>介绍：已有十多年开发经验，主要语言PHP、Web、Go、Java、Python等，有涉及R、Rust、Ruby。 最大的收获就是学好一门语言，其他的更好学。</li> <li>站长：艾瑞可erik</li> <li>邮箱：erik@erik.xyz</li></ul>