ITeye博客

我思故我在

blueheart2008 · 共 33 篇文章

Unsupported IClasspathEntry kind=4

Unsupported IClasspathEntry kind=4 这个异常会导致项目无法使用eclipse4.2的maven功能,我升级了maven的版本还是不行 英文解释如下: Please see https://bugs.eclipse.org/bugs/show_bug.cgi?id=374332#c14 The problem is caused by the fact that the STS (the Spring IDE/Eclipse) uses the m2e(clipse) plugin but that eclipse:eclipse has been proba…

2013-06-14T16:54:11Z · 开源软件 · 评论(0)

为Maven指定tools.jar ,解决Missing artifact com.sun:tools:jar:1.5.0错误

使用安装了m2eclipse插件的eclipse导入maven工程后,pom.xml开始位置报:Missing artifact com.sun:tools:jar:1.5.0错误,不算是个大问题,但是这个错误会block eclipse build maven工程,关于这个问题有两种解决方法: 方法一: 在eclipse安装目录下找到eclipse.ini文件,在-vmargs参数上面追加vm参数,以下是一个例子: -vm D:\Java\jdk1.6.0_37\bin\javaw.exe 关于eclipse.ini文件的说明和-vm参数的设置可参考: http://wiki.eclips…

2013-06-14T16:52:00Z · 开源软件 · 评论(0)

hadoop 1.0.4源代码在cygwin编译错误解决

环境:cygwin+hadoop1.0.4+ant1.9+jdk1.6+win7 其它过程我不再说明,google下都有了,只是在使用ant eclipse过程中,出现如下错误: 我在cygwin里使用ant eclipse构建hadoop1.0.4的时候出现如下错误,大家帮忙看看。create-native-configure: BUILD FAILED D:\hadoop\hadoop1.0\build.xml:618: Execute failed: java.io.IOException: Cannot r un program "autoreconf" (in directory …

2013-05-21T17:05:01Z · 开源软件 · 评论(0)

hive基本命令

创建表: hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string 创建一个新表,结构与其他一样 hive> create table new_table like records; 创建分区表: hive> create table logs(ts bigint,line string) partitioned by (dt String,country Str…

2013-05-16T15:39:00Z · 开源软件 · 评论(0)

hive指南(二)

内置的操作符和功能 内置操作符 关系操作符 - 下列操作通过比较操作数并生成一个TRUE或FALSE值。 A=B A!=B A<B A<=B A>B A>=B A IS NULL A IS NOT NULL A LIKE B strings A RLIKE B strings A REGEXPB strings 算术操作符 A + B all number types A - B all number types A * B all number types A / B all number types A % B all number types A & B all number type…

2013-05-16T10:48:57Z · 开源软件 · 评论(0)

hive指南(一)

Hive指南 概念 什么是Hive Hive是一个基于Hadoop的数据仓库基础架构。Hadoop为在普通的硬件环境上数据的存储和处理提供了巨大的水平扩展能力和容错能力。 Hive被设计用来更容易进行数据汇总,临时查询和分析巨大的数据。它提供一个简单的查询语言Hive QL,基于SQL使用用户熟悉的SQL做临时查询、统计和数据分析更容易。同时,Hive QL也允许传统的map/reduce程序员能够插入他们自定义的mappers和reducers做更多复杂的分析,这些功能可能HQL内置功能并不支持。 Hive不是什么 Hadoop是一个批处理系统,Hadoop的任务基本是高延迟,并且在任务提…

2013-05-15T16:27:50Z · 开源软件 · 评论(0)

hive配置mysql数据源作为元数据库

1.install mysql yum install mysql yum install mysql-server yum install mysql-devel chgrp -R mysql /var/lib/mysql chmod -R 770 /var/lib/mysql service mysqld start mysql SET PASSWORD FOR 'root'@'localhost' = PASSWORD('secret_password'); 2.安装hive 1,下载wget http://labs.renren.com/apache-mirror//hive/sta…

2013-05-14T22:17:07Z · 开源软件 · 评论(0)

安装和配置centos时钟同步服务

Procedure Login as the root user Type the following command to install ntp # yum install ntp Turn on service # chkconfig ntpd on Synchronize the system clock with 0.pool.ntp.org server: # ntpdate pool.ntp.org Start the NTP: # /etc/init.d/ntpd start

2013-04-17T13:48:24Z · 操作系统 · 评论(0)

更改centos时区

First, make a backup of the existing localtime file. It’s always good practice to make backups of original config files. mv /etc/localtime /etc/localtime.bak Next, create the link: ln -s /usr/share/zoneinfo/ America/Chicago /etc/localtime

2013-04-17T13:44:39Z · 操作系统 · 评论(0)

[转]CentOS 6.3 + nginx-1.2.5 + php-5.4.9 + MySQL-5.5.28

Home | Mirror | Search 0 CentOS 6.3 + nginx-1.2.5 + php-5.4.9 + MySQL-5.5.28 摘要 在工作中,需要经常为新系统安装软件,重复而简单,但又不得不作,我将过去几年中工作中临时写的脚本这里了一下,能够实现半自动化安装标本,只需要Ctrl+C, Ctrl+V 快速粘贴复制,即可快速完成安装 目录 1. CentOS 6.3 64bit Minior 安装后 新机初始化常用软件包安装 1.1. /etc/resolv.conf 1.2. /etc/security/limits.conf 1.3. /etc/sysctl.co…

2013-04-17T13:44:22Z · 操作系统 · 评论(0)

centos 6.3命令行网络设置

centos 6版本操作系统默认是没有设置网络配置,需要在启动后自行配置网络: 动态地址模式(DHCP) 1.检查网络ip a ip a 2.修改/etc/sysconfig/networking-scripts下的ifcfg-eth0 DEVICE="eth0" HWADDR="00:22:19:09:4D:3C" NM_CONTROLLED="yes" ONBOOT="no" 如下: DEVICE="eth0" HWADDR="00:22:19:09:4D:3C" NM_CONTROLLED="yes" ONBOOT="yes" # Interface enabled BOOTPROTO…

2013-04-10T10:59:37Z · 操作系统 · 评论(0)

hadoop安装笔记

环境准备: ESXi下的三台虚机 ip:172.16.80.15/16/17 os:centos 6.3 1cpu/2g内存/200G虚拟硬盘 配置hosts文件 主机名及hosts设置 172.16.80.15 设置主机名:hadoop1 172.16.80.16 设置主机名:hadoop2 172.16.80.17 设置主机名:hadoop3 三台主机/etc/hosts文件增加以下内容 172.16.80.15 hadoop1 172.16.80.16 hadoop2 172.16.80.17 hadoop3 建立hadoop运行帐号 三台主机分别执行如下命令 groupadd had…

2013-01-21T16:21:32Z · 开源软件 · 评论(0)

[转]一致性 hash 算法(consistent hashing)

consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出,目前在 cache 系统中应用越来越广泛; 1 基本场景 比如你有 N 个 cache 服务器(后面简称 cache ),那么如何将一个对象 object 映射到 N 个 cache 上呢,你很可能会采用类似下面的通用方法计算 object 的 hash 值,然后均匀的映射到到 N 个 cache ; hash(object)%N 一切都运行正常,再考虑如下的两种情况; 1 一个 cache 服务器 m down 掉了(在实际应用中必须要考虑…

2012-12-25T15:55:55Z · 数据库 · 评论(0)

[转]Ruby连接MongoDB

Ruby连接MongoDB 想要在Ruby中连接MongoDB,需要使用mongo模块,该模块可以通过ruby自带的gems程序进行安装。 $ gem update --system $ gem install mongo $ gem install bson_ext Mongo模块提供了Mongo::Connnection类连接MongoDB,如果不指定具体的数据库,默认情况下会创建一个持有MongoDB连接的实例, require 'mongo' conn = Mongo::Connection.new puts conn.class # Mongo::Connection puts c…

2012-12-24T10:52:14Z · 编程语言 · 评论(0)

Mongodb学习笔记(三)

sharding(分片功能) 手动分片:所有数据库都支持,但是需要应用程序自行维护连接、存储和查询,难以维护和处理。 自动分片:集群自动分切数据存储、查询,自行负载均衡,对所有应用都是透明。mongodb支持自动分片功能 mongodb分片的基本思想是将集合切分成小块,这些块分散到若干片里面,每个片只负责总数据的一部分,但这些对应用程序是透明的,一切由mongodb来管理。 一个分片集群构成 多个数据库集群,多个路由服务器和多个配置服务器构成 数据库复制集:每个分片的数据库复制集存储一部分数据 配置服务器:存储分片数据库集群的元数据 路由服务器:提供应用层进行读写,利用配置服务器的元数据进行…

2012-12-21T16:59:56Z · 数据库 · 评论(0)