自拍偷拍国产精品,一夜七次郎在线视频,亚洲一区二

解決Hadoop和Spark本地版本庫不統(tǒng)一的問題

轉(zhuǎn)帖|行業(yè)資訊|編輯：陳俊吉|2016-07-26 09:55:46.000|閱讀 423 次

概述：就是報(bào)以下這個(gè)警告的，也不知道對(duì)運(yùn)行程序究竟會(huì)產(chǎn)生什么樣的影響，但看著就是不爽，還耽誤了我?guī)滋鞎r(shí)間，把它給解決了，這里記一下，方便以后查找。

相關(guān)鏈接：

就是報(bào)以下這個(gè)警告的，也不知道對(duì)運(yùn)行程序究竟會(huì)產(chǎn)生什么樣的影響，但看著就是不爽，還耽誤了我?guī)?天時(shí)間，把它給解決了，這里記一下，方便以后查找。

unable to load native-hadoop library for your platform... using builtin-java classes where applicable

先是運(yùn)行的時(shí)候報(bào)該錯(cuò)誤，當(dāng)時(shí)發(fā)現(xiàn)是由于Hadoop所需要的版本庫和系統(tǒng)本地的glibc的版本庫不一致導(dǎo)致的，但是有一個(gè)問題是系統(tǒng)本地庫的地址是在根目錄的lib和lib64下面，由于對(duì)服務(wù)器沒有root權(quán)限，是無法修改該庫的版本的，因此到這里，網(wǎng)上說的大部分解決方案都不行了。

既然不能修改本地庫，那就考慮修改環(huán)境變量中的PATH，PATH路徑要保證讀的庫地址要在本地庫地址路徑的前面，因?yàn)镻ATH只要找到結(jié)果就會(huì)返回，那么我們就把路徑/home/work/lacol/加進(jìn)去并放在前面。

我們需要自己編譯一個(gè)合適的版本庫，例如編譯到/home/work/local/glibc目錄中，然后把該目錄同步到其他相同的服務(wù)器，然后用軟鏈接，注意在集群上批量執(zhí)行該命令：

ln -s /home/work/local/glibc/libc.so /home/work/local/lib64/libc.so.6

以上就解決了的版本庫的問題，可是打開Spark，發(fā)現(xiàn)Spark還報(bào)版本庫的錯(cuò)誤，網(wǎng)上給的該解決方案并不能解決該問題，后來在spark-env.sh中增加了lib64的地址，最終邊為如下：

export

LD_LIBRARY_PATH=$SPARK_SUBMIT_LIBRARY_PATH:$HADOOP_HOME/lib/native:/home/work/local/lib/:/home/work/local/lib64/

再SCP到所有集群上面，遂解決。

詳情請(qǐng)咨詢！

客服熱線：023-66090381

標(biāo)簽：大數(shù)據(jù)數(shù)據(jù)分析 Hadoop

本站文章除注明轉(zhuǎn)載外，均為本站原創(chuàng)或翻譯。歡迎任何形式的轉(zhuǎn)載，但請(qǐng)務(wù)必注明出處、不得修改原文相關(guān)鏈接，如果存在內(nèi)容上的異議請(qǐng)郵件反饋至chenjj@fc6vip.cn

上一篇：15款你可能不知道的精致Mac應(yīng)用下一篇：備份恢復(fù)、多租戶，樣樣都不能少 -- 談?wù)凚igInsights企業(yè)管理模塊的作用