【Linux】【Hadoop】大数据基础实验一

🕗 发布于 2024-09-22 16:53 大数据 linux hadoop

实验一：熟悉常用的Linux操作和Hadoop操作

一、实验目的

Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础。

二、实验平台

操作系统：Linux（建议Ubuntu16.04）；
Hadoop版本：2.7.1。

三、实验步骤

3.1 熟悉常用的Linux操作

（1）切换到目录“/usr/local”

（3）切换到当前登录Linux系统的用户的自己的主文件夹

（4）查看目录“/usr”下的所有文件和目录

（5）进入“/tmp”目录，创建一个名为“a”的目录，并查看“/tmp”目录下已经存在哪些目录

（6）进入“/tmp”目录，创建目录“a1/a2/a3/a4”

（7）将上面创建的目录a（在“/tmp”目录下面）删除

（8）删除上面创建的目录“a1/a2/a3/a4” （在“/tmp”目录下面），然后查看“/tmp”目录下面存在哪些目录

（9）将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下，并重命名为bashrc1

（10）在目录“/tmp”下新建目录test，再把这个目录复制到“/usr”目录下

（11）将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下

（12）将“/usr”目录下的test目录重命名为test2

（13）将“/usr/test2”目录下的bashrc1文件删除

（14）将“/usr”目录下的test2目录删除

cat命令：查看文件内容

（15）查看当前用户主文件夹下的.bashrc文件内容

tac命令：反向查看文件内容

（16）反向查看当前用户主文件夹下的.bashrc文件的内容

more命令：一页一页翻动查看

（17）翻页查看当前用户主文件夹下的.bashrc文件的内容

head命令：取出前面几行

（18）查看当前用户主文件夹下.bashrc文件内容前20行

（19）查看当前用户主文件夹下.bashrc文件内容，后面50行不显示，只显示前面几行

tail命令：取出后面几行

（20）查看当前用户主文件夹下.bashrc文件内容最后20行

（21）查看当前用户主文件夹下.bashrc文件内容，并且只列出50行以后的数据

touch命令：修改文件时间或创建新文件

（22）在“/tmp”目录下创建一个空文件hello，并查看文件时间

（23）修改hello文件，将文件时间整为5天前

chown命令：修改文件所有者权限

（24）将hello文件所有者改为root帐号，并查看属性

find命令：文件查找

（25）找出主文件夹下文件名为.bashrc的文件

tar命令：压缩命令

（26）在根目录“/”下新建文件夹test，然后在根目录“/”下打包成test.tar.gz

（27）把上面的test.tar.gz压缩包，解压缩到“/tmp”目录

grep命令：查找字符串

（28）从“～/.bashrc”文件中查找字符串'examples'

配置环境变量

（29）请在“～/.bashrc”中设置，配置Java环境变量

（30）查看JAVA_HOME变量的值

3.2 熟悉常用的Hadoop操作

（31）使用hadoop用户登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），为hadoop用户在HDFS中创建用户目录“/user/hadoop”

（32）接着在HDFS的目录“/user/hadoop”下，创建test文件夹，并查看文件列表

（33）将Linux系统本地的“～/.bashrc”文件上传到HDFS的test文件夹中，并查看test

（34）将HDFS文件夹test复制到Linux系统本地文件系统的“/usr/local/hadoop”目录下

四、实验报告

4.1 实验环境

4.1.1硬件环境

处理器：Intel(R) Core(TM) i5-11320H @ 3.20GHz
内存：16GB DDR4
硬盘：512GB SSD
网络：1Gbps 以太网连接

4.1.2软件环境

操作系统：Ubuntu 16.04 LTS 64位
Linux 内核版本：4.15.0-20-generic
Hadoop 版本：2.7.1
Java 版本：Java SE 1.8.0_131 (由Oracle提供)
虚拟化软件：Oracle VM VirtualBox 6.0.8

4.2 实验内容与完成情况

4.2.1熟悉常用的Linux操作：

（1）切换到目录“/usr/local”

cd /usr/local

【说明】：cd 是“change directory”（改变目录）的缩写，用于更改当前的工作目录。 /usr/local 是你要切换到的目标目录的绝对路径。

cd ..

【说明】： .. 是一个特殊的目录名，表示当前目录的父目录。cd .. 这个命令由两部分组成，中间有一个空格，用于分隔命令 (cd) 和其参数 (..)。

（3）切换到当前登录Linux系统的用户的自己的主文件夹

cd ~

【说明】：~ 是一个符号，代表当前用户登录时的默认目录。

（4）查看目录“/usr”下的所有文件和目录

ls /usr

【说明】：ls: 列出当前目录下的文件和子目录。

（5）进入“/tmp”目录，创建一个名为“a”的目录，并查看“/tmp”目录下已经存在哪些目录

cd /tmp

mkdir a

ls /tmp

【说明】：-l：是一个选项，用于以长格式列出文件和目录的详细信息，包括权限、链接数、所有者、组、大小、最后修改时间和文件名。/tmp：指定了要列出内容的目录路径。

（6）进入“/tmp”目录，创建目录“a1/a2/a3/a4”

cd /tmp

mkdir -p a1/a2/a3/a4

ls /tmp

【说明】：可以使用 mkdir -p 命令来一次性创建多级目录。-p 选项表示 “parents”，即创建所有必要的中间目录。

（7）将上面创建的目录a（在“/tmp”目录下面）删除

cd /tmp

rmdir a

ls /tmp

【说明】：可以使用 rmdir 命令来删除空目录。如果目录不为空，则无法删除。要先确保目录 a 是空的，然后使用命令。

（8）删除上面创建的目录“a1/a2/a3/a4” （在“/tmp”目录下面），然后查看“/tmp”目录下面存在哪些目录

cd /tmp

rmdir -p a1/a2/a3/a4

ls /tmp

【说明】：这个命令将会删除 a4 目录，如果 a3 目录在删除 a4 后也变成空的，那么 a3 也会被删除，依此类推。如果在这个过程中遇到任何一个非空目录，命令将会停止，并返回错误。如果你想要删除一个可能包含文件或其他目录的目录树，你应该使用 rm -r 命令，而不是 rmdir。

（9）将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下，并重命名为bashrc1

cp ~/.bashrc /usr/bashrc1

ls /tmp

【说明】：使用 cp 命令来复制文件并重命名。请注意，这可能需要管理员权限，因为 /usr 目录通常需要特殊权限才能写入。如果是普通用户，你可能需要在命令前加上 sudo 来执行。注意：在Linux的终端中输入密码，终端是不会显示任何你当前输入的密码，也不会提示你已经输入了多少字符密码。

（10）在目录“/tmp”下新建目录test，再把这个目录复制到“/usr”目录下

写法一：

mkdir /tmp/test && cp -r /tmp/test /usr/

写法二：

cd /tmp
mkdir test

cp -r /tmp/test /usr/

【说明】： -r 或 --recursive：这个选项告诉 cp 命令递归地复制整个目录的内容，包括所有子目录和文件。

（11）将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下

mv /usr/bashrc1 /usr/test/

（12）将“/usr”目录下的test目录重命名为test2

mv /usr/test /usr/test2

（13）将“/usr/test2”目录下的bashrc1文件删除

rm /usr/test2/bashrc1

（14）将“/usr”目录下的test2目录删除

rm -r /usr/test2

cat命令：查看文件内容

（15）查看当前用户主文件夹下的.bashrc文件内容

cat ~/.bashrc

tac命令：反向查看文件内容

（16）反向查看当前用户主文件夹下的.bashrc文件的内容

tac ~/.bashrc

more命令：一页一页翻动查看

（17）翻页查看当前用户主文件夹下的.bashrc文件的内容

more ~/.bashrc

head命令：取出前面几行

（18）查看当前用户主文件夹下.bashrc文件内容前20行

head -n 20 ~/.bashrc

（19）查看当前用户主文件夹下.bashrc文件内容，后面50行不显示，只显示前面几行

head -n -50 ~/.bashrc

tail命令：取出后面几行

（20）查看当前用户主文件夹下.bashrc文件内容最后20行

tail -n 20 ~/.bashrc

（21）查看当前用户主文件夹下.bashrc文件内容，并且只列出50行以后的数据

tail -n +51 ~/.bashrc

touch命令：修改文件时间或创建新文件

（22）在“/tmp”目录下创建一个空文件hello，并查看文件时间

touch /tmp/hello

（23）修改hello文件，将文件时间整为5天前

touch -t 202309100000.00 /tmp/hello

chown命令：修改文件所有者权限

（24）将hello文件所有者改为root帐号，并查看属性

chown root:root /tmp/hello

ls -l /tmp/hello

find命令：文件查找

（25）找出主文件夹下文件名为.bashrc的文件

find ~ -name .bashrc

tar命令：压缩命令

（26）在根目录“/”下新建文件夹test，然后在根目录“/”下打包成test.tar.gz

mkdir /test && tar -czvf /test.tar.gz /test

（27）把上面的test.tar.gz压缩包，解压缩到“/tmp”目录

tar -xzvf /test.tar.gz -C /tmp

grep命令：查找字符串

（28）从“～/.bashrc”文件中查找字符串'examples'

grep 'examples' ~/.bashrc

配置环境变量

（29）请在“～/.bashrc”中设置，配置Java环境变量

nano ~/.bashrc

echo 'export JAVA_HOME=/path/to/java' >> ~/.bashrc
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> ~/.bashrc
source ~/.bashrc
echo $JAVA_HOME

（30）查看JAVA_HOME变量的值

echo $JAVA_HOME

4.2.2 熟悉常用的Hadoop操作

（31）使用hadoop用户登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），为hadoop用户在HDFS中创建用户目录“/user/hadoop”

start-dfs.sh

start-yarn.sh

hdfs dfs -mkdir /user/hadoop

（32）接着在HDFS的目录“/user/hadoop”下，创建test文件夹，并查看文件列表

hdfs dfs -mkdir /user/hadoop/test

hdfs dfs -ls /user/hadoop

（33）将Linux系统本地的“～/.bashrc”文件上传到HDFS的test文件夹中，并查看test

hdfs dfs -put ~/.bashrc /user/hadoop/test/

（34）将HDFS文件夹test复制到Linux系统本地文件系统的“/usr/local/hadoop”目录下

hdfs dfs -copyToLocal /user/hadoop/test/.bashrc /usr/local/hadoop/

4.3 出现的问题及解决方案

4.3.1熟悉常用的Linux操作中遇到的问题：

4.3.2熟悉常用的Hadoop操作中遇到的问题：

4.3.3未解决的问题：

一些翻译：

1. bin games include lib local sbin share src

这些是常见的 Linux 文件系统目录名称，它们通常在 /usr/ 目录下找到，用于组织和存储不同类型的文件。下面是它们的英文翻译和简要说明：

bin：Binary 的缩写，存放用户常用的可执行文件。
games：存放游戏相关的可执行文件和数据。
include：通常包含头文件，用于软件开发。
lib：Library 的缩写，存放库文件，这些文件被系统或应用程序用于功能扩展。
local：用于存放本地安装的程序和文件。
sbin：System Binary 的缩写，存放系统管理员使用的可执行文件。
share：存放多个用户或多个程序之间共享的数据。
src：Source 的缩写，存放源代码文件。

原文地址：https://blog.csdn.net/m0_73972962/article/details/142268340

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：哔哩哔哩自动批量删除抽奖动态解析篇（二）
下一篇：Redis的三种持久化方法详解

低版本JMX Console未授权
低版本JMX Console未授权
阅读更多2024-09-22
图书管理系统
这样所有书籍的所有信息和借阅记录都会保存在文件里，使用查看图书功能可以直接查看。如果不想要这些信息可以直接删除，但只能一条一条的删除（以后会添加一键全部删除的功能）。下面是一个用Python写的图书管
阅读更多2024-09-22
外包干了4年，技术退步太明显了。。。。。
先说一下自己的情况，本科生生，20年通过校招进入武汉某软件公司，干了差不多4年的功能测试，今年国庆，感觉自己不能够在这样下去了，长时间呆在一个舒适的环境会让一个人堕落!没办法，我找到了我在腾讯的老哥，
阅读更多2024-09-22
【学习笔记】STM32F407探索者HAL库开发（五）F407时钟系统配置
在单片机系统中，设计时以时序电路控制替代纯粹的组合电路，在每一级输出结果前对各个信号进行采样，从而使得电路中某些信号即使出现延时也可以保证各个信号的同步，可以避免电路中发生的“毛刺现象”，达到精确控制
阅读更多2024-09-22
C++ 知识要点：其它
八. 其它调试程序的方法？gdb遇到 coredump 要怎么调试？模板的用法与适用场景用过 C++11？新特性？auto,decltype、explicit、lambda、final函数调用的压栈过
阅读更多2024-09-22
【机器学习】11——矩阵求导
矩阵求导
阅读更多2024-09-22
在excel中使用python？
是的！excel中可以使用python了！在去年8月22日，微软通过官方博客发布将与anaconda展开合作，简而言之就是excel将支持python，可以在表格中直接利用python就行数据分析，可
阅读更多2024-09-22
第160天：安全开发-Python-蓝队项目&流量攻击分析&文件动态监控&Webshell检测
本来后续上传的文件，可以调用api接口上传到威胁分析平台进行分析是否有害，根据分析返回的结果，来判断是否进行删除，但是百度免费的网站已经停掉了，virustotal免费的api坏掉了，别的免费的不好用
阅读更多2024-09-22
【Flink实战】flink消费http数据并将数组展开多行
【Flink实战】flink消费http数据并将数组展开多行
阅读更多2024-09-22
【Android】浅析MVC与MVP
架构（Architecture）在软件开发中指的是软件系统的整体设计和结构，它描述了系统的高层组织方式，包括系统中各个组件之间的关系、依赖、交互方式，以及这些组件如何协同工作来完成系统的功能。组件的划
阅读更多2024-09-22

【Linux】【Hadoop】大数据基础实验一

实验一：熟悉常用的Linux操作和Hadoop操作

一、实验目的

二、实验平台

三、实验步骤

3.1 熟悉常用的Linux操作

3.2 熟悉常用的Hadoop操作

四、实验报告

4.1 实验环境

4.2 实验内容与完成情况

4.2.1熟悉常用的Linux操作：

cd命令：切换目录

ls命令：查看文件与目录

mkdir命令：新建目录

rmdir命令：删除空的目录

cp命令：复制文件或目录

mv命令：移动文件与目录，或更名

rm命令：移除文件或目录

cat命令：查看文件内容

tac命令：反向查看文件内容

more命令：一页一页翻动查看

head命令：取出前面几行

tail命令：取出后面几行

touch命令：修改文件时间或创建新文件

chown命令：修改文件所有者权限

find命令：文件查找

tar命令：压缩命令

grep命令：查找字符串

配置环境变量

4.2.2 熟悉常用的Hadoop操作

4.3 出现的问题及解决方案

4.3.1熟悉常用的Linux操作中遇到的问题：

4.3.2熟悉常用的Hadoop操作中遇到的问题：

4.3.3未解决的问题：

【Linux】【Hadoop】大数据基础实验一

实验一：熟悉常用的Linux操作和Hadoop操作

一、实验目的

二、实验平台

三、实验步骤

3.1 熟悉常用的Linux操作

3.2 熟悉常用的Hadoop操作

四、实验报告

4.1 实验环境

4.2 实验内容与完成情况

4.2.1熟悉常用的Linux操作：

cd命令：切换目录

ls命令：查看文件与目录

mkdir命令：新建目录

rmdir命令：删除空的目录

cp命令：复制文件或目录

mv命令：移动文件与目录，或更名

rm命令：移除文件或目录

cat命令：查看文件内容

tac命令：反向查看文件内容

more命令：一页一页翻动查看

head命令：取出前面几行

tail命令：取出后面几行

touch命令：修改文件时间或创建新文件

chown命令：修改文件所有者权限

find命令：文件查找

tar命令：压缩命令

grep命令：查找字符串

配置环境变量

4.2.2 熟悉常用的Hadoop操作

4.3 出现的问题及解决方案

4.3.1熟悉常用的Linux操作中遇到的问题：

4.3.2熟悉常用的Hadoop操作中遇到的问题：

4.3.3未解决的问题：

相关文章