R语言对简·奥斯汀作品中人物对话的情感分析

🕗 发布于 2024-12-07 05:58 r语言

项目背景

客户是一家文学研究机构，他们希望通过对简·奥斯汀作品中人物对话的情感分析，深入了解作品中人物的情感变化和故事情节的发展。因此，他们委托你进行一项情感分析项目，利用“janeaustenr”包中的数据集来构建情感分析模型。

数据来源

客户将提供“janeaustenr”包，该包包含了简·奥斯汀的几部小说（如《傲慢与偏见》、《理智与情感》等）的文本数据。你可以直接使用该包中的数据进行分析。
需求分析

1. 目标：构建一个情感分析模型，对简·奥斯汀作品中人物对话进行情感分类（正面、负面或中性）。
1. 数据集：使用“janeaustenr”包中的小说文本数据。
1. 情感分类：将对话分为正面、负面和中性三类。
1. 模型要求：
  • 需要考虑文本数据的预处理，如分词、去除停用词、词干提取等。
  • 需要选择合适的特征提取方法，如词袋模型、TF-IDF等。
  • 需要选择合适的分类算法，如朴素贝叶斯、支持向量机、随机森林等，并进行参数调优。
  • 需要对模型进行评估，包括准确率、召回率、F1分数等指标。
  交付成果
1. R代码：提供完整的R代码，包括数据预处理、特征提取、模型建立和模型评估等步骤。
1. 模型报告：提供一份详细的模型报告，包括数据预处理的结果、特征提取的方法、模型的性能评估结果等。
1. 情感分析结果：对简·奥斯汀作品中人物对话进行情感分类，并生成情感分析结果报告，包括对话的情感极性、情感强度等信息。

技术要求

1. 熟悉R语言：能够熟练使用R语言进行文本数据分析和情感分析。
1. 了解情感分析：熟悉情感分析的基本原理和步骤，能够独立完成模型的建立和评估。
1. 文本处理能力：能够处理大规模文本数据，进行数据预处理和特征提取。
1. 模型评估能力：能够使用合适的评估指标对模型进行评估，并解释评估结果。

按步骤构建整个流程，包括数据加载、预处理、特征提取、模型建立、评估等。以下是基于R语言的实现方案。

1. 加载必要的包

首先，确保安装并加载所需的R包，包括 janeaustenr, tidyverse, tm, textclean, text, caret, e1071 等：

# 安装必要的包
install.packages(c("janeaustenr", "tidyverse", "tm", "textclean", "text", "caret", "e1071"))

# 加载包
library(janeaustenr)
library(tidyverse)
library(tm)
library(textclean)
library(text)
library(caret)
library(e1071)

2. 数据加载与准备

janeaustenr 包中包含了简·奥斯汀的作品数据。我们需要从该包中提取出人物对话的文本，并整理为适合情感分析的格式。

# 加载简·奥斯汀的文本数据
data("austen_books")

# 查看数据结构
head(austen_books)

# 选择对话文本，假设每行代表一段对话
dialogue_data <- austen_books %>% 
  filter(str_detect(text, "[A-Za-z]")) %>%  # 筛选非空行
  select(book, text)  # 保留书名和文本

3. 数据预处理

数据预处理包括去除标点符号、数字、停用词等，进行分词，并进行词干提取。

# 文本清洗函数
clean_text <- function(text){
  text %>%
    tolower() %>%                      # 转小写
    removePunctuation() %>%             # 去除标点符号
    removeNumbers() %>%                 # 去除数字
    removeWords(stopwords("en")) %>%    # 去除英语停用词
    stripWhitespace() %>%               # 去除多余空格
    wordStem()                          # 词干提取
}

# 应用文本清洗
dialogue_data$text_clean <- sapply(dialogue_data$text, clean_text)

# 查看清洗后的结果
head(dialogue_data$text_clean)

4. 特征提取

使用 tm 包的 DocumentTermMatrix (DTM) 或 text 包的 dfm 来提取特征。这里我们将使用 tf-idf (词频-逆文档频率) 作为特征提取方法。

# 创建一个文档-词项矩阵 (Document-Feature Matrix)
corpus <- Corpus(VectorSource(dialogue_data$text_clean))
dtm <- DocumentTermMatrix(corpus, control = list(weighting = weightTfIdf))

# 转换为矩阵
dtm_matrix <- as.matrix(dtm)

# 查看提取的特征
head(dtm_matrix)

5. 情感标签

由于目前数据集中没有情感标签，我们假设可以基于一些预定义的情感词典来标注情感。可以使用 text 包中的情感分析工具，或结合情感词典进行标签分类。

例如，利用 text 包进行情感分析并为每段对话打标签。

# 使用text包进行情感分析
sentiment_scores <- textdata::lexicons$afinn

# 假设情感分析返回一个情感分数（负数为负面，正数为正面，中性为0）
dialogue_data$sentiment <- sapply(dialogue_data$text_clean, function(text){
  score <- sum(sapply(str_split(text, " "), function(word) sentiment_scores$score[sentiment_scores$word == word]))
  return(ifelse(score > 0, "positive", ifelse(score < 0, "negative", "neutral")))
})

# 查看情感标签
head(dialogue_data)

6. 构建模型

我们可以选择常用的分类算法，如朴素贝叶斯、支持向量机（SVM）或随机森林。这里以支持向量机为例。

# 将情感标签转换为因子类型
dialogue_data$sentiment <- factor(dialogue_data$sentiment, levels = c("negative", "neutral", "positive"))

# 划分训练集和测试集
set.seed(123)
trainIndex <- createDataPartition(dialogue_data$sentiment, p = 0.8, list = FALSE)
train_data <- dialogue_data[trainIndex, ]
test_data <- dialogue_data[-trainIndex, ]

# 使用SVM训练模型
svm_model <- svm(sentiment ~ ., data = train_data, kernel = "linear")

# 预测情感标签
predictions <- predict(svm_model, test_data)

# 评估模型
conf_matrix <- confusionMatrix(predictions, test_data$sentiment)
print(conf_matrix)

7. 模型评估

通过 confusionMatrix 函数评估模型的性能，包括准确率、召回率和F1分数等。

# 打印评估结果
conf_matrix

# 提取性能指标
accuracy <- conf_matrix$overall["Accuracy"]
recall <- conf_matrix$byClass["Recall"]
f1_score <- conf_matrix$byClass["F1"]

print(paste("Accuracy:", accuracy))
print(paste("Recall:", recall))
print(paste("F1 Score:", f1_score))

8. 生成情感分析报告

最后，将情感分析结果生成报告，包括每段对话的情感极性和强度。

# 为每段对话生成情感分析报告
sentiment_report <- dialogue_data %>%
  select(book, text, sentiment) %>%
  mutate(sentiment_score = ifelse(sentiment == "positive", 1, ifelse(sentiment == "negative", -1, 0)))

# 输出情感分析报告
write.csv(sentiment_report, "sentiment_analysis_report.csv")

9. 结果展示

根据需求，你可以将情感分析结果可视化，例如使用 ggplot2 展示每本书的情感分布。

# 使用ggplot2绘制情感分布
ggplot(sentiment_report, aes(x = sentiment, fill = sentiment)) +
  geom_bar() +
  facet_wrap(~book) +
  labs(title = "Sentiment Distribution in Jane Austen's Books", x = "Sentiment", y = "Frequency")

总结

通过上述步骤，我们能够从简·奥斯汀的作品中提取人物对话，进行数据预处理、特征提取、情感分析，并利用机器学习模型进行情感分类。最后，我们能够提供模型评估指标以及生成情感分析报告。

这套方案考虑了文本数据的预处理、特征工程、情感分析和模型评估，适应了客户的需求。如果有更多的标注数据或优化空间，可以进一步改进模型和分析方法。

原文地址：https://blog.csdn.net/weixin_30777913/article/details/144282001

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：P4645 [COCI2006-2007#3] BICIKLI(Tarjan+topsort求到某点的方案数）
下一篇：Bluetooth LE AUDIO架构概述

.NET(C#) 如何配置用户首选项及保存用户设置
.NET(C#) 如何配置用户首选项及保存用户设置
阅读更多2024-12-14
【最新】北大数字普惠金融指数数据集-省市县（2011-2023年）
郭峰,王靖一,王芳,孔涛,张勋,程志云.测度中国数字普惠金融发展:指数编制与空间特征[J].经济学(季刊),2020,19(04):1401-1418.时间跨度：省级和城市级指数时间跨度为2011-2
阅读更多2024-12-14
GESP202412 四级【Recamán】题解（AC）
a11ak−1−kkakak−1−kak−1k小杨想知道 Recamán 数列的前n项从小到大排序后的结果。手动计算非常困难，小杨希望你能帮他解决这个问题。
阅读更多2024-12-14
IDEA遇到EasyConnect中的网络资源无法访问的问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。原文链接：https://blog.csdn.net/wanshanyu_/article/de
阅读更多2024-12-14
双目摄像头标定方法
此时已经完成标定，左下角为反投影误差，右边为外参可视化。将双目左右目拍的图像上传（左右目最好不少于20张）此时回到主页面，即可看到成功导出。把这些误差大的删除即可。
阅读更多2024-12-14
Servlet、omcat服务器架构与工作原理
Servlet是运行在服务器端的Java程序，它的主要职责之一是接收并处理来自客户端（如浏览器）的HTTP请求。当客户端发送一个请求到服务器时，Servlet可以解析请求中的信息，例如请求的URL路径
阅读更多2024-12-14
Vue生命周期钩子函数：深入解析与实践
作为高级Vue前端开发人员，对Vue组件的生命周期钩子函数有着深刻的理解是至关重要的。生命周期钩子函数是指在Vue组件的创建、更新、销毁等过程中，Vue自动调用的一系列方法。通过这些钩子函数，我们可以
阅读更多2024-12-14
安卓开发--使用android studio发布APP
app发布
阅读更多2024-12-14
数据结构与算法学习笔记----拓扑排序
@ author: 明月清了个风。
阅读更多2024-12-14
python 将数据保存到现有的Excel文件的新工作表
out_file = ‘query.xlsx’df1 = pd.DataFrame(out_data)若直接写入：df1.to_excel(out_file, index=False, sheet_n
阅读更多2024-12-14