IO练习网络爬虫获取

🕗 发布于 2024-07-13 20:50 爬虫 dubbo

题目：

具体文字内容如下：

练习：制造假数据

需求：制造假数据是开发中的一项重要能力，从各个网站爬取数据是其中的一种方法。

获取姓氏示例及链接：
赵钱孙李周吴郑王
链接：百家姓_诗词_百度汉语

男生名字示例及链接：
子轩浩宇浩然博文宇轩子涵南淳皓轩梓轩
链接：男生有诗意的名字推荐（龙年男孩起名）

女生名字示例及链接：
子涵怡萱梓涵晨曦紫涵诗涵梦琪慧怡子萱雨涵
链接：2024年清新有诗意女孩名字取名（龙年女孩名字）

获取它们的信息组成姓名+性别+年龄

代码：

先通过方法获取链接里的信息：

先new一个StringBuilder类，再new一个URL类，通过URL里的方法获取链接里的数据，因为是字节流所以要使用转换流转换成字符流，再把里面的数据装入StringBuilder里，使用StringBuilder.append方法,再释放资源

public static String name(String str) throws IOException {
        //用来打印类
        StringBuilder builder = new StringBuilder();
        //创建URL对象
        URL url = new URL(str);
        //链接网站
        URLConnection urlConnection = url.openConnection();
        //读取里面的数据
        InputStreamReader inputStreamReader = new InputStreamReader(urlConnection.getInputStream());
        int len;
        while ((len=inputStreamReader.read())!=-1){
            builder.append((char) len);
        }
        inputStreamReader.close();
        return builder.toString();
    }

我们再通过正则表达式来自定规则先new一个数组再通过Pattern.compile(str)自定规则，把这个规则放在网络中的数据中compile.matcher(name);再通过while循环判断判断符合规则matcher.find()

，符合打印到数组中list.add(matcher.group(a));

 private static ArrayList<String> getData(String name, String str,int a) {
        ArrayList<String> list = new ArrayList<>();
        //以str为规则
        Pattern compile = Pattern.compile(str);
        //套用规则
        Matcher matcher = compile.matcher(name);
        while (matcher.find()){
            list.add(matcher.group(a));
        }
        return list;
    }

姓氏：

 ArrayList<String> list = getData(name, "([\\u4E00-\\u9FA5]{4})(，|。)", 1);

男生名：

ArrayList<String> list2 = getData(name1, "([\\u4E00-\\u9FA5]{2})(、|。)", 1);

女生名：

ArrayList<String> list3 = getData(name2, "(.. ){4}..", 0);

把它们的数据装入各自的数组中

通过这些数据来做题

随机男女生人数，不重复，随机姓名，随机年龄

请看代码：

 private static ArrayList<String> GetInFos(ArrayList<String> surname,ArrayList<String> boy,ArrayList<String> girl,int Count,int count){
        //随机男生
        HashSet<String> strings = new HashSet<>();
        while (true){
            if (strings.size()==Count){
                break;
            }
            Collections.shuffle(surname);
            Collections.shuffle(boy);
            strings.add(surname.get(0)+boy.get(0));
        }
        HashSet<String> strings1 = new HashSet<>();
        while (true){
            if (strings1.size()==count){
                break;
            }
            Collections.shuffle(surname);
            Collections.shuffle(girl);
            strings1.add(surname.get(0)+girl.get(0));
        }
        ArrayList<String> list = new ArrayList<>();
        Random random = new Random();
        //男生
        for (String string : strings) {
            int i1 = random.nextInt(10) + 18;
            list.add(string+"-男-"+i1);
        }
        //女生
        for (String string : strings1) {
            int i1 = random.nextInt(8) + 18;
            list.add(string+"-女-"+i1);
        }
        return list;
    }

最后统统放入一个数组中。

全部代码：

import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.*;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class Demo1 {
    public static void main(String[] args) throws IOException {
        String a = "https://hanyu.baidu.com/shici/detail?pid=0b2f26d4c0ddb3ee693fdb1137ee1b0d&from=kg0";
        String b = "http://www.haoming8.cn/baobao/10881.html";
        String c = "http://www.haoming8.cn/baobao/7641.html";
        String name = name(a);
        String name1 = name(b);
        String name2 = name(c);
        //中文[\u4E00-\u9FA5]
        //姓氏
        ArrayList<String> surname = new ArrayList<>();
        ArrayList<String> list = getData(name, "([\\u4E00-\\u9FA5]{4})(，|。)", 1);
        for (String s : list) {
            for (int i1 = 0; i1 < s.length(); i1++) {
                char at = s.charAt(i1);
                surname.add(at+"");
            }
        }
        //去重复
        //男生
        ArrayList<String> list5 = new ArrayList<>();
        ArrayList<String> list2 = getData(name1, "([\\u4E00-\\u9FA5]{2})(、|。)", 1);
        for (String s : list2) {
            if (!list5.contains(s)){
                list5.add(s);
            }
        }
        //女生
        ArrayList<String> list4 = new ArrayList<>();
        ArrayList<String> list3 = getData(name2, "(.. ){4}..", 0);
        for (String s : list3) {
            //以空格为分隔符
            String[] split = s.split(" ");
            for (String string : split) {
                list4.add(string);
            }
        }
        ArrayList<String> list1 = GetInFos(surname, list5, list4, 20, 20);
        for (int i1 = 0; i1 < list1.size(); i1++) {
            String s = list1.get(i1);
            System.out.println(s);
        }
    }
    private static ArrayList<String> GetInFos(ArrayList<String> surname,ArrayList<String> boy,ArrayList<String> girl,int Count,int count){
        //随机男生
        HashSet<String> strings = new HashSet<>();
        while (true){
            if (strings.size()==Count){
                break;
            }
            Collections.shuffle(surname);
            Collections.shuffle(boy);
            strings.add(surname.get(0)+boy.get(0));
        }
        HashSet<String> strings1 = new HashSet<>();
        while (true){
            if (strings1.size()==count){
                break;
            }
            Collections.shuffle(surname);
            Collections.shuffle(girl);
            strings1.add(surname.get(0)+girl.get(0));
        }
        ArrayList<String> list = new ArrayList<>();
        Random random = new Random();
        //男生
        for (String string : strings) {
            int i1 = random.nextInt(10) + 18;
            list.add(string+"-男-"+i1);
        }
        //女生
        for (String string : strings1) {
            int i1 = random.nextInt(8) + 18;
            list.add(string+"-女-"+i1);
        }
        return list;
    }
//以正则表达式来制定规则
    private static ArrayList<String> getData(String name, String str,int a) {
        ArrayList<String> list = new ArrayList<>();
        //以str为规则
        Pattern compile = Pattern.compile(str);
        //套用规则
        Matcher matcher = compile.matcher(name);
        while (matcher.find()){
            list.add(matcher.group(a));
        }
        return list;
    }
    //获取网站内容信息
    public static String name(String str) throws IOException {
        //用来打印类
        StringBuilder builder = new StringBuilder();
        //创建URL对象
        URL url = new URL(str);
        //链接网站
        URLConnection urlConnection = url.openConnection();
        //读取里面的数据
        InputStreamReader inputStreamReader = new InputStreamReader(urlConnection.getInputStream());
        int len;
        while ((len=inputStreamReader.read())!=-1){
            builder.append((char) len);
        }
        inputStreamReader.close();
        return builder.toString();
    }
}

每日名言：太阳每一天都是新的，生命每一天都是美的。

原文地址：https://blog.csdn.net/2301_80329236/article/details/140282228

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：2974.力扣每日一题7/12 Java（执行用时分布击败100%）
下一篇：海康相机GrabImage

AutoDL上进行tensorboard可视化
3.在实例中执行：tensorboard --port 6006 --logdir work_dirs。2.在实例中执行：export https_proxy=http://127.0.0.1:108
阅读更多2024-11-16
莱特币转型MEME币：背后隐含的加密市场现象
MEME币的兴起标志着加密市场的一种转型，传统的技术创新已经不再是吸引投资者的唯一因素，社区文化和社交媒体的炒作正在成为市场推动力之一。这种趋势的背后，反映了加密市场的一种深层次变化：许多项目原本依靠
阅读更多2024-11-16
STM32仿真proteus位带操作和keil增加头文件C文件
在学习 51 单片机的时候就使用过位操作，通过关键字 sbit 对单片机 IO 口进行位定义。但是 STM32 没有这样的关键字，而是通过访问位带别名区来实现。即将每个比特位膨胀成一个 32 位字，当
阅读更多2024-11-16
【机器学习】机器学习中用到的高等数学知识-5. 函数空间和泛函分析 (Functional Analysis)
函数的连续性和可微性是分析和优化模型的重要数学性质，在机器学习中，这些概念帮助我们评估模型的学习能力和泛化能力。希尔伯特空间和巴拿赫空间是泛函分析中的两个重要概念，它们描述了不同的向量空
阅读更多2024-11-16
苍穹外卖学习-day11
Apache ECharts 是一款基于 Javascript 的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。常见的统计图形有：柱状图，条形图，折线图不管是哪种形式的图形，
阅读更多2024-11-16
DHTMLX-gantt组件显示不同的颜色
important;important;important;
阅读更多2024-11-16
计算机毕业设计Python+大模型中医养生问答系统知识图谱医疗大数据中医可视化机器学习深度学习人工智能大数据毕业设计
计算机毕业设计Python+大模型中医养生问答系统知识图谱医疗大数据中医可视化机器学习深度学习人工智能大数据毕业设计
阅读更多2024-11-16
使用Markmap从链接生成脑图并下载为交互式HTML文件
在这篇博客中，我们将探讨如何从指定链接中提取内容，生成Markdown格式的脑图，然后使用Markmap将其可视化，并最终下载为交互式HTML文件。通过以上步骤，我们可以轻松从链接中提取内容，生成Ma
阅读更多2024-11-16
SAP+Internet主题HTML样式选择
SAP生成HTML前端界面
阅读更多2024-11-16
关于php Datetime 时区转换因为timezone_version(时区版本)问题造成的时区转换问题
php时区转换 timezone_version(时区版本)问题造成的时区转换问题
阅读更多2024-11-16

IO练习网络爬虫获取

题目：

代码 ：

相关文章

代码：