用经验模型判断能力验证统计分析结果的合理性_孙海容.pdf

返回 相似 举报
用经验模型判断能力验证统计分析结果的合理性_孙海容.pdf_第1页
第1页 / 共5页
用经验模型判断能力验证统计分析结果的合理性_孙海容.pdf_第2页
第2页 / 共5页
用经验模型判断能力验证统计分析结果的合理性_孙海容.pdf_第3页
第3页 / 共5页
用经验模型判断能力验证统计分析结果的合理性_孙海容.pdf_第4页
第4页 / 共5页
用经验模型判断能力验证统计分析结果的合理性_孙海容.pdf_第5页
第5页 / 共5页
亲,该文档总共5页,全部预览完了,如果喜欢就下载吧!
资源描述:
2012 年 12 月 December 2012 岩矿测试 ROCK AND MINERAL ANALYSIS Vol. 31,No. 6 992 ~996 收稿日期 2012 -06 -20; 接受日期 2012 -07 -10 基金项目 中国合格评定国家认可委员会科技项目 2011CNAS11 ; 国家重大科学仪器设备开发专项 2011YQ14014708 作者简介 孙海容, 高级工程师, 主要从事实验室质量控制与管理研究。E- mail sunhr cnas. org. cn。 通讯作者 李玉武, 研究员, 从事大气颗粒物化学组分分析表征、 来源解析及测量结果不确定度评估研究。E- mail liyuwucneac.com。 文章编号 02545357 2012 06099205 用经验模型判断能力验证统计分析结果的合理性 孙海容1,李玉武2* 1. 中国合格评定国家认可中心,北京100062;2. 国家环境分析测试中心,北京 100029 摘要 能力验证是检测实验室识别与同行差异的一种途径, 但中国合格评定国家认可委员会 CNAS 在组织 能力验证时发现由于种种原因, 有些实验室并不能秉承诚信的原则参加能力验证活动, 导致统计分析结果 “失真” 。如何甄别这种情况, 确保所有参加 CNAS 能力验证活动的实验室都获得公平的评价, 这是 CNAS 亟 待解决的问题。本文在用国内文献数据对经验模型进行修正的基础上, 提出用上报数据目标标准偏差 或 稳健标准偏差, sR 与基于经验模型的计算值之比 H 值 是否小于 0. 5 作为判据来审核上报数据统计分析结 果的合理性。对 13 套能力验证数据分析表明 其中 10 套上报数据 sR正常, 3 套数据存在问题。当目标标准 偏差偏小, H <0. 5 时, 建议采用同样是稳健统计方法的迭代法代替四分位法来计算目标标准偏差 sR , 或用 经验模型计算结果代替实验值计算 Z 值。通过验证表明, 借助 Horwitz 经验模型可以判断能力验证数据统 计分析结果的合理性, 并能有效地识别并防止由于某种原因导致对能力验证结果评价失效的情况。 关键词 检测能力评价; 经验模型; Horwitz 函数表达式 中图分类号 X132; O242文献标识码 A uation of the Statistic Parameter of Rationality in Proficiency Testing by the Empirical Model SUN Hai- rong1,LI Yu- wu2* 1. China National Accreditation Service for Conity Assessment,Beijing100062,China; 2. National Research Center for Environmental Analysis and Measurements,Beijing100029,China Abstract Proficiency testing is a good approach to find the difference between individual laboratories in the same field. However,it was found that statistical results in the proficiency testing reports organized by CNAS were distorted since some laboratories reported the analysis data not based on their own experiments. How to identify this situation and ensure all participants to obtain a fair uation is a problem that needs to be urgently solved for CNAS. In order to uate the rationality of the statistical results,a ratio be called as H of target standard deviation robust standard deviation,sR to those calculated by the empirical model modified by experimental data collected from a large number of proficiency testing reports in the domestic environmental field as a criterion is proposed in this paper. Thirteen sets of data in recent years were used to validate this criterion. The results show that target standard deviations of ten sets of data are within the normal range and the part of robust parameters in three sets of data are much smaller compared to those calculated by this model. The causes for these situations were analyzed. It was suggested that the target standard deviation be calculated based on algorithm recommended by ISO 13528,and the Z- score be calculated by the calculated value from the model instead of the target standard deviation from experimental data when H is smaller than 0. 5. The validation results showed that it is possible to uate the rationality of a statistical parameter in proficiency testing based on a modified Horwitz function, effectively identifying and preventing the situation in which the statistical results are distorted by some anthropogenic factors. Key words proficiency testing; empirical model; Horwitz function expression 299 ChaoXing 近年来, 在国家认监委和中国合格评定国家认 可委员会 CNAS 的大力推动下, 检测能力验证活 动越来越受到检测实验室的重视。按照 CNAS 相关 要求, 实验室对检测能力表中各项目均应按一定频 次定期参加有资质单位组织的能力验证活动, 其结 果直接成为监督评审和复评审中主要客观证据。 CNAS 在组织能力验证时发现, 由于种种原 因, 有些实验室并不能秉承诚信的原则参加能力 验证活动, 导致上报数据统计分析结果“失真” 。 如何甄别这种情况, 确保所有参加 CNAS 能力验证 活动的实验室都获得公平的评价, 这是 CNAS 亟待 解决的问题。本文介绍了一种审核并判断检测能 力验证数据统计分析结果合理性的有效判据, 并 用 13 套能力验证计划数据作为应用实例对解决 方案进行了验证。 1数据处理方法 1. 1统计分析计算公式及能力评价原则 能力验证数据统计分析通常采用稳健 Robust 技术处理, 即采用稳健统计的中位值为指定值, 标准 化四分位距 NIQR 为变动性度量值 目标标准偏 差 。参加实验室的 Z 比分数值按下式计算 Z x - X /σ 式中 x实验室测试结果; X指定值; σ变动 性度量值 目标标准偏差 。 能力验证计划涉及的统计量有结果数、 中位值、 标准化四分位距 NIQR 、 稳健的变异系数 CV 、 最 小值、 最大值和极差等。各统计量的意义及相关计算 方法参见文献[ 1] 。能力验证以 Z 比分数评价参加 实验室的结果, 即 |Z|≤2 为满意结果; 2 < |Z| <3 为有问题结果; |Z|≥3 为不满意结果 离群值 。 1. 2经验模型与 Horwitz 函数 Horwitz 函数 [2 -5 ]描述了分析浓度 c 与分析精 密度 再现性标准偏差 sR 之间的关系, 由美国 Horwitz[2 ]于 20 世纪 80 年代提出, 此函数是目前文 献中经验模型最为经典和简洁的数学表达式。它有 三种表达方式 [3 ], s 0. 02c0. 850 其中 s、 c 均为质量 浓度 ; sRSD2c -0. 15和 s RSD2 1 -0. 5lgc c 和 s RSD单位均 为 。20 世纪 20 ~ 90 年代几万次数据的验证都 证明了其正确性 [4 ]。据发表的实验数据分析结果 和结论来看 [2 -5 ], 此函数表达式中分析结果精密度 只与分析浓度有关, 而与样品类型、 基体、 检测项目、 分析方法无关。此经验模型已在能力验证数据处 理、 不确定度评估得到应用 [6 -12 ]。 2数据来源 本文数据均取自 CNAS 于 2006 ~ 2012 年组织 的水质样品、 土壤、 沉积物、 化妆品、 粮食 大米 、 茶 叶中重金属检测能力验证计划结果报告, 或承担单 位以报告数据为基础公开发表的论文 [13 -15 ]。 3结果与讨论 3. 1问题分析 表 1 和表 2 分别列举了检测能力验证活动上报 数据统计分析结果出现异常的 2 个实例。水中 Cr Ⅵ 的检测数据中, 部分实验室报出的数据与中 位值 0. 150 mg/L、 0. 250 mg/L 相比, 两者差别不 大, 但被判定为“有问题” 。从表 2 可以看出, 土壤 样品重金属含量在标准示值范围内的检测数据, 也 出现在 “有问题” 数据之列。通常的解释是, 此批能 力验证数据太集中, 目标标准偏差偏小。有各种原 因可能导致出现这种现象。如数据上报前可能已 “相互通报” [16 ], 数据被人为修正, 其他实验室样品 测试结果事先通过一些渠道得知等等。已有一些措 施来避免数据串通, 如采用数组样品分发不同参加 单位。如果能利用一种数学方法协助对目标标准偏 差合理性进行评估, 结合专业经验判断, 将有效甄别 这种情况, 确保所有参加 CNAS 能力验证活动的实 验室都获得公平的评价。 表 1水中 Cr Ⅵ 检测能力统计分析结果示例 Table 1Examples of conclusions in proficiency testing report on determination of Cr Ⅵ in water 检测结果 ρB/ mgL -1 样品 a 0.150* 样品 b 0.250* 实验室间 Z 比分数 ZB 实验室内 Z 比分数 ZW 结果 评价 0.1490. 244-2.50-4.00不满意 0.1550. 2522.50-2.00有问题 0.1520. 2480.00-2.86有问题 0.1540. 2501.50-2.86有问题 0.1550. 2491.50-5.00不满意 0.1480. 2520.002.54有问题 0.1490. 2530.502.54有问题 0.1530. 2542.500.00有问题 注 标注 “* ” 为中位值。 3. 2统计分析结果合理性判据 为了避免评价结论受到“非正常” 统计数据的 影响, 使评价结论更客观, 笔者曾经尝试用上报数据 是否是正态分布作为一个客观判据。但结果表明, 很多能力验证项目的上报数据并不具备正态分布。 399 第 6 期孙海容, 等 用经验模型判断能力验证统计分析结果的合理性第 31 卷 ChaoXing 表 2土壤中重金属元素检测能力统计分析结果示例 Table 2Examples of conclusions in proficiency testing report on determination of metals in soil sample 元素 wB/ mgkg -1 标准值测定值 Z 比分数结果评价 Cu26.3 1.7 24. 7-2. 70有问题 27. 82. 22有问题 25. 0-2. 22有问题 27. 92. 38有问题 As11.4 0.710. 7-2.33有问题 Ni32.8 1.7 34. 42. 08有问题 31. 4-2. 08有问题 Hg0. 021 0. 004 0.0170-2.55有问题 0.02382. 27有问题 据文献[ 3] 报道, Horwitz 函数的一个重要应用 是用于考察、 判断能力验证数据统计分析结果的合 理性。其方法是用参加能力验证各实验室上报数据 的统计值稳健标准偏差 sR实验 与经验模型计算值 sR计算 的比值 H sR实验/sR计算 来判断。研究结 论 [3 ]表明, 当 H <0. 5 时, 能力验证数据的稳健标准 偏差 sR过于乐观; 如果 H > 2, 说明上报数据的统计 值 sR值得怀疑, 数据精度比预期要差, 参加检测能 力验证的实验室间水平相差较大。如果 0. 5 < H <2, 则表示能力验证统计数据正常。根据长期积累 的能力验证数据来判断, 实验值与预测值之比明显 小于 0. 5 或大于 2 均属于小概率事件, 当出现这种 情况时, 应认真分析原因。有的检测能力验证组织 单位直接采用 sR计算代替标准化四分位距参与计算 Z 值来判断上报数据是否满足要求 [6 ]。上报数据统 计计算的标准化四分位距或稳定标准偏差是随着每 一轮次能力验证实验室的变化而改变, 参加实验室 无法根据各轮次 Z 值的变化来评价自己检测能力 的进展。在避免采用偏小的标准化四分位距导致 “合格性” 判据过严的错误的同时, 采用修正后的 Horwitz 函数计算 Z 值也可让实验室可以关注其检 测能力进展。 3. 3改进型 Horwitz 函数表达式 表 3 列举了改进型 Horwitz 函数表达式。首先, 采用分段函数细化了 Horwitz 表达式, 不同浓度对应 不同表达式 [6 ]。然后, 根据质量目标不同, 采用不 同系数 [9 ]。例如, 据文献[ 9] 介绍, 纯地球化学和应 用地球化学研究领域测试数据质量要求不同。前者 分析结果被用于地球化学研究, 因此, 需要特别仔细 以获取高准确度的数据, 有时需以降低样品产出率 为代价。后者准确度虽然仍很重要, 但主要目的是 为地球化学填图或化探项目搜集的大量样品提供结 果。因而面对不同质量要求, 可采用不同系数。如 土壤、 沉积物能力验证、 标样协作定值数据可采用 sR0. 080 c0. 850, 此表达式与国内文献数据拟合的经 验模型 sR 0. 072 c0. 851基本相符[10 ]。一般情况下 如客户要求不高时, 可采用 sR0. 160 c0. 850。 对于以 mg/L 表示结果的水质样品常规检测项 目及无机元素, 利用国内标样协作定值及检测能力 验证计划数据对经验模型进行了修正 [10 ], 其表达式 为 sR0. 0284 c0. 951。这些最新研究成果为计算目 标标准偏差提供了有效方法。 表 3改进型 Horwitz 函数表达式 Table 3Improved Horwitz function 浓度 w/ gg -1 Horwitz 函数表达式 文献 [ 7 ] w/ 文献 [ 7 -9 ] w/ mgkg -1 文献 [ 10 ] w/ mgkg -1 文献 [ 10 ] ρ/ mgL -1 土壤、 沉积物等固体样品 c <0.12 10 -6 sR0.22c --- 0.12 10 -6 <c <0.138 sR0.020c0. 850 sR0.160c0. 850 sR0.080c0. 850 sR0.072c0. 851sR0.0284c0. 951 c >0.138sR0.010c0. 50--- 水质样品 ----sR0.0284c0. 951 3. 4统计分析结果合理性判断示例 表 4 列举了 13 套检测能力验证统计分析结果 合理性判断示例, 包括水中 Cr Ⅵ , 水中重金属, 土 壤、 沉积物、 化妆品、 粮食 大米 、 茶叶中重金属的 检测。用检测能力验证结果上报数据目标标准偏差 标准化四分位距 与基于经验模型的计算值之比 H 是否小于 0. 5 进行判断。13 套数据验证结果表 明, 大多数检测项目能力验证数据目标标准偏差正 常, H 值处于正常范围。其中 3 套数据可能存在问 题。2011 年组织的 Cr Ⅵ 检测能力验证项目数据 过于集中, 目标标准偏差偏小, H <0. 5, 这将直接影 响部分实验室上报数据合格性判断。而 2009 年相 同检测项目的数据 H >0. 5, 其上报数据统计分析结 果正常。2012 年水中铅、 镉的检测数据中, 第Ⅱ组 和第Ⅴ组 Cd 的目标标准偏差偏小, 应引起关注。 499 第 6 期 岩矿测试 http ∥www. ykcs. ac. cn 2012 年 ChaoXing 表 4能力验证统计分析结果合理性判断示例 Table 4Examples for evatuation of statistic result rationality in proficiency testing reports 检测项目中位值 目标标准偏差 sR* 实验值计算值 H 2012 年水中铅、 镉的测定值 ρB/ mgL -1 Pb Ⅰ1.550.0220.0430.51 Cd Ⅰ0. 1100.00220. 00350.63 Pb Ⅱ1.070.0220.0300.73 Cd Ⅱ0. 1510.00150. 00470.32 Pb Ⅲ1.300.0220.0360.60 Cd Ⅲ0. 1300.00300. 00410.74 Pb Ⅳ1.060.0220.0300.73 Cd Ⅳ0. 2290.00440. 00700.63 Pb Ⅴ0. 8550.0150.0240.61 Cd Ⅴ0. 1300.00150. 00410.37 2011 年水中六价铬的测定值 ρB/ mgL -1 Cr Ⅵ 0. 1500.00150. 00470.32 0. 2500.00150. 00760.20 2009 年水中六价铬的测定值 ρB/ mgL -1 Cr Ⅵ 0. 4000.00890. 01190.75 0. 4990.00820. 01460.56 2011 年土壤中微量元素的测定值 wB/ mgkg -1 As11.40. 300. 630.48 Cr70.52. 082. 980.70 Cu26.40. 631. 290.49 Ni32.90. 721. 560.46 Pb22.50. 741. 130.65 Zn69.21. 522. 930.52 Cd0.08210.00370. 00960.39 Hg0.02060.00140. 00300.48 2012 年沉积物中重金属的测定值 wB/ mgkg -1 Cu58.62. 022. 550.79 Zn1726.496. 361.02 Pb52.04. 412. 301.92 Cd1.030.2340.0822.85 Cr85.85. 043. 521.43 Mn97030. 427. 71.10 Ni39.21. 721. 810.95 Hg0. 1340.0140.0141.00 As25.31.81.21.50 2010 水中铅、 镉和砷的测定值 ρB/ mgL -1 Ⅰ Pb0. 8940.0160.0250.64 Cd Ⅰ0. 1060.00350. 00341.03 As Ⅰ0.08100.00440. 00261.69 Pb Ⅱ1.100.0370.0311.19 Cd Ⅱ0. 1240.00450. 00391.15 As Ⅱ0.07040.00230. 00231.00 Pb Ⅲ1.180.0300.0330.91 Cd Ⅲ0. 1150.00300. 00360.83 As Ⅲ0.06050.00250. 00201.25 Pb Ⅳ0. 8560.0160.0240.67 Cd Ⅳ0. 1340.00440. 00421.05 As Ⅳ0.09300.00320. 00301.07 续表 4 2011 年水中铜锌铅镉镍铬的测定值 ρB/ mgL -1 Cu 1.100.0220.0310.71 0.8070.0160.0210.76 Zn 0.3060.00670.00920.73 0.3740.0100.0110.91 Pb 1.200.0300.0340.88 1.400.0400.0391.02 Cd 0.1110.00300.00350.86 0.1520.00440.00470.94 Ni 0.5970.00900.0170.53 0.5030.0100.0150.67 Cr 0.4960.00940.0140.67 0.7000.0190.0200.95 2006 年砂质土壤组分的测定值 wB/ mgkg -1 Cu 17.550.960. 911.05 14.950.700. 800.88 Pb 32.301.721. 531.12 32.552.081. 541.35 Mo 3.290.270. 221.23 2.060.160. 151.08 V 54.651.962. 400.82 84.992.373. 490.68 Zn 50.552.082. 250.93 84.703.563. 481.02 2008 年粮食中铅、 镉的测定值 wB/ mgkg -1 Pb1.3250.1270.1021.24 Cd0.0700.00600.00830.72 2008 年大米中镉的测定值 wB/ mgkg -1 Cd 0.2660.0160.0260.62 0.1780.0170.0180.94 2010 年化妆品中重金属的测定值 wB/ mgkg -1 Pb 21.50.631. 090.58 25.41.831. 251.46 As 12.21.410. 672.10 10.50.890. 591.51 2011 年化妆品中重金属的测定值 wB/ mgkg -1 Pb 32.01.261. 520.83 33.74.341. 592.73 As 3.460.340. 231.48 3.420.420. 231.83 2009 年茶叶中重金属的测定值 wB/ mgkg -1 Pb 2.170.190. 151.23 1.940.130. 140.93 注 “* ” 是为便于比较, 部分目标标准偏差数据有效位数多保留了 1 位。 土壤中大部分重金属检测项目 2011 年 的 H <0. 5, 由此判断, 这些重金属的检测数据的分布 也是不正常的。用于判断数据“合格性” 的目标标 准偏差过小将导致 “有问题” 的数据偏多, 将会使部 分实验室受到不公平评价。出现这种情况时, 建议 采用同样是稳健统计方法的迭代法 [17 ]代替四分位 法来计算目标标准偏差 sR , 或用经验模型计算结 599 第 6 期孙海容, 等 用经验模型判断能力验证统计分析结果的合理性第 31 卷 ChaoXing 果代替实验值计算 Z 值 [6 ]。水中铜、 锌、 铅、 镉、 镍、 铬检测和水中 Pb、 Cd、 As 检测两套数据用 H 进行判 断, 均属正常。其中采用四组数据分发不同参加单 位的上报数据 H 值平均值为 0. 985, 从而证明了 H 判据的合理性。表 4 还列举了沉积物、 化妆品、 粮食 大米 及茶叶中重金属检测能力数据汇总结果。 用 H 判据进行判断, 大多数重金属目标标准偏差基 本上在正常范围, 仅有部分能力验证计划项目中 Cd、 As、 Pb 精密度数据数值有些偏高, 导致 H > 2。 这些数据表明, 部分实验室对相关样品中的 Cd、 As、 Pb 的检测能力有待提高。这些结果与专业判断 相符。 表 4 结果表明, 借助 Horwitz 经验模型可以判断 能力验证数据统计分析结果的合理性, 并能有效地 识别并防止由于某种原因导致对能力验证结果评价 失效的情况。 4结语 经水样、 土壤、 沉积物、 化妆品、 粮食、 茶叶等检 测能力验证项目数据验证, 描述分析物浓度与再现 性标准偏差之间函数关系的经验模型及其 H 比值 判据, 可用于识别能力验证数据统计分析结果的可 信度, 以保证判断能力评价结论的合理性, 方法简便 有效。用于验证 H 判据的 13 套数据中, 3 套数据部 分检测项目统计分析结果存在问题, 其他 10 套数据 正常, 验证结果与专业经验判断相符。当目标标准 偏差偏小, 其数值与经验模型计算值的比值 H <0. 5 时, 为确保所有参加 CNAS 能力验证活动的实验室 获得公平的评价, 建议采用迭代法代替四分位法来 计算目标标准偏差 sR , 或用经验模型计算结果代 替实验值计算 Z 值。有关四分位法与迭代法计算 结果的比较将另文发表。下一步的研究工作计划是 用更多可靠实验数据不断完善经验模型。 声明 本文作者特别声明, 本文提出的判据仅是一 种数据分析方法探索, 不代表中国合格评定国家 认可中心的观点。 5参考文献 [ 1]中国合格实验室评定委员会. CNAS GL02 2006, 能力 验证结果的统计处理和能力评价指南[ S] . [ 2]Horwitz W. uation of analytical s used for regulation of foods and drugs[ J] . Analytical Chemistry, 1982, 54 67A -76A. [ 3]Massart D L,Verbeke J S,Heyden Y V. Benchmarking for analytical s The horwitz curve[J] . LC- GC EUROPE, 2005, 18 10 1 -4. [ 4]Boyer K W, Horwitz W, Albert R. Interlaboratory variability in trace element analysis[ J] . Analytical Chemistry, 1985, 57 454 -459. [ 5]Thompson M. The amazing Horwitz function[ R] . AMC Technical Brief No 17. 2004. [ 6]鲍蕾, 包振民, 吕宁, 金莹, 梁成珠, 昃向君, 张艺兵, 门爱军, 许艳丽, 吴振兴, 孙静克. 中国出口花生黄曲 霉毒素检测能力验证研究[J] . 食品科学, 2009, 30 24 381 -384. [ 7]Thompson M. Recent trends in interlaboratory precision at ppb and sub- ppb concentrations in relation to fitness- for- purpose criteria in proficiency testing[J] . Analyst, 2000, 125 385 -386. [ 8]Heyden Y V,Verbeke J S. Set- up and uation of interlaboratory studies[ J] . Journal of Chromatography A, 2007, 1158 158 -167. [ 9]中国科学院地质与地球物理研究所. 微量元素分析 实验室, 测定结果的国际对比[ EB/OL] . http ∥www. igg. cas. cn/jgsz/zcxt/sygcxt/ggsys/wlys/200908/t20090804 _2312309. html. [ 10]李玉武, 狄一安, 孙海容, 曹实, 任立军, 周昊, 郭婧, 杨勇杰, 王斗文. 用经验模型评估环境样品测量不确 定度[ J] . 中国无机分析化学, 2012, 2 1 1 -8. [ 11] Thompson M, Lowthian P J. The Horwitz function revisited [ J] . Journal of AOAC International, 1997, 80 3 676 - 679. [ 12] Thompson M, Ellison S L R, Wood R. The international harmonizedprotocolfortheproficiencytestingof analytical chemistrylaboratories IUPACTechnical Report [J] . Pure and Applied Chemistry,2006,78 1 145 -196. [ 13] 甘露, 王苏明, 吴晓军. 砂质土壤组分检测能力验证 结果分析[ J] . 岩矿测试, 2007, 26 5 409 -412. [ 14] 孙屏, 于利军. 大米中镉的测定能力验证[ J] . 粮食与 饲料工业, 2009 10 46 -48. [ 15] 李海峰, 史乃捷, 王军, 唐一川, 马联弟. 聚类分析与 稳健统计方法对 CNAS T0402 数据处理的比较和 分析[ J] . 现代农业科技, 2009 6 258 -263. [ 16] 冯仁丰. 再谈我对不确定度的看法[ J] . 临床实验室, 2012, 6 6 69 -72. [ 17]ISO 13528 2005 EStatistical s for Use in Proficiency Testing by Inter- Laboratory Comparisons [ S] . 699 第 6 期 岩矿测试 http ∥www. ykcs. ac. cn 2012 年 ChaoXing
展开阅读全文

资源标签

最新标签

长按识别或保存二维码,关注学链未来公众号

copyright@ 2019-2020“矿业文库”网

矿业文库合伙人QQ群 30735420