近代数据处理理论与方法近代数据处理理论与方法近代数据处理理论与方法近代数据处理理论与方法长安大学地质工程与测绘工程学院长安大学地质工程与测绘工程学院张张 勤勤1、现实世界的模型化、现实世界的模型化 用正确的数字化方法描述现实世界用正确的数字化方法描述现实世界2、模型的解算方法、准则、模型的解算方法、准则 数据处理方法数据处理方法、平差准则、平差准则3、质量评价、质量评价 精度、可靠性精度、可靠性4、数据的挖掘、数据的挖掘从数据中提取隐含、潜在的信息从数据中提取隐含、潜在的信息 1.经典平差经典平差 1.1最小二乘原理最小二乘原理 测量平差：求含有随机误差的观测值及其函数的平差值即求定未知参数的最佳估值.最小二乘原理：观测值改正数的平方和等于最小,如下所示:函数模型函数模型是描述观测量与待求参数间的数学函数关系的模型，是确定客观实际的本质或特征的模型随随机机模模型型是描述平差问题中的随机量（如观测量）及其相互间统计相关性质的模型平差数学模型平差数学模型1.2 测量平差数学模型测量平差数学模型高斯高斯马尔柯夫模型：马尔柯夫模型：马尔柯夫（1912）测量平差模型：函数模型：随机模型：（观测值应满足的随机性质）Q，D，P是 或L的对角阵.由于绝大多数情况真值不知所以 不知，用改正数V代替 :V=AX-L （间接平差函数）R（A）=m （列满秩）我们根据高斯的最小二乘原理可以得出最优无偏估计量:无偏性：最优性：1.3 经典平差主要研究内容：经典平差主要研究内容：对于未知参数独立独立（列满）解算法方程组。
简化方法主要有:填表（高斯改化法）史赖伯法则 克里格尔分区法 赫尔默特平差法 克拉索夫斯基平差法 经典平差模型R（A）=U R（Q）=n X为非随机参数 经典平差公式2 近代测量平差进展近代测量平差进展2.1 前言前言 数据采集手段现代化、自动化、高精度 随着电子计算机，矩阵代数，泛函分析，最优化理论以及概率统计的发展和完善,经典平差逐渐发展到近代平差.2.2 相关平差：相关平差：（1947年）田斯特拉（Tienstla）高斯马尔柯夫模型,Q，D，P是满秩的.观测独立 相关,直接观测值 导出量 相关平差对测量平差理论研究有重大促进作用，推动了测量平差的发展,它有着强的概括性，和统一的形式当B=-E,C=0时,间接平差（参数平差）()当A=0,C=0时,条件平差：()当B=-E时,带约束的间接平差：当C=0时，带未知数的条件平差：()当P，Q对角阵则对应经典平差；当P，Q满秩阵则对应相关平差；相关平差使最小二乘原理平差概念广义化，是测量平差理论的一大进展2.3 秩亏平差：秩亏平差：（1962年）迈塞尔（Meissl）A列满秩 奇异阵经典平差要求：必要的起算数据（基准）；使平差结果强制附加在起算数据上（A列满秩)(最小二乘）唯一解；系数A奇异阵 最小二乘，无唯一解；增加新的求解条件唯一解；普通秩亏自由网平差：在 最小二乘，最小范数条件下加权秩亏自由网平差：在 最小二乘，加权最小范数条件下 拟稳平差：将网中的未知数分为两类:是非稳定点，是稳定点；在 部分参数最小范数1964年高德曼（Goldmen）蔡勒(Zelen)：Q，P满秩 Q，P奇异（奇异权逆阵的最小二乘）1971年劳（Rao）广义高斯马尔柯夫2.4 最小二乘滤波、推估和配置最小二乘滤波、推估和配置 最小二乘平差：X未知参数是非随机的量，不具有随机的性质1969年克拉鲁普（Krarup），随后莫里兹（Moritz）提出了带随机性的未知参数的平差；根据所含未知参数的性质的不同分为：滤波：未知参数信号Y与观测值建立了函数模型的滤波信号；滤波推估:除了含有滤波信号（未知参数）还含有：推估信号 ；未知参数与观测值没有建立函数模型。
最小二成配置（拟合推估）：即包含最小二乘中的非随机未知数，又包含随机未知参数（信号）2.5整体大地测量：整体大地测量：传统数据处理：平面与高程位置分开处理，没有充分发挥不同类 观测数据对平差结果的效益沃尔夫1963导出了符合三维大地测量的误差方程式海兹1973提出了联合水准数据的平差方法霍丁的（Mathematical Geodesy）是三维大地测量的基本文献水平方向，天顶距，斜距，天文经纬度，方位角，水准数据 GPS测量重力数据，物理量和几何量的相互整体平差时间动态平差2.6 随机模型的验后估计随机模型的验后估计经典平差研究：平差函数模型的建立研究平差方法，方程 式的建立；近代平差研究：随机模型观测值的权（观测值之间的精度 比例）近代：不同类多种观测值，不同精度的观测值；验前方差：平差前根据一些条件确定的可能不能如实反映测量 精度，各观测量之间的权比不合理验后方差：通过平差估计方差方差分量估计达到提高 平差结果精度，比较可靠地确定各观测量之间的权随机模型的验后估计的方法随机模型的验后估计的方法有有:赫尔默特估计法：建立各类观测值 与对应的 的关系式，通过平差求得的 ,求 ,MINQUE估计法（Rao 1970）：最小范数：根据估计应具有的性质：无偏性，不变性，最小范数。
把满足这些性质的条件变成一个求最小迹的极值问题，求极值的解BIQUE法（Koch 1980）库贝克（Kubik）最大似然法：假设随机变量服从正态分布，然法函数可表示为方差协方差的数学期望的函数，然后使该函数为最大2.7考虑系统误差、粗差的平差方法；考虑系统误差、粗差的平差方法；观测误差：按性质分：粗差 、系统误差 、偶然误差 ,在平差前，不可能完全被剔除、消除，因此不符合正态分布的要求，仍用最小二乘，将使平差结果失真（航测、GPS）则须考虑考虑系统的平差方法：在仅含有偶然误差模型中加入一些附加参数（系统参数）以补偿观测数据中存在的系统误差对结果的影响平差模型为：S为附加参数向量剔除粗差的平差方法；测量中除了有偶然误差，还有粗差，导致平差结果失真、不可靠传统中采用在测量工作中剔除粗差例如，增加多余观测，闭合差检验检验方法，统计检验粗差，仅说明有无粗差无法剔除粗差1968年，巴尔达提出“数据探测”法和可靠性理论可靠性（理论上研究）外可靠性：平差系统发现观测值最小粗差的能力内可靠性：不可发现的最大粗差对平差结果的影响（优 化设计中用）定网形态，观测量多少测量实用上，研究在平差过程中自动剔除粗差方法,即粗 差定位粗差定位分为两种：粗差归入函数模型的数据探测法（识别法）粗差归入随机模型的稳健估计法（调节法）（Robust）优缺点：识别法：可以剔除粗差。
依靠V最小二乘将大改正数分 配到许多观测值上调节法：不能剔除粗差，改正数、权合理分配2.8 有偏估计：有偏估计：经典平差最小二乘原理最优无偏估计当平差中含有较多未知参数的大型线性模型，未知参数可能近似线性相关，法方程性态不好（病态）接近奇异，按最小二乘平差将导致虽满足最小二乘最优条件方差最小，但值都很大，精度差，相当不稳定有偏估计：准确度：（精度好，准确度差）偏差：有偏估计：基本思想：方差和偏差都要小，或适当增大，换取的减小岭估计：广义岭估计、主成分估计、特征根估计2.9大地网优化设计大地网优化设计传统大地网设计，仅凭经验进行，只要满足要求，并不最优科学随着电子计算机、数理统计、矩阵代数、优化方法在测量中的应用，现在已经可能采用科学的方法，设计出满足精度要求、成本低、可靠性强的最优大网，此过程称为大地网优化设计大地网优化设计与最小二乘平差紧密相关，统一起来平差测量成果的后处理设计测量前的计划通常，将大地网最优化设计按其过程分为四类：零类设计（ZOD）选择大地网基准一类设计（FOD）大地网图形设计二类设计（SOD）观测权的设计三类设计（THOD）改进已有大地网的图形和观测权此分类并不合理优化准则：精度标准，可靠性标准，费用标准。
总结：总结：经典平差：高斯马尔柯夫模型：(无偏估计）X非随机，L随机独立，A列满秩，P对角方阵；近代平差：使观测值概念广义化L随机独立随机相关，P对称方阵（相关平差）A列满秩A秩亏，秩亏自由网平差；X非随机参数具有各态经历性的平稳随机函数（拟合推估）最小二乘配置；仅考虑研究函数模型（各种平差方法）考虑研究随机模型（方差分量估计）；不考虑模型误差（系统差，粗差）顾及模型误差（附加系统参数的平差，可靠靠性理论，数据探测，稳健估计）无偏估计 有偏估计仅处理几何数据，物理数据联合（整体大地网平差）二维平差向三维平差发展；静态平差动态平差，考虑时间参数t(参数随时间的变化)；按经验设计大地网最优设计大地网（大地网优化设计）线性代数，泛函分析，近代回归分析，多元统计分析，随机数学，计算机理论参数估计准则：最小二乘估计；参数估计准则：最小二乘估计；参数估计理论发展：极大似然估计、极大验后估计、最有无偏估计、贝叶参数估计理论发展：极大似然估计、极大验后估计、最有无偏估计、贝叶斯估计、斯估计、P-范估计、信息扩展估计、半参数估计等范估计、信息扩展估计、半参数估计等近代测量平差的特点近代测量平差的特点测量平差理论：从以代数为主概率统计为主+近代数学；形成：概率统计学、近代数学与测量数据处理融合为一体数据采集方法：以现代手段为主，信息+干扰（偶然误差、粗差、系统误差），扩展了系统误差和粗差理论平差的最优化准则：从最小二乘 极大似然估计、极大验后 估计、最小方差估计、贝叶斯估计；产生了不少新平差方法：非线性平差、半参数法静态动态：数据采集的自动化。