Extending the Collaborative Online Visualization and Steering Framework for Computational Grids with Attribute-based Authorization

使用基于属性的授权机制对计算性网格的协作在线可视化和引导框架进行扩展

摘要

合作在线可视化和引导（COVS）已经成为了引导一个并行仿真实验并动态改变其参数或者仅仅通过可视化来给地理分散的合作者共享仿真结果的一项重要技术，特别是在由高性能计算（HPC）驱动的网格基础设施中。在较前的工作中，我们已经给出了一个基于UNICORE网格中间件（DEISA中使用此中间件）的COVS框架的参考实现。本文列出了COVS在框架设计和实现上的现有限制，包括不具有细致授权的能力等，而这种授权能力在合作COVS会话中是必需的。这些能力使用终端用户的诸如角色、项目成员关系或者参与专有虚拟组织（VO）等个人信息。我们概述了解决方案并且给出了一个使用属性授权机制的扩展框架的设计与实现，如最近广泛使用的基于安全断言标记语言（SAML）的虚拟组织成员关系服务（VOMS）等属性授权机制。

1. 简介

世界范围内的网格基础设施如DEISA、EGEE、OSG和TeraGrid提供了各种各样的网格服务，以实现用于e-science的大规模资源共享。虚拟组织允许跨越组织边界共享这些资源，并且能够有效的利用提供的诸如超级计算机或集群等网格计算资源。许多虚拟组织和网格基础设施内部的科学研究程序着力于物理、生物、化学或其他特定领域过程的仿真。现有的许多网格基础设施如DEISA或TeraGrid，由于高性能计算的驱动，通常使用并行计算技术（MPI[24]，OPENMP[10]）运行网格程序来仿真上述过程。这些仿真的结果通常有一个分离的后续处理步骤，例如，在可视化程序中查看仿真结果等。基于这些中间结果，可以在另一个计算周期中改变仿真参数。

为了提高e-scientists的有效性，合作在线可视化和引导（COVS）技术尝试同步仿真过程和仿真结果可视化。在线可视化意味着e-Scientists可以立即观察到仿真过程中的处理步骤,进而允许计算性引导在超级计算机运行时引导仿真的计算。在此上下文中，在较前的工作中，我们已经给出，当在诸如DEISA等UNICORE网格中使用一个COVS框架[22]，e-scientists的有效性能够通过改变强安全环境和协作的基于web服务的特性来获得长远的提高。在本文中，我们讨论了地理分散的可视化会话中面临的挑战，引出了对细致授权机制的需求。在现有的网格中，终端用户的诸多属性如VO、组成员关系、不同的角色和能力等都是可用的，但COVS框架仅限于基于身份标识的授权认证机制（如使用X.509证书），本文给出了一个允许基于属性的授权认证机制的扩展。

本文组织方式如下，在回顾计算性网格的可视化和指引能力后，第二部分介绍了COVS框架在UNICORE中的实现并且列出了该实现对细致授权机制的限制。第三部分描述了哪些技术符合基于属性的授权认证机制并且能够在现有的网格环境中使用。基于这些技术，我们在第四部分给出了我们对COVS架构的扩展，第五部分描述了两个科学程序作为这个新特性的用例。最终，在第六部分回顾了相关工作，第七部分给出了我们的结论。

2. 协作在线可视化和指引框架的限制

协作在线可视化和计算性指引（COVS）框架使得网格程序具备了交互能力（如计算性指引）和可视化反馈机制。在早期工作中[26]，我们给出了一个基于可视化接口工具包（VISIT）[13]的COVS技术实现原型和一个被称为计算资源统一接口（UNICORE）[28]的DEISA的网格中间件。此后，该方法被用于更广范围的COVS框架[23]，随后我们在Grid 2007会议上将之发表[22]，该方法具有较好的易用性和较高的性能。最近，我们深入研究了[21]在UNICORE中CVOS框架实现的计算性指引能力的影响[21]，该UNICORE常用于的大规模DEISA HPC系统（如IBM BlueGene/P JUGENE，共有65536个处理器）。

现有COVS框架的架构如图1所示，图中给出了一个有两个地理上分散的参与者（如客户A和客户B）合作的情景。两者都运行一个科学可视化程序，外加一个COVS网格组件插件，该插件用于扩展GPR UNICORE网格客户端[25]。网格客户端用于访问两个COVS服务，该服务用UNICORE的Web服务资源框架（WS-RF）[1]的实现的工厂模式实现。因此，客户端是用来调用COVS工厂服务，该工厂服务创建了可以通过COVS服务访问的COVS会话资源。一个会话资源的实例代表一个管理不同参与者的合作可视化会话，对不同参与者的管理通过控制VISIT合作服务器和VISIT复用器来实现。VISIT合作服务器用于在参与者之间交换信息，交换通过使用SSH的专用连接完成，VISIT复用器负责通过SSH专用连接将仿真的结果分发给n个参与者。这些连接实用UNICORE网格中间件的强安全特性创建，在[26]中有关于这些连接的详细描述。总的来说，仿真实验的科学数据通过二进制加密的安全专用连接传输以达到令人满意的性能，使用Web服务的仿真工作的提交和合作会话的管理的开销就整体性能而言并不是主要的。

图1 UNICORE网格中间件中COVS框架实现

尽管我们的框架实现已经广泛使用，在提及细致的授权认证能力时，我们最近发现了该框架的一些限制，正是这些限制驱使我们提出了本文中的方法。在典型的场景中，COVS服务常用于一个虚拟组织内部，而不是用于许多地理分散的虚拟组织成员之间，在一个COVS会话中，这些成员通常有不同的角色并且拥有不同的能力。更详细地，如果一个人使用我们的框架并且与其他n-1个人共享一个并行仿真实验的可视化视图，那么我们称此人扮演一个participator角色。当一部分人扮演参与者角色时，另一部分人可能同时扮演若干个角色。这意味着我们的框架对某一个角色提供的功能不同于对另外其他角色提供的功能。例如，只有master角色的participator能够使用框架来提交或者控制一个运行在计算性网格资源上并行仿真。因此，其他参与者不需要（也不应该被允许）提交一个仿真，因为一个已经提交的并行仿真的结果将会被共享给其他参与者。 为了避免任何终端用户都可以加入一个会话，我们定义了approver角色，该角色决定哪些参与者可以加入到可视化会话中。approver角色基于候选人的不同角色和预定义的能力来决定谁能够加入到会话中。此外，在一次合作会话中,引导并行仿真的技术能力产生了在指引过程中对参与者互斥的需求。指引过程需要仿真领域的知识，因此，只有小部分参与者能够扮演领域专家的角色，并且只有这一小部分人被允许改变仿真的行为。由此得出，在同一时间，在一个COVS会话中只能有一个参与者扮演steerer的角色并控制并行仿真，这样才能保证仿真的

发本新书，《走出软件作坊》，呵呵！

 

欢迎下载阅读。

整理了一下浪潮之巅，1-14章，pdf和doc版本。

分别在namipan和fs2you有下载。

pdf：

浪潮之巅 pdf

 

doc：

浪潮之巅doc 1 2

用户兴趣矢量的计算方法

用户模型的定义：

用户模型的定义用户模型不仅仅是对用户兴趣的准确描述，作为以计算机平台为依托的个性化服务系统，可计算性是它对用户模型的基本要求。也就是说，个性化服务系统中的用户模型不是对用户个体的一般性描述，而是一种面向算法的，具有特定数据结构的形式化的用户描述。

用户间的兴趣相似度的定义：

用户兴趣相似度是衡量2个用户兴趣矢量之间近似程度的一个指标。用户兴趣相似度是一个数值，取值范围在[0,1].规定:一个用户与其自身的兴趣相似度为1.

用户模型：

【1】用户兴趣建模方式

现有方法综述

A．基于模板的用户建模方法

是将用户的个人信息划分为一些模板。并通过这些模板帮助系统预见用户的行为的用户建模方法。应用模板可以为具有不同背景知识的用户分类进而为用户提供合适的信息和建议。尽管这种方法对于快速生成系统中的用户模型是一种很有效的技术，但也存在着明显的问题：模板的工作是寻求用户特征与数据库中项目的描述的匹配。如果这样的描述本身有同题的话，就可能导致系统建模的错误。实际上，这种描述往往是设计者人为进行的，难以避免主观性和片面性。因此，为了使模板技术具有更加广泛的实用性，这种描述必须是自动生成的。

B．基于机器学习的用户建模方法

机器学习是智能系统不断地积累经验以改善系统性能的过程，主要的学习方法有归纳学习方法和分析学习方法。早期使用机器学习的用户建模方法，主要是用来捕获用户行为所隐含的认知过程和普通用户与专家之间技能的差异；目前的研究重点则是放在了对用户行为本身的模式和偏好上。机器学习是用户模型隐式获取方法中最常用的一种。它的目的在于减少用户的直接干预，并且增强用户模型的话应性。统计相关分析法是用户建模过程中机器学习的主要方法，它将用户的行为和上下文关联起来。以后通过上下文就可以检索到对应的行为，从而起到预测用户行为的作用。机器学习的优点在于不需要用户的干预，适合于对用户模型进行定期的动态更新。其存在的同题主要包括：需要大量的数据集合；需要标定的数据；概念漂移；计算复杂等等。

C．基于贝叶斯网络的用户建模方法

在用户建模的过程中，常常会有一些不确定的因素。因此就需要一些能在不确定因素下还能够进行推理的方法。概率技术，尤其是贝叶斯网络是解决上述问题的有效方法。贝叶斯网络又称为概率推断网和信度网。是用来表示变量同连接概率的图形模式，是一个有向无环图。它基于如下假设：人们感兴趣的变量值受概率分布的控制。结合观察数据，对退些概率进行推算便可做出最优的决策。以前贝叶斯网络大多用于对静态数据进行处理，近年来将贝叶斯网络用于动态变化的不确定性领域的兴趣正在增加。此方法正在以其独特的不确定性知识表达形式、丰富的概率表达能力、综合先验知识增量学习特性等成为目前用户建模众多方法中最为引人注目的焦点之一。

D．基于神经网络的用户建模方法

神经网络是反映人脑结构及功能的一种抽象数学模型，一个神经网络是由大量神经元节点互连而成的复杂网络。用以模拟人类进行知识的表示与存储以及利用知识进行推理的行为。一个基于神经网络的用户建模系统是通过学习获取知识后建立的。从本质上讲，神经网络的学习是一种归纳的学习方式，它通过大量实例的反复学习，由内部自适应过程不断修改各

神经元之间相互的权值，最终使神经网络的权值分布收敛于一个稳定的范围。

E．基于逻辑的用户建模方法

是指能够建立一个具有推断有关用户假设的用户模型的建模方法。

F．基于模糊集的用户建模方法

是指应用模糊数学的处理方法进行用户建模的方法。

使用不同技术的建模方法比较：在上述用户建模的方法中，基于逻辑的方法、基于贝叶斯网络的方法、基于神经网络的方法和基于模糊集的方法都涉及到用户建模过程中的具体知识表示方法，其中贝叶斯网络的方法最常用。例如微软的Office助手就采用了这种方法(贝叶斯推理算法)来推断用户的意图。基于机器学习的方法和基于模板的方法实际上并不是知识表示方法。而是知识获取和利用的方法，但是它们必须以具体的知识表示为基础。基于模糊集和基于神经网络的方法都是为了表示与处理用户模型中不确定性知识丽引入的方法，但两种方法从概念到技术都不相向。基于模糊集的方法是模仿入脑的逻辑思维，而基于神经网络的方法是模仿入脑的结构来映射输入特征与输出结论的非线性关系。两种方法可以结合起来，各取所长，互相补充。

方法

基于VSM、基于神经网络、基于逻辑、基于贝叶斯、基于模糊集、基于机器学习

：使用VSM（Vector Support Machine）来建立用户模型

1) 在VSM中，用户兴趣模型由兴趣特征及其相应的权重对组成，能够表示每个兴趣特征在用户兴趣模型中的重要程度，而不只是对该特征存在与否的描述。这样有利于在对用户的多种兴趣进行描述时，各种兴趣之间的比较以确定用户当前的真正兴趣。

2) 由于VSM广泛应用于特征表示，在本文实现的原型系统中，也使用了VSM作为文本和领域类别的类向量的表示方法。用VSM 表示用户兴趣模型，有利于文本、领域类别和用户兴趣模型之间的分析与计算。

3) 使用VSM表示用户兴趣模型，可以利用向量间的余弦距离来计算用户兴趣模型的相似度，其运算速度相当快，有利于比较用户间的兴趣相似度 。

4) 对兴趣特征的权重进行调节就可以改变该特征在用户兴趣模型中的重要程度，这样对于分辨长期兴趣和短期兴趣以及它们之间的互相转换是相当方便的。

例二

使用了用户感兴趣的领域类别、用户感兴趣的关键词和信息来源这三个方面作为用户的兴趣特征。

用户兴趣模型I可以表示为：

IC表示科研用户感兴趣的领域类别的特征向量，ni为用户感兴趣的领域类别的序号，实际对应于第ni个领域类别的类向量Cni；IK表示科研用户感兴趣的关键词的特征向量，Ki为用户感兴趣的关键词；IS表示科研用户经常访问的信息来源的特征向量。

IC从粗粒度描述了用户的兴趣，它表示了用户兴趣的一个范围和方向。

IK从细粒度描述了用户的兴趣，它以关键词或关键词的组合来表达用户对信息的查询或者用户想获取的信息的特征。

方法二：基于贝叶斯网络模型的用户兴趣联合推送

1） 目标表示：是指从目标信息（如用户兴趣或文档）中选取一些特征项（如术语等），用这些特征项及其在目标信息中的重要性来代表目标信息。

VSM方法：

（1） 选取一组适合于表示目标信息的术语（T1，……， Tn）

（2） 对于目标信息F，根据术语Ti在F中的重要程度求出权值Wi，i=1，……，n，然后把目标信息F用术语特征矢量（W1，……，Wn）表示出来，Wi表示Ti在F中的权重。我们根据术语在文档中的属性及其文件频度和反频度将文档表示为术语特征矢量。如果术语Ti出现在文档的标题或作者中，那么其权重为1。如果术语出现在文档F的正文中，则根据术语的文件频度和反频度计算其权重，计算公式为：

其中，tf(i)为术语Ti在文档F中出现次数，df(i)是包含术语Ti的文档数，n是全部文档数目，tfmax是文档F中出现最多的术语的出现次数。

2） 用户兴趣建模

（1） 通过用户主动提供自己的兴趣来得到用户的初始兴趣模型

（2） 通过用户对搜索结果的反馈信息来更新用户的兴趣模型

（3） 在用户没有明确参与的情况下，系统通过观察用户行为来更新用户的兴趣模型，并将用户阅读过的信息元数据保存起来。

方法三：基于神经网络的方法（参见文献 基于动态自组织映射的用户兴趣建模方法）

(1) 分词提取关键字；

(2) 采用词频——逆向文档频率(Term Frequency-Inverse Document Frequency, TF-IDF)术从经过切词、还原或停词处理后的文本中提取表征文本的特征。具体做法是，将每一篇文本文档表示成向量空间中的一个向量，向量的每一维由文档d中的一个单词wi和其权重组成。每个单词的权重值di通过式(1)计算产生:

其中,TF(w;,d)是词频，表示单词wi在文档d中出现的次数; |D|是文档总数量; DF (w;)是文档频率，表示单词wi至少在其中出现一次的文档的数量; log(|D| /D F(w,))是单词wi的逆向文档频率，表示包含单词wi的文档数量越多，wi在区分文档中的作用越小。

经过上述步骤后，文本信息集中的每一篇文档都能够用一个以单词为特征的向量来表示。由于一篇长文档转化成向量后可能导致很高的维数，出于有效性和计算性的双重考虑，通常选用80^-120个具有最高TF- IDF权重的单词作为关键词来表征一篇文档，即表征用户偏好特征。

DS OM 神经网络以成长型单元结构(Growing Cell Structures, GCS)为基础。GCS是一类网络结构可变的自组织映射(Self – Organizing Map, SOM)神经网络。DS OM 方法将用户兴趣建模过程看成是一个增量聚类过程。该过程起始于输出层为一个三角形的网络互连结构，即初始类别数为3。对于用户感兴趣的每一篇文档，网络计算其特征向量与所有输出神经元权向量之间的欧氏距离。如果存在某些距离值小于预先给定的一个距离闭值0，则网络根据基本SOM的竞争规则，将文档归人与其距离最小的神经元(获胜神经元)所代表的类中，同时调整获胜神经元及其直接相邻神经元的权向量，使与该输入相似的模式再次出现时，这些神经元更加容易获胜。

DSOM方法分别通过网络权重调整、增加新神经元和删除旧神经元3种类型的操作，学习并跟踪用户的多种兴趣及兴趣变化。

我的选择：采用支持向量机模型，采用TF-IDF函数来计算关键词的权重

词频——逆向文档频率(Term Frequency-Inverse Document Frequency, TF-IDF)（见文献Automatic Text Processing 1989）

考虑三个层面：

用户的多兴趣（用户的兴趣是多种多样的，模型通常只能反映出用户的主要兴趣，因此如何选择和决定哪些兴趣是用户的主要兴趣需要考虑）

用户的长期兴趣和短期兴趣

【3】用户兴趣的更新

用户的兴趣和信息需求在一定时间内具有相对的稳定性，但又不是一成不变的。当用户兴趣及信息需求发生改变时，便需要相应的对已有的用户模型进行优化和更新。

     知识共享可以定义成：知识从一个人、群体或组织转移或传播到另一个人、群体或组织的活动。其实知识管理就是通过知识共享,运用集体的智慧提高组织的应变能力和创新能力,而知识共享是知识管理的核心。由于组织内外部环境的日益复杂及知识的独特属性,使得组织内知识共享过程受到由此引起的各种不确定因素的影响,从而阻碍了知识共享的有效开展,给组织的知识共享带来了风险。在阐述了知识共享的含义与作用的基础上,详细分析了影响组织内知识共享成败的四个方面风险,即组织结构风险、组织文化风险、关键人员风险和知识技术风险,并针对这些风险给出了较为具体的风险控制策略。
     还有一个比较接近企业的解释：知识共享是指个体知识、组织知识通过各种交流手段为组织中其他成员所共享， 同时，通过知识创新， 实现组织的知识增值。知识只有通过相互交流、学习、共享才能得到发展， 知识的共享范围越广， 其利用、增值的效果越好。知识只有被更多的人共享， 才能使知识的拥有者获得更大的收益。
知识管理共享最主要的内容就是知识共享，在文章中我们将不严格的区分知识管理共享与知识共享。知识共享能够提升企业的竞争力和快速响应市场，它能为企业降低成本。知识共享平台是建立在企业的网络上，包括企业的局域网、基于VPN的广域网，或者是其他的网络，它也是有效的知识管理系统的一部分-l一，基于网络计算的知识获取、存储、处理与共享，以及数据库、知识库和信息系统的安全是知识共享系统所需要的。因此安全保密和共享知识的激励也是知识共享中要解决的问题，知识共享的成本也就包括安全保密成本和激励成本。从构成知识共享平台来看，我们认为知识共享的成本因素应包括如下因素：
    由于要进行知识共享而增加的硬件的投入，如网络服务器、路由器、交换机和其他网络设备，工作站接人知识共享平台的设备；系统软件的购置，如网络操作系统、数据库管理系统、邮件服务系统、办公工作流处理系统等；管理应用软件的开发，如前台开发工具、基本的数据处理管理软件、知识获取、处理、存储、共享、传输等的软件的开发。企业的流程重组而带来的管理变更发生的转换成本，如部分人员因知识共享而失去岗位需要安置和新设置的管理知识共享平台的岗位的成本；知识的专用性与敏捷性矛盾的成本；有可能泄露商业知识秘密(因部分知识共享)的风险成本；安全保密成本，即为信息共享系统平台建立采取的技术和管理的安全保护措施成本，其目的是保护企业的计算机网络系统中的软件、硬件数据与知识，防止其因偶然或恶意破坏导致数据丢失。

写好论文的十大技巧

作者：Jim Kurose

1.         每篇论文都讲述了一个故事。

Ø         假设你是一个创业者，这个故事就是你的创业计划，你如何利用搭乘电梯的短暂时间给一位风险投资家讲述你的故事？换句话说，你的“电梯陈述”（elevator pitch）是什么？

Ø         这个故事讲的不是你做了什么，而是你要展示什么。有没有新的想法，新的见解，它们为什么有趣、重要？

Ø         为什么别人会对你的故事感兴趣？发现了普遍的真理，触及了热点话题，让人吃惊，还是有出人意料的结果？

Ø         了解你的故事！

2.         按照自顶向下的顺序写作

Ø         计算机科学家（以及大多数人）以这种方式思考问题

Ø         先陈述宽泛的主题或想法，然后再进入细节。一定要交代背景！

Ø         即使进入了细节，也要自顶向下来写！

3.         Introduction：至关重要，已经程式化

Ø         如果读者没有被介绍部分打动，论文就失败了

Ø         结构：

²        第1段：写作动机：很宽泛，问题领域是什么，为什么重要？

²        第2段：缩小范围：你具体考虑的问题是什么？

²        第3段：“In the paper, we ….”：最重要的一段，写出你的电梯陈述

²        第4段：和其它研究结果相比，有怎样的不同/更好/相关之处？

²        第5段：“The remainder of this paper is structured as follows”

4.         掌握论文写作的基本知识

Ø         段 = 一些相关话题的句子的有序集合

Ø         每段头一句：为这一段设定背景；有可能起到承上启下的作用

Ø         段落中的句子应该扣住主题，按照逻辑关系进行陈述

Ø         不要在描述性的文字里混合不同的时态

Ø         只有一句的段落：慎用！

5.         将自己摆在读者的位置

Ø         Less is more：花些时间写得更简练

Ø         读者不应该花费太多精力去理解你的故事、背景、结果

Ø         需要一些路标性的文字让读者知道故事进行到哪里了以及相关的背景。

²        Good: “e.g., Having seen that … let us next develop a model for …. Let Z be ….”

²        Bad: “Let Z be”

Ø         了解读者知道什么，不知道什么，想要什么，不想要什么。论文是为读者写的，不是为你自己。

Ø         一页又一页密密麻麻的文字会让人读起来索然无味

²        避免使用难以辨认的字体和太小的页边距

²        利用图表在文字间开辟一些空白区域

Ø         是否有足够的信息（包括背景知识）让读者理解你所写的

²        没有人拥有和你一样多的背景知识

²        没有人能读懂你的心思

²        有没有未定义的术语/符号？

6.         没有人对这个话题和你一样感兴趣

Ø         所以你最好表现得很有兴趣

Ø         告诉读者为什么他们应该对你的故事感兴趣

Ø         别逼读者读你论文中的40幅图

²        考虑一下你想用图传递的主要信息

²        不可能探讨整个参数空间

Ø         别逼读者读满篇的方程式

²        将很长的推导或证明放在附录中，只在正文部分提供摘要

7.         谨慎地陈述结果

Ø         清晰地说明假设（见8）

Ø         对实验/仿真的描述：需要足够的信息来重现实验以及相关描述

Ø         仿真/测量：你的结果的统计学性质

Ø         试验结果有代表性吗？还是说只是为了达到你的目的而进行的一个特殊用例

8.         不要夸大你的结果，也不要太保守

Ø         夸大型错误（如果只是针对一个/很少/有限的用例做出的结果）：

²        “We show that X is prevalent in the Internet”

²        “We show that X is better than Y”

Ø         保守型错误：没有认识到你的工作引申出来的意义

²        如果结果不引人注意，读者就没有兴趣

²        “rock the world”

9.         学习写作的艺术

Ø         高超的写作技巧可以让你拥有“不公平的优势”

Ø         写作技巧关系到你的论文能不能发表在顶级的期刊上

Ø         强烈推荐：

²        The Elements of Style, W. Strunk, E.B. White, Macmillan Publishing, 1979

²        Writing for Computer Science: The Art of Effective Communication, Justin Sobel, Springer 1997.

Ø         你认为谁是你们领域最会写作的：学习他们的风格

10.     写作需要花费一定时间

Ø         给自己一些时间来构思、写作、审查、修改论文

Ø         让别人阅读/审查你的论文然后给你反馈

²        了解读者的视角

²        找一个好的论文写手或者编辑评价你的写作

Ø         如果你在最后期限的三天前才开始动笔，而这时实验结果还正在生成，那你的论文根本没有希望完成

原文地址：http://www-net.cs.umass.edu/kurose/talks/top_10_tips_for_writing_a_paper.ppt