Digital MarketingDecember 10, 202514 min read
    DP
    David Park

    什么是本地数据网关?定义、工作原理以及优势

    什么是本地数据网关?定义、工作原理以及优势

    What is an On-Premises Data Gateway? Definition, How It Works, and Benefits

    安装本地数据网关,以安全地将现场数据连接到云服务,并保持工作负载响应。 对于可靠的报告,选择支持您本地资源与云之间网络连接的网关,并聘请经验丰富的安装程序。这种选择减少了延迟、监控开销和多余的数据移动,同时您保持峰值使用所需的资源在控制范围内,并且从一开始就有清晰的成本意识。

    网关是一个基于软件的桥梁,位于您的本地服务器架构中。它运行在专用服务器或虚拟机上,并提供到云服务的安全通道。根据设计,它将数据保留在您的网络内部,并仅将必要的结果传输到云端。

    工作原理:网关作为 Windows 或 Linux 主机上的服务运行,并使用 TLS 与云端点通信。它认证应用程序和用户,仅传输授权数据,并将结果返回到仪表板。它监控连接性和吞吐量,帮助为波动工作负载分配资源,并基于供应商提供的镜像。它需要支持的操作系统和适当的网络规则,并且可以使用可信的安装程序部署以简化维护。

    优势:它通过减少大规模数据传输并启用本地预处理来降低成本。它启用与云仪表板的可靠网络连接,并为多个团队提供稳定的桥梁。有适合您安全态势的onyx硬件或虚拟设备选项。构建者和管理员可以搜索连接器并实施基本治理策略。有清晰的使用指导,以在扩展时保持流量在限制范围内。

    本地数据网关:快速参考

    在您的主账户下注册网关,以建立托管的安全连接,用于组织数据,并启用对更改的集中监控。此设置服务用户并保护凭据。

    在您的数据中心或可信站点内的专用服务器上安装网关,然后配置网络规则,以便它可以访问云服务端点。保持清晰的维护窗口,并监控健康指标以保持操作稳定。

    为负载共享和容错创建一个集群,并将其分配给以下用户组。集群使网关具有弹性,并确保当一个节点重启时无缝访问。

    连接模型使用网关作为本地数据源与云服务之间的桥梁。它执行查询并返回结果,具有强大功能和最小数据移动,保留现场存储的数据,并减少暴露。查询路径即使数据量增长也保持高效。

    遵循最佳实践以实现最佳吞吐量:限制每个网关的并发查询,缓存经常使用的结果,并设计查询以最小化流量。保持架构的砖块组织有序,以便操作保持可预测。

    使用最小权限账户注册凭据,强制执行强认证,并维护受控访问列表。这在组织数据景观发生变化时降低风险。

    数据管理:在网关过滤器后面存储敏感数据,并隔离存储的数据路径。网关应为多个源之间的查询提供单一连接点,简化治理和审计。

    遵循实用提示确保可靠性:监控主要指标,保持网关软件更新,并通过在负载增长时向集群添加额外节点来规划扩展。此方法在用户和数据源之间维护无缝性能。

    什么是本地数据网关?定义、工作原理、优势;网关执行流程

    在可信服务器上部署专用网关节点以实现最佳性能;在受控环境中启动试用以验证连接和成本影响。

    本地数据网关是运行在您本地服务器上的软件,在本地数据源和云服务(如 Microsoft 365 和 Power Platform)之间创建安全桥梁。网关在您的账户中注册,并从云端管理,在管理员控制台中的图标显示清晰状态。有关设置详情,请参阅 microsoft 文档。

    工作原理:安装在您网络中的节点上,网关维护到云的安全出站连接,并监听您使用的服务的数据请求。它以保护形式本地存储凭据,并使用它们访问配置的源,然后通过网关将结果传递回云服务。

    网关执行流程:云服务通过网关发送请求;网关针对您的账户进行认证;节点查询本地源;数据通过网关返回到云;服务应用结果并按计划刷新。此流程设计为具有弹性,具有自动重试和透明日志,因此一个源的变化不会中断其他源。

    优势包括在可能的情况下将数据保留在您的网络中,减少不必要的数据移动和带宽成本,并启用连接和凭据的集中管理。它支持多个源、协作的访客账户,以及随着数据足迹增长的简单扩展路径。使用网关通过将管理整合到一个托管服务下节省时间,并且您可以在不首先迁移数据的情况下在本地和云之间移动工作负载。

    最佳实践:选择连接到您主要账户的注册网关,在专用服务器上运行它,保持主机操作系统和网关软件最新,并记录文档中的每个更改以供未来审计。确保电源和网络冗余,规划故障转移,并在将更新移动到生产工作之前在试用环境中测试。监控管理员控制台中的性能,并跟踪相关更改以确保持续可靠性。

    后续步骤:注册网关,链接您本地服务器,并在将生产工作移动之前在测试环境中验证所有连接。

    定义:什么符合本地数据网关的资格

    当网关设计为在组织网络内部运行、安全地将本地数据源桥接到云服务,并为可靠的数据流进行管理时,它符合资格。它作为 Windows 服务运行,使用专用账户进行访问,并通过单一实例支持到几个源的连接器,从而启用对数据传输位置和访问方式的集中控制。

    关键标准包括位置、冗余和兼容性。在保持在线的 64 位 Windows 服务器或桌面安装,选择多用户企业工作负载的标准模式或单用户的个人模式。安装期间会出现设置窗口;点击提示以选择模式并提供恢复密钥。有专用设置窗口,您可以分析连接性时使用图标验证状态。它可以通过安全隧道连接到相关数据源,如 SQL Server、Oracle、SAP、SharePoint 和其他数据库,并通过同一桥梁将数据发布到云应用和服务,如 Power BI、Power Apps 和 Logic Apps,从而改善本地和云生态系统之间的兼容性。它支持 TLS 加密,并使用与组织账户对齐的服务账户,这有助于治理和控制。云服务需要许可证;网关本身免费,但通过云服务访问受保护数据使用许可证条款。如果由于网络阻塞无法连接,请检查防火墙规则,并确保端口和代理允许到云端点的流量。对于恢复配置,使用恢复密钥恢复并重新关联网关与云租户。

    组织应分析数据源并选择靠近关键源的位置,以实现减少的延迟和暴露。他们应选择网关通过标准连接器支持的相关数据源,并使用最小权限映射账户以限制访问。通过选择适当的网关并保持其更新,管理员在保留组织控制的同时维护本地源与云消费者之间的流。选择正确的网关配置文件有助于平衡安全性和可用性。您可以调整安全设置以符合政策要求。

    支持的数据源和连接器

    使用标准本地数据网关在网关集群模式下连接核心本地源:SQL Server、SQL Server Analysis Services (SSAS)、Oracle、IBM DB2、SAP HANA、SAP BW、MySQL、PostgreSQL、Access、Excel 和 ODBC 数据源。数据保留在本地存储,并按需和按计划刷新到云服务。从网关机器验证到每个数据库的网络访问,并确保网关服务账户具有必要的权限。Power BI 和其他服务中提供订阅刷新模型,从而启用可预测的使用窗口。虽然这覆盖了常见需求,但如果需要,请为专用 ERP 或 CRM 源规划直接连接。

    数据源在网关上定义数据源名称和有助于组织日志和策略的前缀。每个连接器在网关一侧运行 – 本地侧与云服务通信,云侧接收结果。网关可以填充报告和应用中的数据集,并根据源能力支持计划刷新和直接查询。对于更大的团队,部署集群以增加吞吐量和冗余,从而启用跨部门的的可扩展解决方案。

    性能和可扩展性:对于更大的数据集,部署网关集群以增加吞吐量并减少瓶颈。您可以扩展容量、管理并发,并设置刷新作业数量限制;这可以在维护高性能的同时减少后端系统的负载。系统使用缓存加速查询并改善连接性。如果您可能面临更新维护窗口,请在低使用期间安排它们。

    支持的源包括关系数据库(SQL Server、Oracle、MySQL、PostgreSQL、IBM DB2)、SSAS、基于文件的源(Excel、Access)和基于 ODBC 的数据源。在可用情况下添加 SharePoint 本地列表和 Dynamics 本地。对于每个源,确保数据源从网关主机可访问,并且安装了适当的驱动程序。当您需要调整连接时,您可以将新凭据粘贴到网关配置中;网关安全保存它们并用于所有刷新任务。当数据源清晰映射时,仪表板构建更快。

    可观察性和治理:桑基图显示数据跨源和目标的移动,突出查询从本地侧到云服务的流。一个简单的 chartexpo 可视化有助于监控数据血统、使用和跨网关集群的性能。如果无法建立连接,请检查防火墙规则、代理设置和 TLS 配置。此方法在保持数据安全的同时减少风险并维护高性能。

    部署选项和 sizing 基础

    Deployment options and sizing basics

    从支持的 Windows 服务器上的双节点标准模式网关集群开始,以最大化可用性并最小化停机时间。将它放置在具有冗余电源和可靠连接的安全网络段中。使用集群,以便流量可以在节点之间故障转移,并保持网关服务与同一计算机上的重型数据处理任务分离,以避免争用。此设置适合生产工作负载,并支持来自多个源的常规数据集刷新。每个数据源安全连接,此设计帮助您在网络侧保持控制,同时在高峰期减少风险。

    部署选项包括标准模式与集群(推荐用于生产)和个人模式(单用户)。对于持续操作,不能依赖单一网关;为故障转移配置至少两个并排集群中的网关。您可以在物理硬件或作为虚拟机运行网关;内存、CPU 和磁盘需求随着负载扩展。托管部署提供集中更新和策略;您可以使用 powershell 自动化配置,并读取 gatewayresourceid 值以驱动决策制定并维护有效、可审计的配置。

    接下来,按工作负载的 sizing 基础:轻型:2 vCPU、4-6 GB 内存、60-100 GB 磁盘;网络 100 Mbps。中型:4 vCPU、8-16 GB 内存、120-200 GB 磁盘;网络 1 Gbps。重型:8 vCPU、32 GB 内存、240-500 GB 磁盘;网络 1-2 Gbps。为避免争用规划余量,并分配内存到网关进程,以有空间增长到峰值。下一步是监控指标并调整分配。确保每个数据源安全连接,并保持布局与您的源数据量和刷新节奏对齐。

    自动化和生命周期:使用 powershell 自动化安装、配置、扩展和跨集群的健康检查。使用 gatewayresourceid 值在 API 调用、脚本或监控仪表板中针对特定网关。尽可能选择托管更新以简化修补并减少操作开销。对于 sizing 决策,维护清晰的决策框架,将并发、数据量和刷新频率映射到节点数和内存需求,并使用受控故障转移测试验证更改。

    操作考虑:按网关数量、硬件或 VM 要求以及标准模式与个人模式的许可建模成本。定期审查网络容量和存储增长,并保持安全态势与对本地数据源的安全访问对齐。跟踪指标,如刷新持续时间、错误率和空闲时间,以确保不过度配置。维护有效许可证状态,并记录 gatewayresourceid 映射以供审计和持续支持。此方法保持部署可扩展、可预测,并为下一个工作负载峰值进入生产做好准备,而不会出现意外。

    网关操作中的安全性和访问控制

    为所有网关账户启用 MFA 并应用严格的 RBAC。将权限绑定到明确定义的角色,并保持注册用户和服务身份记录。使用条件访问要求合规设备和可信位置。此方法在凭据被泄露时降低风险。

    1. 身份和访问设计
      • 定义三个角色:查看者、操作员、管理员;为每个角色分配操作并指定允许的内容。强制执行职责分离并将权限限制为必要的内容。
      • 将角色分配到您身份提供程序中的组;当某人更改角色或离开时,立即吊销访问并验证每个活动令牌来自注册账户。检查访问级别与工作职能对齐。
    2. 会话管理和凭据
      • 使用 connect-azaccount 进行 MFA 登录;对于自动化,优先使用服务主体并轮换机密。不在脚本中嵌入凭据;将它们存储在保险库中,并仅将凭据粘贴到安全管道中。
      • 限制会话生命周期,要求敏感操作重新认证,并设置令牌刷新的窗口。确保本地位置与政策对齐,并不暴露密钥。
    3. 监控、审计和事件响应
      • 启用详细网关日志和计划检查窗口以审查活动;相关警报、设备态势和 IP 异常应触发警报。检查账户和设备中的问题,并将事件链接到相关警报。
      • 维护 chartexpo 数据字段,将访问事件映射到风险分数,并保持最新策略更新。如果出现问题,保存事件细节并继续修复步骤。
      • 集中策略文件,并在应用更改之前从存储库加载最新配置。如果需要验证,将策略片段粘贴到安全编辑器中审查。
      • 保持其他控制措施,如 IP 允许列表和设备态势检查,以进一步降低风险。这有助于确保您的环境保持安全。
      • 一旦更改获得批准,将更新推送到所有网关,并在审计日志中记录结果。

    网关执行流程:数据请求到云服务

    在网关上启用批处理和本地验证,以减少不必要的云请求并改善响应时间。此方法随着需求增长提高效率,在内存驻留缓存和安全传输下确保跨网络的最新数据。

    当客户端应用发出请求时,网关开始注册本地会话并检查资源是否支持。它附加元数据,对照安全策略验证请求,并确保网关具有访问权限的最新视图。它有助于导航策略层以确保授权。

    然后,网关打包负载,如果需要应用压缩,并通过安全通道发送到云服务。它使用本地存储和内存缓冲数据,支持重试逻辑,以便临时网络问题不会丢失请求。如果云不可用,网关本地存储请求以供后续处理,同时避免重复提交。这避免了将过程变成重试游戏并改善弹性。

    在云端,服务验证传入请求,确认其有效并在策略范围内,并将其路由到适当资源。响应通过同一安全通道返回,网关更新其本地状态以反映最新状态。此整体流程支持快速恢复和重试,通过避免重复处理和启用幂等处理减少成本。从试点显示的结果确认现有部署的可靠性。

    步骤操作关键考虑输出
    1. 客户端请求网关注册本地会话、认证并对照策略验证请求资源支持;权限有效;策略最新请求被接受并排队传输
    2. 打包与传输负载打包,如果需要压缩,通过 TLS 发送到云内存/存储缓冲;重试/退避;安全网络云就绪请求交付
    3. 云处理云验证并路由到正确资源策略检查通过;有效数据;幂等处理处理结果生成
    4. 响应与同步响应返回;网关更新本地状态和缓存最新状态;现有会话保留;内存保持最近状态应用接收结果;系统准备好下一个请求

    相关文章

    Ready to leverage AI for your business?

    Book a free strategy call — no strings attached.

    Get a Free Consultation