标签[sqlbulkcopy] - 堆栈内存溢出

Powershell、SQL 服务器、SQLBULKCOPY：导入 NULL 中的值.csv - Powershell, SQL Server, SQLBULKCOPY: Importing NULL Values in .csv

我正在使用位于 (( https://blog.netnerds.net/2015/01/powershell-high-performance-techniques-for-importing-csv-to-sql-server/ ) 的 Powershell 脚本从中加载数据引号分隔，逗号分隔 ...

C# 使用foreach循环批量复制数据到SQL服务器 - C# Using foreach loop to bulkcopy data to SQL Server

我有一个 C# 控制台应用程序，它从 CSV 文件中读取百万源数据并将它们批量插入到 SQL 服务器中。我按 1000 计数对数据进行分组，并使用 foreach 循环分组。每个循环都会创建一个新的SqlConnection和一个新的SqlBulkCopy对象，并在循环结束时处理它们。前 10 ...

在使用 SqlBulkCopy 之前无法删除 DataTable 的列 - Cannot remove columns of DataTable before using SqlBulkCopy

我想删除名称以“##”开头的 DataTable 列，然后使用 C# 和 SQL Server 批量添加到数据库。这是我的代码：我在调试模式下检查了数据，发现列已被删除：但是当膨胀时它会抛出异常：它仍然在数据库中创建列“##note” 我想我不知道如何以正确的方式在批量处理之前修改数据 ...

SqlBulkCopy.WriteToServerAsync() 不写入目标 SQL 服务器表，bulkCopy.WriteToServer() 执行 - SqlBulkCopy.WriteToServerAsync() does not write to target SQL Server table, bulkCopy.WriteToServer() does

正如标题所述。我正在尝试将具有 ~330 列（~750 万行）的 ~8.45GB csv 文件加载到 SQL 服务器实例中，但我在内部进行解析，因为该文件有一些怪癖（用逗号分隔和引号）， ETC）。重型批量插入和行解析如下完成：显然，我希望它尽可能快。我通过分析注意到WriteToServ ...

如何使用表适配器更新获得可接受的性能将数据表保存到数据库？ - How to get acceptable performance saving data tables to database using table adapter Update?

我在使用表适配器功能将大型数据表更新到 SQL 服务器时遇到一些性能问题。我正在做这个例子正在做的事情： https://docs.microsoft.com/en-us/visualstudio/data-tools/update-data-by-using-a-tableadapter?s ...

使用 SqlBulkCopy 时如何从标识主键列中获取新插入的 Id - How to get newly inserted Ids from identity primary key column when using SqlBulkCopy

我正在使用 C# 和 .NET Core 6。我想一次将大约 100 行批量插入数据库并从BigInt标识列中取回它们的 ID。我尝试了很多不同的变体，但仍然没有有效的解决方案。当我预览table变量时， Id列具有DbNull值，而不是新插入的 Id。如何获取新插入行的 ID？我有的 ...

SSIS C# SQLBulkCopy .csv 文件错误：无法将参数值从字符串转换为布尔值。字符串未被识别为有效的布尔值 - SSIS C# SQLBulkCopy .csv file Error: Failed to convert parameter value from a String to a Boolean. String not recognized as a valid Boolean

我正在尝试创建一个通用模块，它将 .csv 文件加载到 SQL 表中。 SQL 表已经创建，它们的名称和文件名将作为参数传递。这是我目前所拥有的...... 我在执行时收到以下错误消息： System.InvalidOperationException：来自数据源的 String 类型的给定 ...

使用 BulkCopy 将通用 .csv 文件加载到 SQL 表中 - Load of generic .csv files into SQL Table using BulkCopy

我正在尝试创建一个通用模块，它将 .csv 文件加载到 SQL 表中。 SQL 表已经创建，它们的名称和文件名将作为参数传递。这是我目前所拥有的...... 这是行不通的。收到错误： System.InvalidOperationException：给定的 ColumnMapping 与 ...

使用 Powershell 将大型 Oracle 表复制到 SQL Server - 内存问题 - Using Powershell to copy large Oracle table to SQL Server - memory issue

我们正在尝试使用 Powershell 和 SQLBulkCopy 将数据从大型 Oracle 表（大约 50M 行）复制到 SQL Server。这个特定的 Oracle 表的问题在于它包含一个 CLOB 字段，并且似乎与其他表加载不同，这个表占用了越来越多的操作系统内存，最终压倒了位于同一服务 ...

如何使用 SqlBulkCopy.WriteToServer 将行批量插入 SQL 服务器，仅当不存在时 - How to use SqlBulkCopy.WriteToServer to Bulk Insert rows into SQL Server , ONLY if Not Exists

我们正在使用 SqlBulkCopy.WriteToServer 批量插入到 SQL 服务器并且运行良好。但是，当记录已经存在时它会失败。我们需要的是“忽略”那些已经存在的行，并插入不存在的行。 SqlException：违反 PRIMARY KEY 约束 'PK__Pharmacy__321 ...

使用批量复制将 CSV 导入 SQL 服务器 - Importing CSV to SQL Server using bulkcopy

我正在尝试将我的 CSV 文件导入 SQL 服务器。我找到了这段代码，它运行得很好而且非常快：问题是：它适用于标准拉丁编码，但我在 UTF-8 和 Windows-1251 编码中有 CSV。我应该添加什么以及在哪里更改此代码中的编码？我不知道用于编写此代码的编程语言，所以我不能自己做，如果 ...

从 CSV 批量插入 - 国家/地区代码未出现在 SQL 表中 - Bulk insert from CSV - country codes are not coming to SQL table

我有一个简单的 CSV 文件，其中包含 60 行数据，如下所示：在我的 SQL 查询中，我使用bulk insert读取文件，如下所示：当我执行select *时，我的数据在表格中的显示如下：我的问题是： csv 文件中的国家代码“+1”没有出现在表格中，其他行也一样，我不明白为什么会这样。 ...

如何让 AllowDBNull 为 GUID 工作？ - How can I make AllowDBNull work for GUID?

我正在使用 DataColumn 为 DataTable 创建一个新列。我使用AllowDBNull来指定列可以具有 NULL 值。这工作正常，除了当我在做一个带有uniqueidentifier类型的列的情况我在尝试使用CsvHelper加载数据表并看到错误时遇到问题未处理的异 ...

SqlBulkCopy WriteToServer 使用 IDataReader 而不是 DataTable 和以编程方式调整的字段值 - SqlBulkCopy WriteToServer with an IDataReader instead of DataTable and Programmatically Adjusted Field Values

我们在 C# 中有一个工作代码，它利用 SqlBulkCopy 将记录从存储过程源插入到表中。在高层次上：从将记录放入 DataTable 的存储过程中读取数据。本质上调用 SP 并执行 AdpAdapter 将记录放入 DataTable。我们称之为 srcDataTable。 ...

SqlBulkCopy 抛出“由于对象的当前 state，操作无效” - SqlBulkCopy throws "Operation is not valid due to the current state of the object"

我正在尝试为IAsyncEnumerable<T>集合创建自定义 DataReader，以便通过SqlBulkCopy将记录加载到数据库表中。我正在遵循此问题中概述的代码示例和解决方案的行 - 如何使用 SqlBulkCopy 编写 IAsyncEnumerable 这是我的 Dat ...

azure 数据工厂中的 polybase 和批量插入、复制方法有什么区别以及何时使用它们？ - What is the difference between polybase and bulk insert, copy methods in azure data factory and when to use them?

有人可以详细说明在 azure 数据工厂中何时使用 Polybase 与批量插入，这两种复制方法有什么区别？ ...

BCP 使用 Azure Active Directory 交互式输入/输出多个文件 - BCP multiple files in/out using Azure Active Directory Interactive

我正在尝试使用 bcp 导出/导入表，我可以按照文档所述使用 Azure Active Directory Interactive （我需要多因素身份验证才能访问数据库）一一完成，通过这种方法，它会提示外部 window设置我的凭据，所以我应该对所有表的所有“IN”和“OUT”执行此操作（超过 20 ...

Java：将 CSV 值导入 SQL 服务器十进制字段时出现问题 - Java: Trouble with importing CSV values into a SQL Server DECIMAL field

我正在使用 SQLServerBulkCopy 将 CSV 文件导入数据库。代码是：问题是 CSV 文件中的DECIMAL(16,2)字段为 100。当我尝试运行我的代码时，我收到此错误： com.microsoft.sqlserver.jdbc.SQLServerException：将“1 ...

Powershell - 如何在事务块中添加批量复制命令 - Powershell - How to add Bulk Copy command in Transaction block

我正在使用 PowerShell 版本 5，我想在 Transaction 块中添加 BulkCopy 命令，这样如果在将数据从一台服务器复制到另一台服务器时存在任何问题，则不应提交任何内容。下面是我的代码，其中事务适用于其他多个 SQL 命令（创建、插入），因此如果在插入表时出现任何故障，也不会 ...

在大量 nvarchar(max) 上提高 SqlBulkCopy 性能 - Improve SqlBulkCopy performance on high amount of nvarchar(max)

我想用SqlBulkCopy在两个表之间复制数据。所以首先我在我的表中定义了一个包含 where 子句（where ID IN (...)）的语句，它定义了应该复制哪些条目。（在这种情况下，结果集中大约有 800,000 个条目。）我的问题是这个复制过程需要很长时间才能完成，我想优化它。我 ...