[英]What happens if the number of workers is > number of shards when using KCL with AWS Kinesis streams?
[英]What IAM permissions does a Kinesis Consumer need when using KCL?
我有一个使用 Kinesis Client Library (KCL) 编写的 Kinesis 消费者。 此使用者在假定的 IAM 角色下运行。
我从文档中读到:
KCL 使用应用程序名称创建一个 DynamoDB 表,并使用该表来维护应用程序的 state 信息(例如检查点和工作分片映射)。 每个应用程序都有自己的 DynamoDB 表。 有关更多信息,请参阅跟踪 Amazon Kinesis Data Streams 应用程序 State。
当然,我需要将dynamodb:CreateTable
权限添加到我的 IAM 角色。 但是,我在其他方面遇到了错误(例如dynamodb:DescribeTable
)。
是否有我的 KCL 使用者需要访问的所有 DynamoDB 操作的列表? 似乎缺少文档,我宁愿拥有一个权威列表,也不愿继续尝试运行我的应用程序。
这应该是您需要的一组权限。 表名由客户端代码提供,默认为appName
但可以在ConfigsBuilder
中覆盖:
- Effect: Allow
Action:
- dynamodb:CreateTable
- dynamodb:DescribeTable
- dynamodb:Scan
- dynamodb:PutItem
- dynamodb:GetItem
- dynamodb:UpdateItem
- dynamodb:DeleteItem
Resource:
- !Join ["", ["arn:aws:dynamodb:*:", !Ref 'AWS::AccountId', ":table/*"]]
我也遇到了同样的问题,设置此策略后能够解决问题,还应该启用适当的权限来访问 Kinesis
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"kinesis:Get*",
"kinesis:DescribeStream",
"kinesis:ListShards"
],
"Resource": [
"arn:aws:kinesis:ap-south-1:ACCOUNT_ID:stream/STREAM_NAME"
]
},
{
"Effect": "Allow",
"Action": [
"kinesis:ListStreams"
],
"Resource": [
"arn:aws:kinesis:ap-south-1:ACCOUNT_ID:stream/STREAM_NAME"
]
},
{
"Sid": "SpecificTable",
"Effect": "Allow",
"Action": [
"dynamodb:BatchGet*",
"dynamodb:DescribeStream",
"dynamodb:DescribeTable",
"dynamodb:Get*",
"dynamodb:Query",
"dynamodb:Scan",
"dynamodb:BatchWrite*",
"dynamodb:CreateTable",
"dynamodb:Delete*",
"dynamodb:Update*",
"dynamodb:PutItem"
],
"Resource": "arn:aws:dynamodb:ap-south-1:ACCOUNT_ID:table/TABLE_NAME*"
}
]
}
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.