標簽[stream-compaction] - 堆棧內存溢出

[英]AArch64 SVE/2 - Left pack elements from list

我正在嘗試使用 AArch64 SVE （或SVE2 ）實現 SIMD 算法，該算法采用元素列表並僅選擇滿足特定條件的元素。它通常稱為左包裝 ( SSE/AVX/AVX-512 )，還是 Stream 壓實 ( CUDA )？是否可以使用 SVE 對該操作進行矢量化？等效的 SQL 和標量代碼 ...

HIVE 3.1-每個分區僅觸發一次自動大型壓縮

[英]HIVE 3.1 - Automatic Major compaction triggered only once per partition

我有一個啟用了酸的，分區的，存儲分區的配置單元表，我正在使用流客戶端將其寫入其中。我看到在將記錄寫入分區時創建了幾個增量文件。我想啟用自動壓縮，並嘗試了以下基本參數和特定參數：用，我做了以上實現主要壓實的希望。但是，我看到大型壓縮僅自動觸發一次。即，重大壓 ...

OpenCL並行緩沖區壓縮障礙問題

[英]OpenCL parallel buffer compaction barrier issue

作為一個學校項目，我們正在使用OpenCL進行4個並行光線跟蹤器的研究。這是我們第一個使用OpenCL的項目，因此我們可能對此有些不解。我們正在嘗試實現並行緩沖區壓縮，以去除完成的光線或不與任何東西碰撞的光線，因此下一次迭代將處理更少的數據。基本上，我們有一個用於渲染，跟蹤它們， ...

git 有日志壓縮的概念嗎？

[英]Does git have a concept of log compaction?

git 版本控制系統，是一種分布式日志（與raft共識協議在概念上有一些相似之處）。 Raft 和其他一些系統有日志壓縮的概念，所以新客戶端不需要遍歷整個更改集來應用更改。我的問題是： git 有日志壓縮的概念嗎？ ...

CUDA中基於索引的流壓縮和轉換

[英]Stream compaction and transform based on the index in CUDA

我有一個 float 數組，我想對其執行 stram 壓縮操作，就像這里介紹的那樣： Parallel Prefix Sum (Scan) with CUDA ，然后根據值和地址或原始元素應用轉換。例如，我有一個值為 {10,-1, -10, 2} 的數組，我想返回絕對值大於 5 的所有元素，並應 ...

如何測試日志壓縮在 Kafka 中是否有效？

[英]How to test whether log compaction is working or not in Kafka?

我已經在 Kafka 0.8.1.1 中的 server.properties 文件中進行了更改，即添加了log.cleaner.enable=true並在創建主題時啟用了cleanup.policy=compact 。現在，當我測試它時，我將以下消息推送到帶有以下 (Key, Message) ...

JSON日志文件壓縮

[英]JSON log file compaction

給定一個帶有行分隔的JSON記錄的文件：我想通過僅保留id的最后一條記錄來壓縮這樣的文件，例如，對於上面的示例，我希望將其作為輸出： tldr; 是否有可與行分隔JSON一起使用的uniq （且速度很快）？輸入文件可能包含10億條記錄，其中可能會丟棄10-20％的 ...

如何在 Python 中壓縮或壓縮字符串

[英]How to compress or compact a string in Python

我正在制作一個將字符串發送到網絡服務（在 C# 中）的 python“腳本”。我需要壓縮或壓縮這個字符串，因為帶寬和 MBs 數據是有限的（是的，大寫，因為它非常有限）。我正在考慮將其轉換為文件，然后壓縮該文件。但我正在尋找一種直接壓縮字符串的方法。如何壓縮或壓縮字符串？ ...

推力刪除鍵唯一的副本

[英]thrust remove copy unique by key

我對執行以下操作的最佳方法有些困惑：說我有以下排序的鍵值對（K：V）（0：.5）（0：.7）（0：.9）（1：.2）（1：.6）（1：.8）等等.. 我想刪除每個鍵的最小值，所以我將得到2個結果最小按鍵（0：.5）（1：.2）其余（0 ...

使用Openmp進行前綴掃描的流壓縮（或數組打包）

[英]Stream compaction (or Array Packing) with prefix scan using Openmp

我正在使用openmp來並行化我的代碼。我有一個原始數組：和一個標記數組：使用數組M我可以在這個壓縮數組中壓縮我的原始數組：我想使用多線程方法解決此問題。用於C ++的庫“ Thrust”解決了此問題，但是我找不到用於Fortran的類似工具。是否有我可 ...

在cuda內核中進行流壓縮以維護優先級隊列

[英]Stream compaction within cuda kernel for maintaining priority queue

我正在為我的cuda程序尋找優化策略。在內核的for循環內的每次迭代中，每個線程都會產生一個分數。我正在維護一個分數的共享優先級隊列，以保持每個塊的前k位。請參見下面的偽代碼：希望上面的代碼對你們有意義。現在，我正在尋找一種消除原子操作開銷的方法，每個線程根據值是否應進 ...

了解流壓縮算法中的最終值

[英]Understanding the Final Value in a Stream Compaction Algorithm

流壓縮算法中的最終排他掃描值會發生什么？這是一個選擇所有“ A”字符的示例。順序A：序列B（除了最后一個值之外，其他相同）：顯然，第二個示例基於對掃描值寫入這些地址的幼稚循環給出了錯誤的最終結果。我在這里想念什么？更新：據我了解掃描算法 ...

清理並重新加入cassandra集群中的同一節點

[英]Cleaning and rejoining same node in cassandra cluster

我們有24個節點的Cassandra-0.8.2集群，復制因子2。節點之一非常慢，該節點上的大多數sstables都已損壞。（我們無法運行壓縮，甚至無法進行清理）那么是否有可能清理該節點的data，cache和commitlog目錄，並使用bootstrap = true重新啟動？ ...

cassandra在壓實過程中做了什么？

[英]What does cassandra do during compaction?

我知道cassandra合並sstables，row-keys，刪除墓碑等等。但我真的很想知道它是如何進行壓實的？由於sstables是不可變的，它會將所有相關數據復制到新文件中嗎？在寫入這個新文件時，它會丟棄墓碑標記的數據。我知道什么是壓實，但想知道它是如何 ...

將分散索引轉換為聚集索引的有效方法？

[英]efficient way to convert scatter indices into gather indices?

我正在嘗試使用 SIMD 內在函數編寫 stream 壓縮（獲取數組並刪除空元素）。循環的每次迭代一次處理 8 個元素（SIMD 寬度）。使用 SSE 內在函數，我可以使用 _mm_shuffle_epi8() 相當有效地做到這一點，它執行 16 個條目的表查找（收集並行計算術語）。隨機索引 ...

Thrust：刪除鍵值數組中的重復項

[英]Thrust: Removing duplicates in key-value arrays

我有一對大小相等的數組，我將它們稱為鍵和值。例如：對鍵進行排序，並對與每個鍵相關聯的值進行排序。如何刪除與每個鍵及其相應鍵關聯的值重復項？也就是說，我想將上述內容壓縮為：我查看了Thrust中可用的流壓縮函數，但是無法找到任何可以執行此操作的內容。 Th ...