Deduplication system for user encrypted data

Abstract

This thesis explains the process of constructing a deduplication system of encrypted data. The goal of the project was to build a system prototype for secludIT. Primary attributes for the system were to provide substantial storage space saving by cross-­‐‑user deduplication while preserving security. Secondary goals for the system were maximum throughput, minimum latency and support for file sharing between users.

The thesis explains different approaches to performing deduplication with their advantages and disadvantages. The difference between target-­‐‑ and source-­‐‑based deduplication is explained, along with the distinction between file-­‐‑ and block level deduplication. The thesis further explains the effect of utilizing fixed-­‐‑ or variable-­‐‑sized chunking when performing block-­‐‑level deduplication. Block-­‐‑level deduplication with variable-­‐‑size chunking proves the most efficient and is selected as a deduplication method for the prototype.

State of the art layouts are analyzed. Security feature conflicts with file sharing are explained. Three levels of security are defined for the prototype to meet the requirements of different customers.

To evaluate primary attributes of the prototype, achieved space savings are measured along with the overhead caused by metadata. To address secondary goals, throughput and latency benchmarks are presented.

The final prototype is observed to meet the goals, except for throughput and file sharing support. The throughput bottleneck is identified. One security improvement is proposed to the state of art.

Työssä esitellään salatun datan deduplikaatiojärjestelmän kehitysprosessi. Työ on tehty SecludIt:lle. Systeemin tärkeimmät tavoiteltavat ominaisuudet olivat merkittävä säilytystilan säästö sekä käyttäjien välisen deduplikoinnin mahdollistaminen. Toissijaisia ominaisuuksia olivat mahdollisimman suuri datan siirtonopeus, mahdollisimman pieni viive sekä tiedostojen jakamismahdollisuus.

Työssä selitetään eri lähestymistavat deduplikaation suorittamiseen sekä niiden vahvuudet ja heikkoudet. Lisäksi selitetään käyttäjällä tapahtuvan ja palvelun tarjoajalla tapahtuvan deduplikaation erot sekä tiedostojen paloittelun merkitys deduplikaatiossa.

Teknologioiden nykytilaa analysoidaan tietoturvan näkökulmasta. Lisäksi selitetään konfliktit tietoturvan ja tiedostojen jakamisen välillä. Lopuksi työssä esitetään tietoturvatasot erilaisten käyttäjien vaatimuksiin.

Järjestelmän suorituskyky mitataan ja järjestelmän katsotaan täyttävän tavoitellut vaatimukset poislukien tiedostojen siirtonopeus sekä jakamismahdollisuus. Tiedostojensiirron pullonkaula tunnistetaan ja yksi tietoturvaparannus esitetään teknologioiden nykytilaan.