Genetik ve Genomik Veri Sıkıştırma: FASTQ, BAM ve MPEG-G
Yeni nesil dizileme teknolojilerinin gelişmesiyle laboratuvarların ürettiği genomik veri miktarı büyüyor.
Tüm genom sekanslama (WGS), tüm ekzom sekanslama (WES) ve diğer NGS uygulamaları; ham okuma verileri, hizalama dosyaları, kalite kontrol kayıtları ve analiz sonuçları oluşturuyor.
Bu verilerin yalnızca üretilmesi değil, güvenli şekilde depolanması, farklı merkezlere aktarılması ve gerektiğinde yeniden analiz edilebilmesi de önem taşıyor.
Genomik veri sıkıştırma, büyük DNA sekanslama dosyalarının daha az depolama alanıyla yönetilmesine yardımcı olabilecek yöntemleri ifade eder.
Ancak bütün sıkıştırma teknolojileri aynı özelliklere sahip değildir. Veri kaybı, dosya biçimi, işlem süresi, sıkıştırma oranı ve iş akışı uyumluluğu birlikte değerlendirilmelidir.
Peki genetik veri sıkıştırma nasıl yapılır? FASTQ, BAM, CRAM ve MPEG-G arasında ne gibi farklar bulunur?
Genomik veri sıkıştırma nedir?
Genomik veri sıkıştırma, DNA veya RNA sekanslama süreçlerinde oluşturulan verilerin daha az depolama alanı kullanacak biçimde kodlanmasını amaçlayan yöntemlerin genel adıdır.
Sıkıştırma teknolojileri, verideki belirli tekrarları veya yapısal özellikleri değerlendirerek dosya boyutunun azaltılmasına yardımcı olabilir.
Ancak farklı algoritmaların aynı veride aynı sonucu üretmesi beklenmemelidir.
Örneğin sıkıştırılmamış FASTQ dosyasıyla daha önce gzip kullanılarak sıkıştırılmış FASTQ.GZ dosyasının boyutu önemli ölçüde farklı olabilir.
Bu nedenle karşılaştırma yapılırken başlangıç dosyasının hangi biçimde olduğu açıkça belirtilmelidir.
Genetik veri neden bu kadar fazla depolama alanı gerektirir?
Bir genomik projenin toplam veri hacmini belirleyen başlıca faktörler şunlardır:
- Örnek sayısı
- Kapsama derinliği
- Okuma uzunluğu
- Sekanslama platformu
- Kalite skorlarının saklanma biçimi
- Ham ve hizalanmış dosyalar
- Analiz sırasında oluşan ara veriler
- Yedekleme kopyaları
- Saklama süresi
Bir laboratuvar yalnızca FASTQ dosyalarını değil, bazı projelerde BAM, CRAM, VCF ve başka analiz çıktılarını da saklayabilir.
Dolayısıyla depolama maliyeti tek bir dosyanın büyüklüğü üzerinden hesaplanmamalıdır.
FASTQ sıkıştırma nasıl yapılır?
FASTQ, sekans okuma dizilerini ve bunlara karşılık gelen kalite skorlarını saklamak için yaygın kullanılan dosya biçimidir.
FASTQ dosyaları gzip gibi genel amaçlı yöntemlerle sıkıştırılarak FASTQ.GZ veya FQ.GZ biçiminde saklanabilir.
Bunun yanında genomik veri yapısına göre tasarlanmış farklı sıkıştırma yaklaşımları da bulunur.
FASTQ sıkıştırma değerlendirmesinde:
- Orijinal dosya boyutu
- Sıkıştırılmış dosya boyutu
- İşlem süresi
- Geri açma süresi
- Veri bütünlüğü
- Analiz araçlarıyla uyumluluk
birlikte ölçülmelidir.
FASTQ'dan elde edilen sıkıştırma oranıyla FASTQ.GZ'den elde edilen ek sıkıştırma oranı aynı şey değildir.
Özellikle ticari teklif ve laboratuvar testlerinde bu ayrım net olarak açıklanmalıdır.
BAM ve CRAM sıkıştırma arasındaki fark nedir?
BAM, sekans okumalarının hizalama verilerini saklamak için kullanılan ikili dosya biçimlerinden biridir.
CRAM ise hizalama verilerinin daha verimli temsil edilmesi ve saklanması için geliştirilmiş bir formattır.
CRAM bazı sıkıştırma yöntemlerinde referans genomdan yararlanabilir.
Ancak CRAM dosyalarının açılması veya yeniden işlenmesi sırasında uygun referans genomun erişilebilir olması gibi gereksinimler ortaya çıkabilir.
Bu nedenle BAM'den CRAM'e geçiş yalnızca dosya boyutuna göre planlanmamalıdır.
Format sürümü, referans bütünlüğü, araç uyumluluğu ve uzun vadeli yeniden analiz ihtiyacı da değerlendirilmelidir.
Kayıpsız genomik veri sıkıştırma nedir?
Kayıpsız sıkıştırma, belirlenen veri temsilinin geri açıldığında eksiksiz geri elde edilmesini hedefler.
Genomik iş akışlarında bu özellik önemlidir. Çünkü belirli veri alanlarının kaybı, sonraki analizleri etkileyebilir.
Ancak farklı genomik biçimler arasında dönüşüm yapılırken “kayıpsız” ifadesinin hangi seviyede kullanıldığı açıklanmalıdır.
Örneğin:
- Dosyanın birebir aynı baytlarla geri elde edilmesi
- Sekans ve kalite bilgilerinin korunması
- Hizalama bilgilerinin korunması
- İlgili üst veri alanlarının korunması
aynı doğrulama gereksinimlerini ifade etmeyebilir.
Bu nedenle kullanılan teknolojinin veri bütünlüğü iddiası, ilgili formatlar ve dönüşüm yöntemleri üzerinden test edilmelidir.
MPEG-G nedir?
MPEG-G, ISO/IEC 23092 standart ailesi kapsamında genomik verilerin temsili, sıkıştırılması ve ilgili veri işlemleri için geliştirilmiş bir yaklaşımdır.
Genomik bilgiye özgü veri yapıları üzerinde çalışmayı hedefler.
MPEG-G'nin kullanım senaryoları arasında veri sıkıştırma, taşıma, erişim ve bazı güvenlik özellikleri bulunabilir.
Ancak bir standardın belirli yetenekleri tanımlaması, piyasadaki bütün MPEG-G yazılımlarının bütün formatları ve özellikleri aynı düzeyde desteklediği anlamına gelmez.
Laboratuvarlar seçilen yazılımın gerçek özelliklerini doğrulamalıdır.
GenomSys MPEG-G çözümleri ne sağlar?
GenomSys, MPEG-G teknolojisiyle ilişkili yazılım çözümleri geliştiren şirketlerden biridir.
Üreticinin teknik dokümanlarında FASTQ, BAM ve CRAM gibi genomik dosya biçimleriyle ilişkili iş akışları ve veri sıkıştırma özellikleri açıklanmaktadır.
Ancak kullanılabilir özellikler yazılım sürümüne ve lisans kapsamına göre değişebilir.
Bir laboratuvarda kullanılmadan önce aşağıdaki sorular yanıtlanmalıdır:
- Hangi dosya biçimleri destekleniyor?
- Sıkıştırılmış dosya nasıl geri açılıyor?
- Veri bütünlüğü nasıl doğrulanıyor?
- Analiz yazılımlarıyla uyumluluk nasıl sağlanıyor?
- İşlemci ve bellek gereksinimleri neler?
- Büyük dosyalarda işlem süreleri nasıl değişiyor?
- Çözüm kurum içinde veya uygun başka altyapıda çalıştırılabiliyor mu?
Üretici verileri değerlendirmeye başlangıç sağlayabilir. Nihai kararın laboratuvarın kendi dosyalarındaki sonuçlarla verilmesi daha sağlıklıdır.
Genomik sıkıştırma oranı nasıl hesaplanır?
Sıkıştırma performansı değerlendirilirken iki gösterge yaygın olarak kullanılabilir.
Sıkıştırma oranı:
Orijinal dosya boyutu / sıkıştırılmış dosya boyutu
Alan tasarrufu yüzdesi:
(1 − sıkıştırılmış dosya boyutu / orijinal dosya boyutu) × 100
Örneğin 10 GB büyüklüğündeki bir dosya 6 GB'a düşerse:
- Sıkıştırma oranı yaklaşık 1,67:1 olur.
- Depolama alanı tasarrufu %40 olur.
Bu yalnızca hesaplama örneğidir; belirli bir sıkıştırma ürününün performans vaadi değildir.
FASTQ.GZ ile MPEG-G karşılaştırılırken nelere dikkat edilmeli?
Laboratuvarlarda veriler çoğu zaman zaten gzip ile sıkıştırılmış biçimde bulunabilir.
Dolayısıyla gerçek depolama tasarrufunu değerlendirmek için mevcut FASTQ.GZ dosyasıyla yeni oluşturulan arşiv dosyası karşılaştırılmalıdır.
Buna karşılık ham FASTQ verisinden elde edilen oran, algoritmanın toplam sıkıştırma kapasitesi hakkında farklı bir bilgi sunabilir.
Her iki ölçüm de değerlidir; ancak aynı şey gibi sunulmamalıdır.
Örneğin bir algoritma ham FASTQ verisini önemli ölçüde küçültebilir. Fakat halihazırda sıkıştırılmış bir FASTQ.GZ dosyasına göre ek kazanç daha sınırlı olabilir.
Ticari değerlendirmede karşılaştırma, müşterinin bugün gerçekten sakladığı dosya biçimine göre yapılmalıdır.
Genomik veri sıkıştırma depolama maliyetini nasıl etkiler?
Küçülen dosyalar, uygun koşullarda daha az depolama kapasitesine ihtiyaç duyulmasını sağlayabilir.
Ancak toplam maliyet yalnızca disk veya bulut depolama ücretinden ibaret değildir.
Aşağıdaki unsurlar değerlendirilmelidir:
- Yazılım lisansı
- Sıkıştırma için gereken işlemci ve bellek
- İşlem süresi
- Açma ve yeniden analiz süresi
- Veri transferi
- Yedekleme kopyaları
- Arşivleme ve geri çağırma
- Sistem entegrasyonu
- Operasyonel yönetim
Özellikle sık erişilen analiz dosyaları için işlem süreleri de önemlidir.
Kayıpsızlık ve veri bütünlüğü nasıl test edilmeli?
Bir sıkıştırma çözümü üretim ortamında kullanılmadan önce kontrollü testler yapılmalıdır.
Örnek bir test planı:
- Girdi dosyasının boyutunu ve türünü kaydedin.
- Girdi dosyasına uygun bütünlük değeri oluşturun.
- Dosyayı seçilen yöntemle sıkıştırın.
- Sıkıştırma süresini ve kaynak tüketimini ölçün.
- Dosyayı geri açın.
- İlgili veri alanlarını karşılaştırın.
- Destekleniyorsa birebir dosya karşılaştırması uygulayın.
- Analiz araçlarıyla uyumluluğu test edin.
- Geri açma süresini ölçün.
- Sonuçları yazılı şekilde raporlayın.
Farklı dosya biçimleri arasında dönüşüm yapılıyorsa yalnızca dosya karmalarının farklı olması, otomatik olarak veri kaybı oluştuğu anlamına gelmeyebilir. Bu durumda doğrulanması gereken veri eşdeğerliği ayrıca tanımlanmalıdır.
Genetik veri arşivlemede güvenlik
İnsan genomuna ilişkin veriler kişisel ve hassas bilgiler içerebilir.
Bu nedenle sıkıştırma sistemi seçilirken yalnızca dosya boyutu değil, erişim yetkileri, şifreleme, veri bütünlüğü ve güvenli transfer süreçleri de değerlendirilmelidir.
Sıkıştırılmış verinin otomatik olarak şifrelenmiş olduğu varsayılmamalıdır.
Kurumun veri güvenliği gereksinimleri ve uygulanabilir mevzuat birlikte ele alınmalıdır.
Genomik veri sıkıştırma hangi laboratuvarlar için uygundur?
Genomik veri üreten veya arşivleyen farklı kuruluşlar sıkıştırma seçeneklerinden yararlanabilir:
- Genetik tanı merkezleri
- NGS ve WGS laboratuvarları
- Üniversite araştırma merkezleri
- Biyoinformatik ekipleri
- Büyük ölçekli genomik araştırma projeleri
- Sekanslama hizmeti sağlayıcıları
Ancak uygun çözüm, örnek sayısı ve veri biçimlerinin yanında mevcut depolama ve analiz altyapısına göre belirlenmelidir.
RelGen Teknoloji ile genomik veri sıkıştırma ve yönetimi
RelGen Teknoloji, genomik veri üreten laboratuvarların FASTQ, BAM, CRAM ve diğer genomik veri biçimlerine ilişkin depolama, sıkıştırma ve arşivleme ihtiyaçlarını teknik açıdan değerlendirmeye odaklanır.
Kayıpsız veri koruma gereksinimleri, gerçek sıkıştırma oranları, işlem süreleri, sistem entegrasyonu ve toplam maliyet birlikte incelenebilir.
Amacımız, laboratuvarın mevcut iş akışını ve dosya biçimlerini esas alarak ölçülebilir teknik sonuçlara dayanan veri yönetimi seçenekleri geliştirmektir.
Genomik Veri Çözümlerimizi inceleyebilir veya RelGen Teknoloji ile iletişime geçerek laboratuvarınızın veri altyapısı gereksinimlerini değerlendirebilirsiniz.
Sık sorulan sorular
Genomik veri sıkıştırma nedir?
DNA veya RNA sekanslama verilerinin uygun yöntemlerle daha az depolama alanında temsil edilmesini sağlayan yaklaşımlardır.
MPEG-G nedir?
ISO/IEC 23092 kapsamında genomik bilgilerin temsili ve sıkıştırılması için geliştirilen standart ailesidir.
FASTQ ve FASTQ.GZ sıkıştırma oranı aynı mı?
Hayır. FASTQ.GZ önceden sıkıştırılmış veridir. Bu dosyadan elde edilen ek tasarruf, ham FASTQ karşılaştırmasından farklı olabilir.
Genomik veri sıkıştırma analizin doğruluğunu etkiler mi?
Kayıpsızlık gereksinimi ve veri eşdeğerliği doğru sağlanıyorsa gerekli veriler korunabilir. Ancak her araç ve format dönüşümü uygun testlerle doğrulanmalıdır.
MPEG-G her genomik dosya biçimini destekler mi?
Bütün uygulamaların aynı formatları desteklediği varsayılmamalıdır. Seçilen ürünün sürümü ve teknik özellikleri kontrol edilmelidir.
Teknik kaynaklar: