বিগ ডেটায় কম্প্রেশন: প্রকার এবং কৌশল
\
ভূমিকা
এই নিবন্ধটি বিগ ডেটা প্রেক্ষাপটে কম্প্রেশন নিয়ে আলোচনা করবে, কম্প্রেশনের ধরন এবং পদ্ধতিগুলি কভার করবে। আমি এটিও তুলে ধরব কেন এবং কখন প্রতিটি ধরন এবং পদ্ধতি ব্যবহার করা উচিত।
\
কম্প্রেশন কী?
কম্প্রেশনের সাধারণ ইংরেজি সংজ্ঞা অনুসারে, এটি কোনো কিছুকে ছোট স্থান দখল করার জন্য হ্রাস করাকে বোঝায়। কম্পিউটার বিজ্ঞানে, কম্প্রেশন হল ডেটাকে ছোট আকারে হ্রাস করার প্রক্রিয়া। এই ক্ষেত্রে ডেটা টেক্সট, অডিও, ভিডিও ফাইল ইত্যাদিতে উপস্থাপিত হতে পারে। এটিকে আপনার কম্পিউটারের হার্ড ড্রাইভে সংরক্ষিত যেকোনো কিছু হিসাবে বিবেচনা করুন, বিভিন্ন ফর্ম্যাটে উপস্থাপিত ডেটা হিসাবে। আরও প্রযুক্তিগত সংজ্ঞা প্রদান করতে, কম্প্রেশন হল কম বিট ব্যবহার করার জন্য ডেটা এনকোড করার প্রক্রিয়া।
\ ডেটা কম্প্রেস করার একাধিক কারণ রয়েছে। সবচেয়ে সাধারণ এবং স্বজ্ঞাত কারণ হল স্টোরেজ স্পেস সংরক্ষণ করা। অন্যান্য কারণগুলি ডেটা ছোট হওয়ার ফলাফল। ছোট ডেটার সাথে কাজ করার সুবিধাগুলির মধ্যে রয়েছে:
- দ্রুত ডেটা ট্রান্সমিশন সময়: কম্প্রেসড ডেটা আকারে ছোট এবং উৎস থেকে গন্তব্যে প্রেরণ করতে কম সময় লাগে।
- হ্রাসকৃত ব্যান্ডউইথ ব্যবহার: এই কারণটি দ্রুত ডেটা ট্রান্সমিশনের সুবিধার সাথে দৃঢ়ভাবে যুক্ত। কম্প্রেসড ডেটা নেটওয়ার্ক ব্যান্ডউইথের কম ব্যবহার করে, তাই থ্রুপুট বৃদ্ধি করে এবং লেটেন্সি হ্রাস করে।
- ডেটার উপর ব্যাপকভাবে নির্ভরশীল ডিজিটাল সিস্টেমের জন্য উন্নত পারফরম্যান্স: এটি ডেটা প্রক্রিয়াকরণের উপর নির্ভরশীল সিস্টেমগুলিতে স্পষ্ট। সেই সিস্টেমগুলি প্রক্রিয়া করা প্রয়োজন এমন ডেটার পরিমাণ হ্রাস করে সিস্টেমের পারফরম্যান্স উন্নত করতে কম্প্রেশন ব্যবহার করে। দয়া করে নোট করুন যে এটি সিস্টেম-নির্দিষ্ট হতে পারে এবং উপযুক্ত কম্প্রেশন কৌশল ব্যবহারের উপর নির্ভর করবে। কম্প্রেশন কৌশলগুলি এই নিবন্ধে পরে আলোচনা করা হবে।
- খরচ দক্ষতা: ক্লাউড সেবাগুলি ডেটা সংরক্ষণের জন্য চার্জ করে। কম স্টোরেজ ব্যবহার করে, খরচ সাশ্রয় প্রবর্তিত হয়, বিশেষত বিগ ডেটা সিস্টেমগুলিতে।
\ কম্প্রেশনের অন্যান্য কারণ বিভিন্ন কম্প্রেশন কৌশল এবং ফর্ম্যাটের উপর নির্ভর করে। কিছু এনক্রিপশন অ্যালগরিদম কম্প্রেশনের একটি পদ্ধতি হিসাবে ব্যবহার করা যেতে পারে। এটি করার মাধ্যমে, এটি ডেটা কম্প্রেস করার জন্য পূর্বে আলোচিত কারণগুলির জন্য নিরাপত্তার একটি স্তর অন্তর্ভুক্ত করে। অতিরিক্তভাবে, সাধারণ কম্প্রেশন ফর্ম্যাট ব্যবহার করে ইন্টিগ্রেশন উদ্দেশ্যে বাহ্যিক সিস্টেমগুলির সাথে সামঞ্জস্যতা এবং এক্সটেনসিবিলিটির জন্য জায়গা আনে।
\ এটি লক্ষণীয় যে কম্প্রেশনের কারণগুলি সুবিধার মতোও শোনায়। তবে, কম্প্রেশন ট্রেড-অফ ছাড়া নয়। কম্প্রেশনের একটি সাধারণ ট্রেড-অফ হল ডিকম্প্রেশনের প্রয়োজন, যা রিসোর্স-সীমাবদ্ধ সিস্টেমগুলির জন্য উদ্বেগজনক হতে পারে। অন্যান্য ট্রেড-অফগুলি ব্যবহৃত কম্প্রেশন কৌশল এবং ডেটার ধরনের উপর নির্ভর করে।
\
কম্প্রেশনের ধরন
ডেটা কম্প্রেস করতে ব্যবহৃত বিভিন্ন কৌশল নিয়ে আলোচনা করতে, আমি প্রথমে কম্প্রেশনকে ২টি প্রধান বিভাগে শ্রেণীবদ্ধ করব। এই নিবন্ধটি তারপরে প্রতিটি বিভাগের সাথে প্রাসঙ্গিক কৌশলগুলি নিয়ে আলোচনা করবে। কম্প্রেশনকে ব্যাপকভাবে লসি এবং লসলেস কম্প্রেশনে বিভক্ত করা যেতে পারে।
\ নামগুলি ইতিমধ্যে যা বোঝায় তা দেওয়ার সাথে সাথে, লসি কম্প্রেশন কৌশলগুলি এমন কৌশল যা ডেটার সম্পূর্ণ বিশ্বস্ততা সংরক্ষণ করে না। সহজভাবে বলতে গেলে, কিছু ডেটা বাতিল করা হয়, তবে ডেটা যা উপস্থাপন করে তা অচেনা করার জন্য যথেষ্ট নয়। তাই, লসি কম্প্রেশন লসলেস কম্প্রেশনের তুলনায় খুব উচ্চ স্তরের কম্প্রেশন অফার করতে পারে, যা শীঘ্রই প্রবর্তিত হবে।
\ লসি কম্প্রেশনের একটি বৈশিষ্ট্য হল যে এটি অপরিবর্তনীয়, অর্থাৎ, কম্প্রেসড ফাইল উপস্থাপিত হলে, কেউ মূল বিশ্বস্ততার সাথে কাঁচা ডেটা পুনরুদ্ধার করতে পারে না। নির্দিষ্ট ফাইল এবং ফাইল ফর্ম্যাটগুলি লসি কম্প্রেশনের জন্য উপযুক্ত। এটি সাধারণত ছবি, অডিও এবং ভিডিওর জন্য ব্যবহৃত হয়। উদাহরণস্বরূপ, JPEG-ফর্ম্যাট করা ছবিগুলি কম্প্রেশনের জন্য ভালভাবে ধার দেয় এবং একটি JPEG ছবি কম্প্রেস করে, নির্মাতা বা সম্পাদক কতটা ক্ষতি প্রবর্তন করবেন তা বেছে নিতে পারেন।
\ অন্যদিকে, লসলেস কম্প্রেশন পরিবর্তনযোগ্য, যার অর্থ কম্প্রেস করা হলে, সমস্ত ডেটা সংরক্ষিত এবং ডিকম্প্রেশনের সময় সম্পূর্ণভাবে পুনরুদ্ধার করা হয়। এটি বোঝায় যে লসলেস কম্প্রেশন টেক্সট-সদৃশ ফাইলগুলির জন্য উপযুক্ত, এবং ডেটা ওয়্যারহাউস এবং লেকহাউস জগতে, এটি ব্যবহার করার জন্য একমাত্র প্রাসঙ্গিক ধরন হবে। কিছু অডিও (FLAC এবং ALAC) এবং ইমেজ ফাইল (GIF, PNG, ইত্যাদি) ফর্ম্যাটগুলি এই কম্প্রেশন ধরনের সাথে ভালভাবে কাজ করে।
একটি পদ্ধতি বেছে নেওয়া
কোনো সাধারণ সেরা কম্প্রেশন পদ্ধতি নেই। কেস-বাই-কেস ভিত্তিতে কোন পদ্ধতি উপযুক্ত হবে তা বেছে নিতে বিভিন্ন কারণ যায়। উদাহরণ দিয়ে এটি সমর্থন করতে, ফিনান্স ইন্ডাস্ট্রিতে সংরক্ষিত ট্যাবুলার ডেটাতে কাজ করা একজন ডেটা ইঞ্জিনিয়ার নির্ভুল রিপোর্টিং তৈরিতে অনুপস্থিত ডেটার প্রভাবের কারণে লসলেস কম্প্রেশন ব্যবহার করবেন। বিকল্পভাবে, লসি কম্প্রেশন ছবিগুলি কম্প্রেস করে এবং ওয়েবসাইটটি হালকা করে লোড আইটেমগুলি হ্রাস করে প্রচুর ছবি সহ ওয়েব পেজ অপ্টিমাইজ করার পথ হতে পারে। তাই, ব্যবসায়িক প্রয়োজনীয়তার সাথে সামঞ্জস্যপূর্ণ সবচেয়ে উপযুক্ত কম্প্রেশন পদ্ধতি নির্ধারণ করতে একটি মূল্যায়ন পরিচালনা করা গুরুত্বপূর্ণ।
কম্প্রেশন কৌশল
এই বিভাগটি শুধুমাত্র লসি এবং লসলেস কম্প্রেশন উভয়ের জন্য সাধারণ কম্প্রেশন কৌশলগুলি কভার করবে। দয়া করে নোট করুন যে এটি কোনভাবেই সম্পূর্ণ নয়। তদুপরি, আলোচিত কৌশলগুলির বিভিন্ন গবেষণা দ্বারা সমর্থিত, তাদের পারফরম্যান্স বাড়ানোর জন্য সামান্য পরিবর্তন থাকতে পারে।
লসলেস কম্প্রেশন কৌশল
তিনটি সাধারণ লসলেস কৌশল হল রান-লেংথ এনকোডিং (RLE), হাফম্যান কোডিং এবং লেম্পেল-জিভ-ওয়েল্চ কৌশল।
\ রান-লেংথ এনকোডিং: RLE ডেটা এনকোডিংয়ের উপর ভিত্তি করে, যাতে এটি পুনরাবৃত্ত ডেটার ক্রমগুলিকে ডেটার একটি একক অংশ এবং সেই ডেটার অংশের গণনা দিয়ে প্রতিস্থাপন করে। এটি পুনরাবৃত্ত ডেটার দীর্ঘ রানের জন্য কার্যকর। এছাড়াও, ডেটাসেটগুলি যেগুলির মাত্রা (ক্ষেত্র) রয়েছে যা নিম্ন স্তর থেকে উচ্চ স্তরের কার্ডিনালিটিতে সাজানো হয় RLE থেকে উপকৃত হয়।
\ উদাহরণস্বরূপ, একটি সাধারণ স্ট্রিং নিন যেমন AAAAABBCDDD। RLE ডেটাকে A(5)B(2)C(1)D(3) হতে কম্প্রেস করে। আরও ব্যবহারিক হতে, নীচের ছবিতে একটি টেবিল নিন।
\ চিত্র 1 - RLE এর আগে। এটি লক্ষ্য করা গুরুত্বপূর্ণ যে কার্ডিনালিটির স্তর বাম থেকে ডানে ক্ষেত্রগুলিতে বৃদ্ধি পাচ্ছে
চিত্র 2 - RLE এর পরে
যেহেতু RLE পুনরাবৃত্ত ক্ষেত্রের রানের উপর নির্ভর করে, এবং দ্বিতীয় উদাহরণে, কার্ডিনালিটি এবং ডেটার সাজানোর ক্রম, আইটেম কলামে Mouse রেকর্ডটি শুধুমাত্র Mouse (3) হিসাবে কম্প্রেস করা যায় না কারণ পূর্ববর্তী কলাম সমস্ত মানগুলিকে IT, Mouse এবং HR, Mouse এ বিভক্ত করে। নির্দিষ্ট ফাইল ফর্ম্যাটগুলি RLE এর সাথে সামঞ্জস্যপূর্ণ, যেমন বিটম্যাপ ফাইল ফর্ম্যাট যেমন TIFF, BMP, ইত্যাদি। Parquet ফাইলগুলিও RLE সমর্থন করে, এটি S3 বা GCS এর মতো অবজেক্ট স্টোরেজ ব্যবহার করে আধুনিক ডেটা লেকহাউসগুলিতে খুব দরকারী করে তোলে।
\ হাফম্যান কোডিং: এটি পরিসংখ্যানগত মডেলিংয়ের উপর ভিত্তি করে যা কাঁচা ডেটায় মানগুলিকে পরিবর্তনশীল-দৈর্ঘ্যের কোড নির্ধারণ করে যা কাঁচা ডেটায় যে ফ্রিকোয়েন্সিতে ঘটে তার উপর ভিত্তি করে। এই মডেলিংয়ের প্রতিনিধিত্বকে হাফম্যান ট্রি হিসাবে উল্লেখ করা যেতে পারে, যা একটি বাইনারি ট্রির মতো। এই ট্রিটি তারপরে কাঁচা ডেটায় প্রতিটি মানের জন্য একটি হাফম্যান কোড তৈরি করতে ব্যবহৃত হয়। অ্যালগরিদম সবচেয়ে কম সম্ভাব্য বিটে সবচেয়ে ঘন ঘন মানগুলি এনকোড করার অগ্রাধিকার দেয়।
\ চলুন RLE উদাহরণে ব্যবহৃত একই ডেটা নিই AAAAABBCDDD। সংশ্লিষ্ট হাফম্যান ট্রি এরকম দেখায়।
\ হাফম্যান ট্রি
ট্রি থেকে, আমরা দেখতে পাচ্ছি যে অক্ষর A দ্বারা 0 উপস্থাপিত হয় একইভাবে D দ্বারা 10 উপস্থাপিত হয়। অক্ষর B: 111 এবং C:110 এর তুলনায়, আমরা লক্ষ্য করি যে A এবং D কম বিট দ্বারা উপস্থাপিত হয়। এটি কারণ তাদের একটি উচ্চ ফ্রিকোয়েন্সি রয়েছে; তাই, হাফম্যান অ্যালগরিদম ডিজাইন দ্বারা তাদের কম বিট দিয়ে উপস্থাপন করে। ফলস্বরূপ কম্প্রেসড ডেটা হয়ে যায় 00000111111110101010।
\ হাফম্যান কোডিং প্রিফিক্স রুল ব্যবহার করে, যা বলে যে একটি অক্ষর উপস্থাপন করে এমন কোড অন্য কোনো কোডের প্রিফিক্সে উপস্থিত থাকা উচিত নয়। উদাহরণস্বরূপ, একটি বৈধ হাফম্যান কোড C: 00 এবং D: 000 ব্যবহার করে c এবং d অক্ষর উপস্থাপিত করতে পারে না কারণ C এর উপস্থাপনা D এর একটি প্রিফিক্স।
\ এটি কার্যত দেখতে, কম্পিউটার সায়েন্স ফিল্ড গাইডে একটি হাফম্যান ট্রি জেনারেটর রয়েছে যা আপনি নিয়ে খেলতে পারেন।
\ লেম্পেল–জিভ–ওয়েল্চ কোডিং: এটি 1984 সালে আব্রাহাম লেম্পেল, জ্যাকব জিভ এবং টেরি ওয়েল্চ দ্বারা তৈরি করা হয়েছিল এবং স্পষ্টতই নির্মাতাদের নামে নামকরণ করা হয়েছে 😅। RLE এবং হাফম্যান কোডিংয়ের মতো, LZW প্রচুর পুনরাবৃত্ত ডেটা রয়েছে এমন ডেটার সাথে ভালভাবে কাজ করে। LZW অ্যালগরিদম অভিধান-ভিত্তিক এবং কাঁচা ডেটায় সাধারণভাবে দেখা প্যাটার্নের কী-ভ্যালু পেয়ার সম্বলিত একটি অভিধান তৈরি করে। এমন একটি অভিধানকে কোড টেবিল হিসাবেও উল্লেখ করা যেতে পারে। এই কৌশল কীভাবে কাজ করে তা ব্যাখ্যা করতে একটি চিত্র ব্যবহার করে, চলুন আমাদের কাঁচা ডেটা ABBABABABA দ্বারা উপস্থাপিত হতে দিন। A-Z সম্ভাব্য মান হিসাবে একটি কনফিগারেশন ব্যবহার করে অ্যালগরিদমের মাধ্যমে পাস করা হলে, ফলস্বরূপ কোড টেবিল দেখতে এরকম:
\ LZW কোড টেবিল
উপরের কোড টেবিল থেকে, সমস্ত অক্ষর A-Z এর জন্য একটি কী-ভ্যালু পেয়ার এবং AB, BB, BA এবং ABA এর মতো প্যাটার্নের জন্য কী-ভ্যালু পেয়ার রয়েছে। এই প্যাটার্নগুলির একটি সংক্ষিপ্ত উপস্থাপনা থাকার মাধ্যমে, LZW অ্যালগরিদম কম বিটে এনকোড করে কাঁচা ডেটা কম্প্রেস করতে পারে। তাই, সেই ইনপুট থেকে উত্পন্ন কোড টেবিল ব্যবহার করে, কম্প্রেসড সংস্করণটি হল 0 1 1 26 29 28। কম্প্রেসড ডেটায় স্পেসগুলি লক্ষ্য করা মূল। কেউ সেগুলিকে একটি অক্ষরের শেষ হিসাবে ভাবতে পারে, তাই ডিকোডার একটি 1,0 কে 10 হিসাবে ব্যাখ্যা করবে না কারণ তারা বিভিন্ন জিনিস বোঝায়।
\ LZW সাধারণত সাধারণ-উদ্দেশ্য এবং আজ ব্যাপকভাবে ব্যবহৃত হয়। এটি compress শেল কমান্ডের পিছনে অনেক Unix/Linux-ভিত্তিক অপারেটিং সিস্টেমগুলিতে একীভূত। এছাড়াও, LZW এর সাথে সামঞ্জস্যপূর্ণ সাধারণ ফাইল ফর্ম্যাটগুলি হল GIF, TIFF এবং PDF। LZW কম্প্রেশনের অন্যান্য প্রয়োগ প্রাকৃতিক ভাষা প্রক্রিয়াকরণের ক্ষেত্রে দেখা যায়, যেমন NLP-তে টোকেনাইজেশন সম্পর্কে এই গবেষণায় আলোচনা করা হয়েছে।
\ RLE, হাফম্যান কোডিং এবং LZW কোডিং শুধুমাত্র সাধারণ উদাহরণ। লসলেস কম্প্রেশন কৌশল উপরে বর্ণিত এই তিন (3) টির বাইরে যায়। অন্যান্য কৌশলের মধ্যে DEFLATE অন্তর্ভুক্ত রয়েছে, যা হাফম্যান এবং LZW - বিশেষভাবে LZ77 - কোডিংয়ের সংমিশ্রণ ব্যবহার করে।
লসি কম্প্রেশন কৌশল
এই বিভাগে, আমরা দুই ধরনের লসি কম্প্রেশন দেখব। স্মরণ করুন যে লসি কম্প্রেশন মূল ডেটায় একটি ক্ষতি প্রবর্তন করে, যার অর্থ সমস্ত ডেটা রাখা হয় না।
\ ডিসক্রিট কোসাইন ট্রান্সফর্ম (DCT): এই কম্প্রেশন পদ্ধতি প্রধানত অডিও, ইমেজ এবং ভিডিও ফাইলগুলিতে ব্যবহৃত হয় এবং এটি সাধারণভাবে ব্লক কম্প্রেশন হিসাবেও পরিচিত। এটি একটি গাণিতিক ফাংশন ব্যবহার করে - কোসাইন ফাংশন, যেমন নাম বোঝায় - মূল ডেটার ব্লকগুলিকে ফ্রিকোয়েন্সিতে রূপান্তরিত করতে। ডেটার ব্লকগুলি সাধারণত 8x8, 4x4 এর একটি ম্যাট্রিক্স, এবং তাই, সেই মাত্রার ক্রমে।
\ কম্প্রেশনটি ডেটায় ঘটে যাওয়া উচ্চ ফ্রিকোয়েন্সি নিয়ে কাজ করার সময় আসে, একবার গাণিতিক ফাংশন ব্যবহার করে কাঁচা ডেটা ফ্রিকোয়েন্সি ডোমেনে অনুবাদ করা হয়। কম্প্রেশনের জন্য DCT ব্যবহারের সামগ্রিক প্রক্রিয়াটি হল:
- কাঁচা ডেটাকে খণ্ডে ভাগ করুন। উদাহরণস্বরূপ, ইমেজ কম্প্রেশনে, এটি 8x8 পিক্সেল হতে পারে।
- ডেটার খণ্ডগুলিকে ফ্রিকোয়েন্সিতে রূপান্তরিত করতে গাণিতিক ফাংশন প্রয়োগ করুন। এটি কিছু উচ্চ ফ্রিকোয়েন্সি এবং নিম্ন ফ্রিকোয়েন্সির ফলে হবে।
- উচ্চ ফ্রিকোয়েন্সিগুলি তারপরে কমানো বা সরানো হয় যা নির্ভর করে ক্ষতির গ্রহণযোগ্য ডিগ্রি যা কেউ প্রবর্তন করতে ইচ্ছুক। এখানে এটি সত্যিই লসি কম্প্রেশন হয়ে ওঠে।
- উপস্থাপনযোগ্য ডেটায় রূপান্তরিত করতে, সমস্ত অবশিষ্ট ফ্রিকোয়েন্সি একটি ইনভার্স ডিসক্রিট কোসাইন ট্রান্সফর্ম - IDCT - এর মাধ্যমে পাস করা হয় ফ্রিকোয়েন্সি থেকে ডেটা পুনরুদ্ধার করতে।
\ DCT আজ বিভিন্ন ক্ষেত্রে ব্যাপকভাবে ব্যবহৃত হয়, শুধুমাত্র কম্প্রেশনে নয় বরং সিগন্যাল প্রসেসিংয়েও। DCT এর সাথে সামঞ্জস্যপূর্ণ সাধারণ ফাইল ফর্ম্যাটগুলি হল JPEG (ছবি), MP3 (অডিও), এবং MPEG (ভিডিও)। অতিরিক্তভাবে, DCT উচ্চ কম্প্রেশন অনুপাত অর্জন করতে পারে, এটি ইন্টারনেটে ওয়েব পেজগুলির মতো প্রচুর ছবি সহ ডিজিটাল সিস্টেমগুলির জন্য উপযুক্ত করে তোলে।
\ ফ্র্যাক্টাল কম্প্রেশন: একটি ফ্র্যাক্টাল হল একটি স্ব-পুনরাবৃত্ত অসীম প্যাটার্ন যা বিভিন্ন স্কেলে পুনরাবৃত্তি হয়। স্কেলের যেকোনো বিন্দু থেকে দেখা হলে, প্যাটার্নটি একই রকম দেখায়। যেহেতু প্যাটার্নগুলি যেকোনো স্কেলে একই রকম, ফ্র্যাক্টাল কম্প্রেশন ডেটার আকার হ্রাস করতে 'বড়' ফ্র্যাক্টালের স্কেল হ্রাস করে।
\ ফ্র্যাক্টালের উদাহরণ
ফ্র্যাক্টাল কম্প্রেশন 1980-এর দশকে মাইকেল বার্নসলে দ্বারা প্রবর্তিত হয়েছিল। একটি ইমেজ ব্যবহার করে সাধারণ ধারণা হল যে যদি একটি ইমেজে একাধিক অংশ থাকে যা একই রকম দেখায়, কেন তাদের দুবার সংরক্ষণ করবেন? এটি করতে, ফ্র্যাক্টাল কম্প্রেশন নিম্নলিখিত করে:
- ইমেজকে নন-ওভারল্যাপিং ব্লকে বিভাজন করে যা রেঞ্জ ব্লক হিসাবে পরিচিত। এটি 8x8, 16x16 পিক্সেল ইত্যাদির রেঞ্জ ব্লক হতে পারে।
- এটি স্ব-পুনরাবৃত্ত প্যাটার্ন (ফ্র্যাক্টাল প্যাটার্ন) এর জন্য ইমেজ স্ক্যান করে। রেঞ্জ ব্লক ব্যবহার করে, অ্যালগরিদম এই রেঞ্জ ব্লকগুলির অনুরূপ ইমেজের বৃহত্তর বিভাগগুলি খুঁজে পায়। এই বৃহত্তর বিভাগগুলিকে ডোমেইন ব্লক হিসাবে উল্লেখ করা হয়।
- একটি ট্রান্সফর্ম ফাংশন তারপরে রেঞ্জ ব্লকগুলি আনুমানিক করতে ডোমেইন ব্লকে প্রয়োগ করা হয়। এই ট্রান্সফর্ম ফাংশনগুলি গাণিতিক ফাংশন যেমন স্কেলিং, ট্রান্সলেশন, রোটেশন ইত্যাদি। এগুলিকে ট্রান্সফরমেশন হিসাবেও উল্লেখ করা যেতে পারে। এই ট্রান্সফরমেশনগুলিকে ফ্র্যাক্টাল কম্প্রেশনের ক্ষেত্রে ফ্র্যাক্টাল কোড বলা হয়।
- ডেটা তারপরে সেই ট্রান্সফর্ম ফাংশনগুলিতে এনকোড করা হয়। পিক্সেল-পিক্সেল ডেটা সংরক্ষণ করার পরিবর্তে, ট্রান্সফরমেশনগুলি সংরক্ষিত হয়। এই ট্রান্সফরমেশনগুলি হল নিয়মগুলি যা ডোমেইন ব্লক থেকে ইমেজ কীভাবে পুনর্নির্মাণ করতে হয় তা বর্ণনা করে।
\ ফ্র্যাক্টাল কোডগুলির সাথে, ইমেজটি একটি পুনরাবৃত্তিমূলক প্রক্রিয়া ব্যবহার করে পুনর্নির্মিত হয়। এই প্রক্রিয়াটি গণনামূলকভাবে ব্যয়বহুল হতে পারে, তবে ফ্র্যাক্টাল কম্প্রেশন অন্যান্য কম্প্রেশন কৌশলের তুলনায় কম্প্রেশনের উচ্চ অনুপাত অর্জন করতে পারে। স্ব-পুনরাবৃত্তি প্যাটার্নের উপর নির্ভরতার কারণে, এটি এমন ডেটাতে ভাল পারফরম্যান্স করবে যা এই ধরনের স্ব-পুনরাবৃত্তি প্যাটার্ন থাকার সাথে সামঞ্জস্যপূর্ণ। উদাহরণগুলি হবে ল্যান্ডস্কেপ ফটোগ্রাফ (প্রকৃতির ছবি) এবং DNA ইমেজ।
\ অন্যান্য লসি কম্প্রেশন কৌশল রয়েছে, যেমন ডিসক্রিট ওয়েভলেট ট্রান্সফর্ম, কোয়ান্টাইজেশন। এই কৌশলগুলি সাধারণত ছবি, অডিও এবং ভিডিও ফাইলগুলিতে ব্যবহৃত হয় এবং প্রতিটি ফাইল টাইপের জন্য নির্দিষ্ট ধরন বা ফাইল ফর্ম্যাট - JPEG, MP3 - এর জন্য উপযুক্ত।
\ লসি কম্প্রেশন সাধারণত লসলেস কম্প্রেশনের তুলনায় উচ্চতর কম্প্রেশন অনুপাত রাখে এবং কখনও কখনও প্রত্যাশা করে যে ব্যবহারকারী আগে থেকেই কতটা ক্ষতি প্রবর্তন করতে হবে তা জানে। এটি জোর দেওয়া প্রাসঙ্গিক যে কম্প্রেশন পদ্ধতি এবং কৌশলের পছন্দ বিভিন্ন কারণের উপর নির্ভর করে। এই কারণগুলির মূলে রয়েছে ডেটা ফর্ম্যাট এবং কাঙ্ক্ষিত ফলাফল।
সংক্ষিপ্ত সারাংশ
সামগ্রিকভাবে, এই পোস্টটি ডেটার জগতে কম্প্রেশন নিয়ে আলোচনা করে। এটি কম্পিউটার বিজ্ঞান এবং তথ্য তত্ত্বের বিদ্যমান জ্ঞানের উপর দৃঢ়ভাবে নির্ভর করে। কম্প্রেস করার অর্থ হল একটি সত্তা যে আয়তন দখল করে তা হ্রাস করা, এবং ডেটার ক্ষেত্রে, আয়তন স্টোরেজ স্পেসকে বোঝায়। ডিজিটাল সিস্টেমে কম্প্রেশন সঠিকভাবে করা হলে অনেক সুবিধা রয়েছে। স্পষ্ট হল যে এটি স্পেস হ্রাস করে এবং আরও ডেটা সংরক্ষণ করার জন্য জায়গা দেয়। অন্যান্য সুবিধাগুলির মধ্যে রয়েছে দ্রুত ট্রান্সমিশন, কম ব্যান্ডউইথ ব্যবহার এবং উল্লিখিত সিস্টেমের দক্ষতার সাধারণ উন্নতি। মনে রাখবেন, এটি যখন সঠিকভাবে করা হয়।
\ কম্প্রেশনের সুবিধাগুলি কাজে লাগাতে, কোন ধরন ব্যবহার করতে হবে তা জানা মূল। কম্প্রেশন হয় লসি বা লসলেস। লসি কম্প্রেশন মূল ডেটায় একটি ক্ষতি প্রবর্তন করে যা সাধারণত অপরিবর্তনীয়, যখন লসলেস কম্প্রেশন ডেটা কম্প্রেস করে এবং মূল ডেটায় থাকা সমস্ত তথ্য বজায় রাখে। তদুপরি, হাইব্রিড কম্প্রেশন টাইপ নিয়ে আলোচনা রয়েছে, তবে আমি মনে করি লসি এবং লসলেসের সমন্বয় শুধু লসি। মন্তব্যে আপনার মতামত আমাকে জানান।
\ শেষে, লসি এবং লসলেস উভয় কম্প্রেশনের জন্য বিভিন্ন কৌশল প্রবর্তিত হয়েছিল। এই কৌশলগুলির তালিকা এবং ব্যাখ্যা সম্পূর্ণ বা ব্যাপক নয়। আমি সেগুলিকে শুধুমাত্র প্রতিটি কৌশল কীভাবে কাজ করে সে সম্পর্কে আপনাকে একটি ধারণা দেওয়ার জন্য একটি ভাল শুরু বিবেচনা করি। শেষ করতে, আমি আরও তদন্ত করতে এবং বিগ ডেটায় কম্প্রেশন সম্পর্কে গভীরভাবে পড়তে আপনাকে সহায়তা করার জন্য অতিরিক্ত সংস্থান যুক্ত করেছি।
অতিরিক্ত সংস্থান
ভিডিও: ডেটা লেক মৌলিক বিষয় - বাস্তবে Parquet সহ RLE এনকোডিং
পেপার: ডেটা কম্প্রেশন কৌশলের একটি পর্যালোচনা
পেপার: লসলেস কম্প্রেশন কৌশল
ডেভিড সলোমন দ্বারা ডেটা কম্প্রেশনের একটি সংক্ষিপ্ত ভূমিকা
পেপার: বিভিন্ন ডেটা কম্প্রেশন কৌশলের একটি অধ্যয়ন
ব্লগ পোস্ট: খোলা ফাইল ফর্ম্যাটে কম্প্রেশন
নিবন্ধ: খোলা ফাইল ফর্ম্যাট
নিবন্ধ: ডাটাবেসে কম্প্রেশন
জিনোমিক ডেটার (RNA) জন্য লসি কম্প্রেশন
\
আপনি আরও পছন্দ করতে পারেন
ফাজার্দোর সংগ্রামের মধ্যে ট্রোলানো সান মিগুয়েলের গেম ৩ নায়ক হিসেবে আবির্ভূত হন
টেথার এবং সার্কেল বিলিয়ন মিন্ট করার সাথে সাথে স্টেবলকয়েন সরবরাহ সম্প্রসারিত হচ্ছে
