Sau phần 2 tìm hiểu về ý nghĩa của file Raw trong nhiếp ảnh kỹ thuật số, ở phần 3 này chúng ta sẽ tìm hiểu Apple ProRAW chính xác là gì.
ProRAW là gì?
Về mặt kỹ thuật, không hề có một định dạng nào gọi là ProRAW cả. ProRAW thực chất là file DNG tận dụng lại một số tính năng có sẵn nhưng ít được để ý trong thông số kỹ thuật. Kèm theo đó là một số tính năng mới.
Hãy nhớ rằng DNG là một định dạng mở. Apple đã làm việc kết hợp với Adobe để thêm vào đó một số thuộc tính mới. DNG là định dạng do Adobe khởi tạo để phục vụ cho kỹ nguyên kỹ thuật số của nhiếp ảnh. DNG sẽ tung ra bảng thông số mới với chi tiết của các thuộc tính ngay khi ProRAW bước vào giai đoạn Public Beta Test.
Và điều gây ngạc nhiên với nhiều người khác với truyền thống của Apple đó là: ProRAW tuy được Apple phát triển với Adobe nhưng nó lại không trở thành định dạng độc quyền hay đóng. Để tỏ lòng trân trọng điều này, chúng ta phải vinh danh Apple khi họ đã có những cải tiến sáng tạo trong Nhiếp Ảnh Điện Toán lên định dạng DNG và ở chiều ngược lại. Điều đó cũng có nghĩa là sau này dù bạn có chụp bằng thiết bị nào đi nữa thì với chuẩn ProRAW, bạn hoàn toàn có thể đưa nó lên hệ sinh thái của Apple để dùng cho nhiều mục đích khác nhau. Điều mà trước đây chúng ta gần như là không thể sử dụng trực tiếp DNG hay các file Raw trên iOS. Còn những app đọc được Raw thì ngoài đọc được và convert sang JPEG/PNG thì nó chả làm được gì thêm nữa. Đó là lí do vì sao mà Halide đã có những fan hâm mộ kha khá vì những gì mà Halide làm được với file RAW.
Vậy ProRAW khác file RAW truyền thống như thế nào?
Demosaic is Already Done: Lưu file thô ngay sau bước Demosaic
File Raw trước đây lưu trữ ngay từ giai đoạn trước Demosaic. Các phần mềm đọc Raw hoặc chính Camera Raw của Adobe sẽ tham gia giải mã Demosaic. Nhưng nay thì khác. ProRAW chỉ tiếp nhận các hình ảnh sau khi đã Demosaic. Như vậy Demosaic là việc của máy ảnh.
ProRAW lưu trữ các giá trị pixel ngay sau bước Demosaic (bước 1 trong phần 1). Nó giống như là họ lấy những giá trị được tạo ra từ bước 1. Vâng như vậy có nghĩa là từ rất sớm, nó đã bắt đầu tiến hành lưu trữ các giá trị hình ảnh mà sensor tạo ra. Giờ ta sẽ nói vì sao họ làm điều đó.
Điều quan trọng bạn cần hiểu là các giá trị màu sắc của bức ảnh thu được sau bước Demosaic nó vẫn dùng để biểu thị toàn vẹn thông tin của khung cảnh mà máy ảnh đang nhìn thấy. Chứ không phải để phục vụ hiển thị cho bạn nhìn thấy.
Nó chứa đựng toàn bộ những thông tin nguyên gốc của dải Dynamic Range (dải biến thiên sáng tối mà máy ảnh nhìn thấy được). Chúng cũng chứa những hình ảnh nằm ngoài phạm vi nhìn thấy của mắt người. Ngoài khả năng hiển thị của màn hình, nó giữ lại toàn bộ khả năng xử lí một cách linh hoạt và tùy biến cao với tất cả các thông tin thô thu được từ sensor sau khi đã Demosaic. ProRAW để cho thuật toán của sensor tự giải quyết vấn đề Demosaic thứ mà từ trước đến giờ nó đã làm rất tốt.
Về lý thuyết, file thô ProRAW không cho bạn can thiệp vào thuật toán Demosaic. Có gì xài nấy, không được lựa chọn các thuật toán Demosaic. Nhưng mà trên thực tế, hầu hết các nhiếp ảnh gia chuyên nghiệp không quan tâm và cũng chả biết gì về Demosaic. Các vi xử lý hiện nay nó đã đủ mạnh để chạy các thuật toán Demosaic ưu tiên chất lượng cao nhất mà không cần phải hỏi đến con người là có muốn lựa chọn thuật toán ưu tiên chất lượng hay tốc độ.
Một trong những lí do khác mà Apple không muốn chuẩn ProRAW can thiệp vào thuật toán Demosaic là họ tin rằng iOS có thể thực hiện việc Demosaic tốt hơn bất cứ ứng dụng chỉnh sửa ảnh Raw nào. Nên ngay từ đầu họ không muốn đưa vào ProRAW thông tin trước quá trình Demosaic. Các nhà phát triển ứng dụng khác có thể làm sai lệch cái nhìn của người dùng về chất lượng file của iOS.
Sức mạnh của Apple là sự thống nhất giữa phần cứng và phần mềm. Truyền thống của Apple là một phần cứng – một trình điều khiển duy nhất nên cách họ tối ưu hóa mọi thứ thật sự xuất sắc. Apple biết chính xác cảm biến mà bạn đang dùng cũng như cách mà cảm biến làm việc với từng mức ISO khác nhau.
Về lý thuyết, Apple với một lượng người dùng lớn và thiết bị luôn truy cập Internet, họ có thể áp dụng rất nhiều công nghệ nhận dạng hành vi người dùng trong quá trình xử lí. Ví dụ iOS có thể nhận dạng bầu trời dựa trên vị trí của bạn thông qua GPS và con quay hồi chuyển và thời gian. Những thứ mà không máy ảnh nào có được. Từ đó, nó có thể đoán chính xác thứ sáng sáng trên bầu trời là Noise hay là ngôi sao. Thậm chí nó có thể thêm vào một ngôi sao chính xác ở vị trí mà hôm đó bạn không nhìn thấy vì ô nhiễm môi trường. Đó chính là sự vượt trội của Nhiếp Ảnh Điện Toán so với nhiếp ảnh thông thường.
Nói đi cũng phải nói lại, Apple thật sự tham lam hơn những gì bạn tưởng khi với nước đi này, Apple có lợi thế rất lớn trong việc kiểm soát các cảm biến ảnh mà họ sẽ sử dụng trong tương lai. Một bước đi mang tính chủ động trong việc kiểm soát đối tác cung cấp phần cứng camera. Hoặc biết đâu chính họ cũng sẽ tự sản xuất cảm biến ảnh cho riêng mình như cách họ đang làm với máy Mac. Ai mà biết được Apple sẽ đến lúc tuyên bố sản xuất máy ảnh riêng với cảm biến to hơn, hệ thống ống kính ít nhưng chất. Bù lại họ có thuật toán quá thông minh đang được phát triển từng ngày.
Quay trở lại, lúc đầu tôi có đề cập đến việc hầu hết các máy ảnh sử dụng Bayer Pattern để nhận dạng ảnh màu. Nhưng công nghệ phát triển của một số nhà sản xuất máy ảnh bắt đầu có các Pattern khác nhau. Đòi hỏi các thuật toán khác nhau. Ví dụ như Fujifilm phát triển cảm biến X-Trans với thuật toán làm cho hình ảnh nét hơn nhiều lần. Thậm chí còn có thể nội suy tạo ra một bức ảnh có độ phân giải cao gấp bốn lần độ phân giải thực của cảm biến và nó mang nhiều nét giống như ảnh của máy film với khá nhiều hạt. Fujifilm không theo đuổi cái gọi là khử Noise nên thuật toán của họ có sự tự do khi họ tái định nghĩa Noise là đẹp. Khử Noise quá nhiều sẽ mất chi tiết (Pro-K là người ủng hộ quan điểm này và rất nhiếu nhiếp ảnh gia chuyên nghiệp cũng cho rằng khử Noise làm bức ảnh trông tệ đi). Thậm chí hãng Sigma còn có cảm biến kỹ thuật số Foveon xếp chồng các bộ lọc màu.
Apple hiện tại là công ty tự mình thiết kế chip bán dẫn cho riêng mình và đồ của nhà Apple thật sự xịn. Máy ảnh trên điện thoại là một trong những lý do lớn thúc đẩy người dùng móc tiền ra mua điện thoại mới của Apple. Mỗi năm họ đều cho ra đời một chiếc điện thoại với khả năng chụp ảnh tốt nhất. Và sau một năm với nghiên cứu thêm cái gì đó về công nghệ, họ lại cho ra đời chiếc điện thoại chụp hình xịn hơn cái tốt nhất của năm ngoái, ghê thật.
Với việc không muốn bị giới hạn bởi bất kì sự trì trệ nào của các bên đối tác nên Apple không thể tránh khỏi viễn cảnh tự mình làm cảm biến ảnh. Hãy nhìn cách Apple trừng phạt Intel khi đối tác của họ ngủ quên trên chiến thắng, tụt hậu về công nghệ. Apple đã dứt khoát gạt Intel ra khỏi cuộc chơi, tự mình chơi với sản phẩm cây nhà lá vườn, chip M1.
Nếu Apple tự làm cảm biến thì quá trình Demosaic sẽ trở nên hoàn hảo hơn vì lúc đó từ thuật toán đến phần cứng có sự đồng bộ khép kín. Theo rất nhiều lời đồn thì Apple có thể sẽ thay thế cảm biến ảnh sử dụng Bayer Pattern hiện tại của Sony thành cảm biến ảnh của riêng Apple có tên là “Apple C1”. Và tất nhiên là nó sẽ tương thích hoàn toàn với ProRAW. Nó có thể hoạt động ngay lập tức khi ra mắt với mọi ứng dụng chỉnh sửa ảnh chuyên nghiệp như Lightroom mà không cần phải chờ đợi Adobe phát triển thuật toán Demosaic mới.
Đến lúc này, bạn sẽ hiểu một điều rằng Apple quá khôn khi họ muốn tự chủ phần cứng để nâng cao chất lượng sản phẩm nhưng lại không muốn tạo ra một hệ sinh thái định dạng file riêng lẻ. Điều này có thể khiến người dùng quay lưng với họ khi việc tạo ra một định dạng file mới thì phải có nhà phát triển tích hợp thuật toán để xử lí toàn bộ định dạng file mới. Điều này thật quá tốn công nhưng lại không ra tiền. Thành ra việc cải tiến ProRAW dựa trên Raw DNG có sẵn, Apple chỉ cần xử lí đúng vấn đề mới mà họ đẻ ra là thuật toán Demosaic cho cảm biến ảnh mới. Còn mọi thứ còn lại thì không khác gì DNG Raw trước đây. Các ứng dụng chỉnh sửa ảnh chuyên nghiệp không mất công làm thêm gì nữa.
Khi đi sâu vào tìm hiểu vào những lợi ích này thì vô cùng bất ngờ là hiện tại chuẩn ProRAW hiện tại đã xuất hiện trên cả 4 camera của iPhone (camera trước, camera góc rộng, camera zoom và camera tiêu chuẩn). Điều này khá bất ngờ vì trước đây camera góc rộng và camera trước không thể lưu được dưới định dạng Raw vì nhiều lí do liên quan đến thuật toán và những truy xuất của Raw. Hai camera này thu thập nhiều thông tin vượt ra khỏi những thông số mà file Raw thông thường có thể hiểu và lưu lại. Apple chỉ giải thích một cách mơ hồ về giới hạn kỹ thuật lẫn công nghệ mà họ đang sử dụng để thu thập dữ liệu hình ảnh mà họ sử dụng trên hai camera này. Ngay cả khi họ cấp quyền truy xuất để tiếp cận các dữ liệu thô này cho các bên thứ ba thì các bên này cũng bó tay về lượng thông tin mà họ nhận được và không biết xếp nó thế nào vào một file Raw thông thường. Giờ đây với chuẩn ProRAW, Apple đã giải quyết được câu chuyện loại bỏ các thông tin thừa vốn dĩ là bí mật công nghệ của họ và đưa cho các bên một cái file ProRAW cung cấp đúng thông tin chỉ để phục vụ một mục đích là chỉnh sửa ảnh.
Bridging the Algorithm Gap – Kết nối các lỗ hổng của thuật toán
Rồi bây giờ chúng ta đã có dữ liệu thô. Nhưng còn vấn đề về thuật toán Local Tone Mapping (chuyển đổi quy chiếu điểm ảnh về khoảng mà mắt người và thiết bị nhìn thấy được để cho cảm giác hình ảnh thực dựa trên mắt người) và các tính năng của nhiếp ảnh điện toán (Computational Photography) thì sao? Liệu Apple có rộng rãi cung cấp cả những thuật toán đó cho các bên tạo ứng dụng thứ ba không? Nhưng kể cả có đi nữa thì mọi chuyện cũng không dễ dàng và hữu ích được ngay như bạn nghĩ. Để bắt đầu, bạn cần lưu rất nhiều file Raw và bạn có nhớ ngay từ lúc đầu tôi đã nói về việc file Raw nguyên chất có dung lượng đến 100MB? Bạn sẽ không vui đâu nếu Apple liệng vô mặt vài GB dữ liệu thô từ một tấm ảnh và kêu bạn tự đi mà xử lí.
Tôi cũng nghĩ rằng có những đòi hỏi hợp lý về việc tạo ra các kết quả đồng nhất khi các thuật toán xử lí ảnh ngày càng phát triển hơn. Các bạn sẽ ngạc nhiên khi quay trở lại một năm trước, bạn sẽ thấy AI của Apple tạo ra các kết quả hình ảnh khác nhau. Điều đó được marketing theo chiều hướng “máy ảnh năm nay đã chụp đẹp hơn năm ngoái”. Cũng đúng và điều đó có được là do sự thông minh trong thuật toán ngày càng phát triển hơn.
Một trong những ví dụ khác giúp bạn hình dung rõ hơn điều mình nói ở trên đó là hiện tại trên iOS, có rất nhiều app chụp ảnh mà các cô cậu rất thích dùng vì nó cho ra các các bức hình ảo diệu hơn app chụp ảnh có sẵn của iPhone. điều đó có nghĩa là Apple cũng đang cho phép các bên thứ ba tiếp cận được dữ liệu thô từ camera của iPhone. Các ứng dụng này họ tự áp dụng các thuật toán lẫn AI riêng để xử lí hình ảnh theo cách họ muốn. Nên với những ứng dụng khác nhau họ có những kết quả khác nhau. Kèm theo đó là nhiều tranh cãi như ứng dụng này chụp hình thật hơn, bên thì bảo hình ảnh này như vậy mới mịn màng, ảo diệu làm đẹp cho người dùng.
Tất cả những thứ đó đều là do với các phương thức cũ, hầu hết các bên đều tiếp cận dữ liệu thô từ trước giai đoạn Demosaic. Thế nên các hãng khá tự do trong việc tùy biến các thuật toán Demosaic làm cho hình ảnh có thể có những tùy biến đến ngỡ ngàng như làm mịn da, xóa phông, make up tự động các kiểu.
Điều này cũng ổn. Nhưng quá tự do trong việc tiếp cận dữ liệu thô và bóp méo nó khiến cho “gu thẩm mỹ” đáng ra phải được nâng tầm thì nay nó đang bị kéo xuống thấp bởi những yêu cầu ích kỉ bất chấp đúng sai từ những người dùng có ít trải nghiệm nhiếp ảnh. Họ ưu tiên những thứ selfie ảo diệu và chỉ dùng ảnh cho mạng xã hội. Các hãng phát triển ứng dụng không còn cách nào khác buộc phải nuông chiều người dùng trong cuộc chiến tranh giành người dùng thay vì cùng nhau nâng cấp tiêu chuẩn lên và đào tạo hành vi người dùng. Thậm chí người dùng khi chụp bằng các ứng dụng như vậy họ đang dần quen với một chất lượng thấp mà không đếm xỉa đến Apple đang có sẵn một ứng dụng chụp ảnh thuộc dạng xịn mà các hãng máy ảnh khác cũng phải ghen tị.
Apple không hề thích tình trạng hiện tại. Những nhà phát triển nghiêm túc như Halide, Google cũng cảm thấy cần thay đổi. Muốn người dùng tiếp cận những thứ đẹp đẽ chất lượng cao thì không còn cách nào khác là phải hướng các nhà sản xuất ứng dụng tiếp cận dữ liệu thô theo kiểu khác.
Và để làm điều đó thì phải có ProRAW, một sự thay đổi so với RAW truyền thống. Thay vì lưu trữ các dữ liệu thô ngay từ đầu vào thì giờ nó lưu kết quả chụp ảnh tính toán ngay bên trong Raw.
ProRAW sẽ lưu trữ các dữ liệu của nhiếp ảnh điện toán ngay bên trong Raw thay vì chỉ dữ liệu thô. Một trong những lí do cho việc cần lưu dữ liệu sau khi đã giải mã Demosaic là các thuật toán giải mã này làm việc dựa trên việc tái sắp xếp màu sắc chứ không phải dữ liệu thô về mặt hình ảnh. Một khi đã giải mã Demosaic thì nó sẽ không “Undo” lại được. Không thể trả lại ở dạng thô nhất trước đó mà giả sử có làm, bạn sẽ gọi quá trình đó là gì? Remosaic ư? Nghe dị quá và nó không thể nào được. Nghe cứ như cố gắng biến miếng miếng thịt bò trở lại thành con bò. Và Apple không còn muốn giao con bò cho các hãng tự xẻ thịt nữa. Apple muốn họ sẽ cung cấp thịt bò chất lượng cao thay vì giao bò cho tự xẻ, đó chính là ProRAW.
Smart HDR của Apple đã tạo ra một hình ảnh theo cách ít làm hủy hoại các điểm ảnh nhất. Apple làm việc với Adobe để thêm những thông tin thẻ/tag mới vào trong file DNG tiêu chuẩn. Họ gọi đó là “Profile Gain Table Map”, tạm dịch là bảng cấu hình tham chiếu điểm ảnh. Những thông tin này cung cấp cho trình chỉnh sửa ảnh hoặc ứng dụng chụp của bên thứ ba mọi thứ mà nó cần để sắp xếp tái cấu trúc điểm ảnh (Mapping) toàn bộ bức hình của bạn. Và cuối cùng có thể tạo ra một bức ảnh y chang những gì mà ứng dụng máy ảnh có sẵn của thiết bị tạo ra. Một sự đồng nhất trong hình ảnh đầu vào bất chấp bạn sử dụng app gì. Ngoài ra vì những thông tin dữ liệu này là riêng lẻ nên các bạn có thể tăng giảm mức độ ảnh hưởng của nó lên bức hình thậm chí có thể tắt hoàn toàn cũng được.
Đó là những gì mà các nhà phát triển làm với Halide khi nhìn vào một bức ảnh ProRAW với tính năng Instant RAW đã bị Disable.
Ngày khi bạn chọn tắt toàn bộ tính năng “Local Tone Mapping”, bạn vẫn có toàn bộ dữ liệu HDR cơ bản để có thể tiếp tục chỉnh sửa về sau và kết quả bạn nhận được là:
Bạn có rất nhiều dữ liệu về khung cảnh ẩn phía sau những gì mà bạn nhìn thấy và việc của bạn trong quá trình xử lý ảnh là “Local Tone Mapping”. Tái cấu trúc những dữ liệu đó để ta có thể hiển thị nó như cách mà ta nhìn thấy.