(English below)
Open Topography là một cổng thông tin trực tuyến cho dữ liệu hình ảnh và lidar, cho phép người dùng tạo các sản phẩm của riêng họ dựa trên cùng một dữ liệu đó.

Christopher Crosby, người đồng sáng lập Open Topography, giải thích tất cả về nền tảng này, nền tảng này nằm ở giao điểm của GIS, khoa học địa lý và CNTT cũng như cách các bên liên quan khác nhau tìm kiếm các ứng dụng mới cho Open Topography và cách giữ cho dữ liệu có thể truy cập được với mô hình kinh doanh ổn định cho tương lai.

Open Topography là một cổng thông tin trực tuyến hoặc cơ sở hạ tầng dữ liệu không gian hoặc ngôi nhà thanh toán bù trừ cho dữ liệu địa hình. Thông qua giao diện dựa trên web, nó cung cấp quyền truy cập vào mọi thứ từ dữ liệu DEM toàn cầu như dữ liệu về nhiệm vụ địa hình radar của tàu con thoi (SRTM) cho tất cả các bộ sưu tập của tiểu bang và quốc gia.

Ngoài kho lưu trữ dữ liệu, Open Topography cung cấp các công cụ có thể chạy động trên dữ liệu được lưu trữ để tạo ra các sản phẩm.
Một trong những người đồng sáng lập Open Topography là Christopher Crosby, người được giới thiệu đến lidar với tư cách là thực tập sinh tại USGS (Cơ quan Khảo sát Địa chất Hoa Kỳ) vào năm 2000. Đây vẫn là những ngày đầu đối với lidar, vì không có nhiều hỗ trợ trong hầu hết các gói không gian địa lý chính.

Đối với Crosby, làm việc với hàng trăm triệu điểm lidar ở định dạng ASCII là một trải nghiệm mở rộng tầm mắt nhưng cũng đầy thách thức.
Cộng tác với Trung tâm Siêu máy tính San Diego (SDSC)
Năm 2009, Crosby được làm việc tại Đại học California ở San Diego với sự tài trợ của Quỹ Khoa học Quốc gia từ một cố vấn từ Đại học Bang Arizona. Đây là nơi Open Topography bắt đầu như một dự án hợp tác tại giao điểm giữa GIS, khoa học địa lý và công nghệ thông tin, và với Trung tâm Siêu máy tính San Diego là tổ chức chính.
Crosby đã có thể xây dựng hệ thống xử lý dữ liệu lidar dựa trên web thô, vì vậy người dùng có thể tải lên tệp ASCII và nhận Mô hình độ cao kỹ thuật số (DEM).

“Chúng tôi đã cố gắng xây dựng các giao diện dựa trên web tương tác và đặt chúng đằng sau những thứ như ArcIMS. Nhóm nghiên cứu tại Trung tâm Siêu máy tính San Diego (SDSC) tại Đại học California đã thực hiện rất nhiều nguyên mẫu, lặp lại và xây dựng các hệ thống hoàn thiện hơn. Theo thời gian, rõ ràng là chúng tôi đã đi đúng hướng. Chúng tôi dường như cũng đang xây dựng một thứ gì đó phù hợp với nhu cầu quan trọng, đó là cung cấp các bộ sưu tập lidar cho các ứng dụng khoa học trái đất cho người dùng, chẳng hạn như lập bản đồ các trận lở đất, núi lửa và đứt gãy San Andreas ”, Crobys nói.

Mở bộ dữ liệu địa hình và định dạng tệp raster và lidar
Open Topography ngày nay cung cấp các bộ dữ liệu raster toàn cầu và rất đồng nhất bao phủ hầu hết trái đất. Điều này có nghĩa là người dùng có thể thực hiện lựa chọn ở bất kỳ đâu trên trái đất và lấy lại dữ liệu DEM cơ bản, cũng như các dẫn xuất từ ​​dữ liệu đó.

Tuy nhiên, tập dữ liệu lidar có xu hướng dành riêng cho dự án hơn và được coi như vậy, Crosby nói: “Mọi thứ trở nên lộn xộn khi bạn thử ghép các tập dữ liệu được thu thập từ các khoảng thời gian khác nhau. Ngoài ra còn có các vấn đề với hệ thống tọa độ, dữ liệu và sự khác biệt trong quá trình xử lý và kiểm soát chất lượng, vì vậy đó là lý do tại sao chúng tôi quản lý các tập dữ liệu đó trên cơ sở từng trường hợp ”.

Open Topography gần đây đã áp dụng định dạng GeoTIFF (COG) được tối ưu hóa trên đám mây. COG là một tệp GeoTIFF thông thường, nhằm mục đích được lưu trữ trên máy chủ tệp HTTP, với một tổ chức nội bộ cho phép quy trình làm việc hiệu quả hơn trên đám mây. Open Topography đã lấy toàn bộ kho lưu trữ raster của họ và chuyển đổi nó thành COG, để các dịch vụ theo yêu cầu của họ hiện sản xuất COG.

Một cái gì đó tương tự đang được phát triển cho các đám mây điểm được gọi là Đám mây Điểm Tối ưu hóa Đám mây (COPC), được Howard Butler xác định là định dạng tệp cho phép lưu trữ một tệp ở định dạng vùng chứa phổ biến nhất với hỗ trợ truy cập từ xa tăng dần theo không gian. “Ý tưởng đằng sau nó là có thể phát trực tuyến động từ một tập hợp tĩnh các tệp đám mây điểm trên đĩa. Crosby nói: "

Mở chính sách truy cập dữ liệu và tải lên dữ liệu của Topography
Có hai cách để đưa dữ liệu vào Open Topography.

Đầu tiên là tải tập dữ liệu lên thông qua trình duyệt web. Chúng cần phải tương đối nhỏ vì bạn không thể tải lên hàng trăm gigabyte dữ liệu thông qua trình duyệt web.Crosby giải thích rằng cách thứ hai là lấy dữ liệu ra khỏi tài nguyên từ xa hoặc qua ổ cứng: “Đối với cả hai quy trình công việc, điều xảy ra tiếp theo là chúng tôi chạy nó thông qua quá trình nhập trên chương trình phụ trợ và thực hiện kiểm soát chất lượng cấp tệp. Nhưng chúng tôi không thể kiểm tra tất cả mọi thứ, chẳng hạn như trình độ đám mây điểm tốt như thế nào hoặc có bị lệch đường bay hay không. Mức độ kiểm soát chất lượng đó rất tốn công sức, vì vậy chúng tôi không làm điều đó. Chúng tôi lấy dữ liệu khi nó được phân phối và hy vọng ai đó ở phía trên của chúng tôi đã thực hiện một số công việc kiểm soát chất lượng đó. Tuy nhiên, mọi tập dữ liệu đều đi kèm với một báo cáo siêu dữ liệu khảo sát, vì vậy mọi người có thể kiểm tra cách GNSS được thu thập hoặc loại kiểm soát mặt đất đã được sử dụng ”.

Crosby cho biết một số dữ liệu trên Open Topography đã hạn chế quyền truy cập. “Chúng tôi tin tưởng mạnh mẽ vào dữ liệu mở và quyền truy cập dữ liệu mở, nhưng trong những trường hợp cụ thể, cộng đồng nghiên cứu đã yêu cầu chúng tôi cung cấp để cung cấp quyền truy cập theo từng trường hợp.” Một ví dụ về điều này là cộng đồng khảo cổ học, những người đã thực hiện các cuộc khảo sát lidar ở những nơi ở Trung Mỹ và Đông Nam Á. Vì những dữ liệu này được thu thập với sự tài trợ của NSF, chúng nằm trong Địa hình Mở, nhưng quyền truy cập bị hạn chế vì những gì có thể nhìn thấy trong dữ liệu và khả năng bị cướp bóc các địa điểm đó.

Một trường hợp khác khi Địa hình mở hạn chế quyền truy cập dữ liệu là nơi dữ liệu được thu thập cho các mục đích học thuật, nhưng trong đó một nhóm nghiên cứu chưa gửi ấn phẩm của họ. “Trong trường hợp đó, chúng tôi thực hiện lệnh cấm vận tạm thời cho đến khi ấn phẩm được phát hành.”

-------

OPEN TOPOGRAPHY: A SPATIAL DATA INFRASTRUCTURE FOR TOPOGRAPHIC DATA - P1
Open Topography is an online portal for imagery and lidar data, that lets users create their own deliverables based on that same data.

Christopher Crosby, co-founder of Open Topography, explains all about this platform which finds itself at the intersection of GIS, geoscience, and IT, and how different stakeholders are finding new applications for the Open Topography and how to keep making data accessible with a stable business model for the future. 

Open Topography is an online portal or clearing house or spatial data infrastructure for topographic data. Through a web-based interface, it provides access to everything from global DEM data like Shuttle radar topography mission (SRTM) data sets all the way through to state and national lidar collections.

Apart from a data archive, Open Topography offers tools that can be run dynamically on the hosted data to generate produces. 
One of the co-founders of Open Topography is Christopher Crosby, who was introduced to lidar as an intern at the USGS (United States Geological Survey) in the year 2000. This was still early days for lidar, as there was not much support in most mainstream geospatial packages.

For Crosby, working with hundreds of millions of lidar points in ASCII format was an eye-opening experience, but also challenging.
Collaborating with San Diego Supercomputer Center (SDSC)
In 2009, Crosby got to work at the University of California in San Diego with National Science Foundation funding from an advisor from Arizona State University. This is where Open Topography started as a collaboration project at the intersection between GIS, geoscience and information technology, and with the San Diego Supercomputer Center being the lead institution.
Crosby was able to build crude web based lidar data processing systems, so users could upload an ASCII file and receive a Digital Elevation Model (DEM). 

“We tried to build interactive web-based interfaces and put them behind things such as ArcIMS. The team at the San Diego Supercomputer Center (SDSC) at the University of California did lots of prototyping, iterating and building more mature systems. Over time, it became clear that we were going in the right direction. We also seemed to building something that fit a critical need, which was delivering lidar collections for earth science applications to users, for example mapping landslides, volcanoes and the San Andreas fault”, says Crobys.

Open Topography datasets and raster and lidar file formats
Open Topography today offers global and very homogeneous raster datasets that cover most of the earth. This means that the user can make a selection anywhere on the earth and get back the underlying DEM data, as well as derivatives from that data.

However, lidar datasets tend to be more project-specific and are treated as such, says Crosby: “Things get messy when you try stitching datasets collected from different time periods. There are also issues with coordinate systems, datums and differences in processing and quality control, so that’s why we manage those datasets on a case-by-case basis.”

Open Topography recently adopted the Cloud Optimized GeoTIFF (COG) format. A COG is a regular GeoTIFF file, aimed at being hosted on a HTTP file server, with an internal organization that enables more efficient workflows on the cloud. Open Topography took their whole raster archive and converted it to COGs, so that their on-demand services now produce COGs. 

Something similar is being developed for point clouds called Cloud Optimized Point Cloud (COPC), defined by Howard Butler as a file format that allows for single-file storage of the most common container format with support for spatially accelerated incremental remote access. “The idea behind it is to be able to dynamic streaming from a static set of point cloud files sitting on disc. It should enable a lot of interesting things once it’s complete, but it’s still early days”, says Crosby.

Open Topography’s Data upload and data access policies
There are two ways to get data into Open Topography.

The first is to upload datasets through a web browser. These need to be relatively small, as you can’t upload hundreds of gigabytes of data through a web browser.

The second way is by pulling data off of a remote resource or via hard drive, explains Crosby: “For both workflows, what happens next is that we run it through ingestion process on the backend and do file-level quality control. But we cannot check everything, for example how good point cloud qualifications are or if there are flight line misalignments. That level of quality control is very labor intensive, so we don’t do that. We take the data as it was delivered and hope someone else upstream of us did some of that quality control. However, every data set comes with a survey metadata report, so people can check how the GNSS was collected or what kind of ground control was used.”
Some of the data on Open Topography has restricted access, says Crosby. “We believe strongly in open data and open data access, but in specific cases, we’ve been asked by the research community to provide to provide access on a case by case basis.” An example of this is the archeological community, who have done lidar surveys in places in Central America and Southeast Asia. As these data were collected with funding from the NSF, they are inside of Open Topography, but access is restricted because of what is visible in the data and the potential for looting of such sites.

Another case where data access was restricted by Open Topography was where data was collected for academic purposes, but where a research group hadn’t yet submitted their publication. “In that case, we do a temporary embargo until the publication is released.”

Geolink tổng hợp từ Gislounge