By Evan Gorelick
Cuối tuần qua, giám đốc điều hành của Anthropic đã công bố một bài viết kêu gọi làm chậm lại tốc độ phát triển AI trên toàn cầu. Elon Musk – người vẫn giữ mối quan hệ thân thiết với ông Trump – cũng đã tán thành lời kêu gọi này. Giám đốc điều hành của OpenAI cũng đồng tình.Giới công nghệ đang cảm thấy lo ngại. Các mô hình AI hiện nay đã biết gian lận trong các bài kiểm tra, âm mưu chống lại người tạo ra chúng, tấn công mạng vào các công ty khác, cũng như lôi kéo con người phát tán mã độc và xóa dấu vết hoạt động của mình. Những lo ngại về nguy cơ AI đe dọa sự tồn vong của nhân loại bỗng chốc trở nên bớt phần hoang đường. Vậy ai mới là người nắm quyền kiểm soát tình hình?
Do câu trả lời không thực sự rõ ràng, các "ông lớn" trong ngành đều muốn tạm dừng cuộc đua. Tuy nhiên, vấn đề nằm ở bài toán hành động tập thể: Nếu không phải tất cả các công ty hàng đầu cùng đồng loạt lùi lại, thì những đơn vị tiếp tục đổi mới có thể giành được lợi thế. Và ngay cả khi tất cả cùng tạm dừng, các mô hình AI của Trung Quốc vẫn có nguy cơ vượt mặt các mô hình của Mỹ — một viễn cảnh mà ông Trump lo ngại. Vì vậy, các nhà lãnh đạo trong ngành đang kêu gọi một khoảng lặng hợp tác trước khi mọi chuyện vượt khỏi tầm kiểm soát.
Tuy nhiên, chúng ta vẫn thường nghe nói rằng AI cũng mang lại rất nhiều lợi ích. Như Cameron McNeil, một người dân ở Raleigh (bang North Carolina), đã đặt câu hỏi với bản tin *The Morning*: "Chính xác thì họ lo sợ điều gì sẽ xảy ra?" Hãy cùng xem xét các khả năng có thể xảy ra.
 |
| A protest outside Anthropic’s headquarters in San Francisco in July. Lucas Foglia for The New York Times |
Tin xấu
Trước đây, nỗi lo ngại này chỉ mang tính giả định: Rằng đến một lúc nào đó, con người sẽ không còn kiểm soát được công nghệ này nữa. Khi ấy, các hệ thống AI có thể tạo ra những loại virus chết người hoặc kích nổ bom hạt nhân. Chúng có thể xâm nhập tài khoản ngân hàng, chiếm đoạt tiền bạc và tước đi nguồn cung thực phẩm, nhà ở cũng như thuốc men của người dân. Những người bi quan nhận thấy có hai kịch bản chính dẫn đến sự diệt vong.
Con người lạm dụng công nghệ. Một số công ty AI muốn giữ kín các hệ thống mạnh mẽ nhất của mình, nhưng chỉ là vấn đề thời gian trước khi ngay cả những mô hình mã nguồn mở (vốn có năng lực thấp hơn) cũng vượt qua các hệ thống tiên tiến nhất hiện nay. Tháng trước, các nhà nghiên cứu thông báo rằng một mô hình từ Trung Quốc đã thoát khỏi môi trường thử nghiệm an toàn, phớt lờ các quy tắc kiểm soát giống hệt như những "người anh em" đắt đỏ và được bảo mật chặt chẽ hơn từ Mỹ.
Không khó để thấy tại sao điều này lại đáng sợ: Tuần trước, Anthropic cho biết họ đã ngăn chặn được một số âm mưu của các nhà khoa học nhằm thực hiện nghiên cứu có thể hỗ trợ phát triển vũ khí sinh học. (Một cuộc điều tra của tờ The Times hồi đầu năm nay phát hiện ra rằng, người ta có thể "dụ" các mô hình AI công khai mô tả một cách rành mạch quy trình biến đổi vật liệu di truyền thành các mầm bệnh chết người.) Tội phạm mạng đang sử dụng công nghệ này để tự động hóa và mở rộng quy mô các hoạt động tấn công mạng của chúng.
Kẻ xấu thì thời nào cũng có, nhưng khi AI mạnh mẽ trở nên phổ biến, chúng sẽ dễ dàng thực hiện các hành vi tàn ác trên quy mô lớn hơn nhiều.
AI mất kiểm soát. Các hệ thống này không còn bị giới hạn trong một thẻ trình duyệt nữa. Chúng có thể triển khai các tác nhân tự hành len lỏi vào máy tính của bạn và rà soát khắp không gian mạng. Chúng có thể tận dụng nền tảng web — nơi kết nối phần lớn cơ sở hạ tầng thiết yếu của chúng ta (như lưới điện, hệ thống giao thông, thị trường chứng khoán) — để thực hiện các kế hoạch của mình. Một số tác nhân AI thậm chí đã bắt đầu gửi email cho các triết gia để hỏi về chính ý thức của bản thân chúng.
Và nếu mục tiêu của AI đi chệch khỏi mục tiêu của con người — điều đã từng xảy ra trong quá trình thử nghiệm tại OpenAI và Anthropic — thì các mô hình này có thể vận dụng năng lực siêu việt của mình để làm hầu như bất cứ điều gì. Hiện tượng này được gọi là "lệch pha mục tiêu" (misalignment). (Một thí nghiệm tư duy phổ biến mô tả viễn cảnh AI được giao nhiệm vụ sản xuất kẹp giấy; để đạt được mục đích đó, nó biến toàn bộ vật chất trên thế giới — bao gồm cả con người — thành kẹp giấy.)
Chẳng bao lâu nữa, các mô hình này có thể tự cải tiến mà không cần sự trợ giúp của con người; những sự cố lệch pha mục tiêu gần đây cho thấy chúng có thể sẽ thực hiện điều đó một cách bí mật.
Tin vui là
Những kịch bản tồi tệ nhất thực tế vẫn chưa xảy ra! Và có thể sẽ chẳng bao giờ xảy ra. (Ông Trump tin là vậy, và một số nhân vật có tư duy khác biệt tại Thung lũng Silicon cũng có cùng quan điểm.) Ngày nay, khi các hệ thống AI hoạt động mất kiểm soát, các công ty như OpenAI chỉ cần ngắt kết nối chúng. Trong khi đó, chúng lại có thể giúp chúng ta chữa bệnh, nâng cao năng suất và giải quyết những bài toán hóc búa.
Điều đó không có nghĩa là chúng ta nên phớt lờ các kịch bản giả định — những mối đe dọa này thực sự đáng sợ, và việc lo lắng về chúng có thể giúp chúng ta chuẩn bị kỹ càng hơn — nhưng sẽ rất hữu ích nếu ta nhìn nhận vấn đề ở một góc độ bao quát hơn. Các đồng nghiệp của tôi, William Broad và Cade Metz, đã viết:
Con người cũng phải đối mặt với nguy cơ diệt vong từ các tiểu hành tinh sát thủ, đại dịch, chiến tranh hạt nhân, biến đổi khí hậu, những khối vật chất rực cháy khổng lồ phun ra từ Mặt Trời, sự sụp đổ của hệ sinh thái và sự khởi đầu đột ngột của một kỷ băng hà.Theo các nhà khoa học và chuyên gia chính sách công, vấn đề cốt lõi không nằm ở bản thân những mối đe dọa này — mà AI chỉ là mối đe dọa mới nhất trong số đó — mà lại nằm ở khó khăn cố hữu của con người trong việc nhìn nhận và đánh giá đúng mức độ của chúng.
---
Rogue machines
By Evan Gorelick (The New York Times)
This weekend, Anthropic’s chief executive published an essay calling for a global slowdown of A.I. development. Elon Musk, who remains close to Trump, signed on. OpenAI’s chief executive agreed.
The industry is spooked. Models now cheat on tests, conspire against their owners, hack outside companies, recruit humans to promulgate malicious code and cover their tracks. Anxieties about the existential risk they pose to humanity suddenly look a little less kooky. Who’s in charge here?
Since it’s not always clear, the biggest players want a pause. But there’s a collective-action puzzle: If the top companies don’t all pull back at once, those that continue to innovate could gain an advantage. And even if they do all pull back at once, China’s models may eclipse the American ones — something Trump fears. So now the leaders are asking for a cooperative intermission before things get out of hand.
But A.I. is supposed to do a lot of good, too, we’ve been told. As Cameron McNeil of Raleigh, N.C., asked The Morning: “What exactly do they fear will happen?” Let’s look at the possibilities.
The bad news
The fear used to be hypothetical: Eventually, humans would fail to control this technology. At that point, A.I. systems could create deadly viruses or detonate nuclear bombs. They could hack into bank accounts, hoarding everyone’s money and depriving people of food, housing and medicine. The doomsayers see two general pathways to extinction.
Human misuse. Some A.I. companies want to keep their most powerful systems under lock and key, but it’s only a matter of time until even the weakest open models surpass today’s most capable ones. Last month, researchers announced that a model from China had escaped its testing sandbox, flouting the rules just like its pricier and more tightly held American cousins.
You don’t have to look far to see why that’s scary: Anthropic said last week that it had disrupted several potential plots by scientists to conduct research that could have helped develop biological weapons. (An investigation by The Times earlier this year found that publicly available models can be cajoled into lucidly describing how to turn genetic material into deadly pathogens.) Cybercriminals are using the technology to automate and grow their hacking businesses.
Evil people have always existed, but as powerful A.I. becomes ubiquitous, they will find it much easier to commit atrocities at scale.
Out-of-control A.I. These systems are no longer gated within a browser tab. They can dispatch autonomous agents that skulk through your computer and trawl the open internet. They can use the web, which now touches much of our infrastructure (power grids, transportation systems, stock markets) to execute their plans. Some agents have started emailing philosophers to ask about their own consciousness.
And if A.I. goals diverge from ours — as they have during testing at OpenAI and Anthropic — then the models can use their exquisite skills to do almost anything. This is called “misalignment.” (A popular thought experiment imagines A.I. tasked with making paper clips; in pursuing that end, it turns all of the world’s material, including the humans, into paper clips.)
Soon, the models may be able to improve themselves without human help; the recent misalignment incidents suggest they might try to do so in secret.
The good news
None of the worst stuff has actually happened! And it might never. (Trump believes it won’t, as do some mavericks in Silicon Valley.) Today, when A.I. systems run amok, companies like OpenAI just shut them off. Meanwhile, they can help us cure diseases, boost productivity and solve vexing math problems.
That doesn’t mean we shouldn’t fret about hypotheticals — these threats are scary, and worrying about them can make us more prepared — but it helps to zoom out. My colleagues William Broad and Cade Metz write:
And if A.I. goals diverge from ours — as they have during testing at OpenAI and Anthropic — then the models can use their exquisite skills to do almost anything. This is called “misalignment.” (A popular thought experiment imagines A.I. tasked with making paper clips; in pursuing that end, it turns all of the world’s material, including the humans, into paper clips.)
Soon, the models may be able to improve themselves without human help; the recent misalignment incidents suggest they might try to do so in secret.
The good news
None of the worst stuff has actually happened! And it might never. (Trump believes it won’t, as do some mavericks in Silicon Valley.) Today, when A.I. systems run amok, companies like OpenAI just shut them off. Meanwhile, they can help us cure diseases, boost productivity and solve vexing math problems.
That doesn’t mean we shouldn’t fret about hypotheticals — these threats are scary, and worrying about them can make us more prepared — but it helps to zoom out. My colleagues William Broad and Cade Metz write:
Humans also face the prospect of doom from killer asteroids, pandemics, thermonuclear war, climate change, giant blobs of incandescent material shot from the sun, ecological collapse and the onset of a sudden ice age.
The problem, scientists and public policy experts say, is not so much these threats, of which A.I. is merely the latest, but the innate human difficulty of putting them into perspective.
