Hơn 1.200 nhà khoa học và lãnh đạo công nghệ đã công bố một bức thư ngỏ kêu gọi tạm dừng nghiên cứu về các mô hình AI lớn hơn GPT-4 trong bối cảnh lo ngại về những tác động và rủi ro chưa biết đối với xã hội.AI có nên dừng lại khôngNhững tháng gần đây đã chứng kiến sự tiến bộ vượt bậc trong lĩnh vực AI.

Từ các mô hình ngôn ngữ như ChatGPT và GPT-4 kế nhiệm của nó, đến việc tạo hình ảnh chân thực và tổng hợp video, cho đến chế tạo robot đa phương thức, những tiến bộ mới nhất là một bước thay đổi so với bất kỳ điều gì từng thấy trước đây. Sự quan tâm của công chúng đối với AI đã tăng lên, vì những gì từng có vẻ giống như khoa học viễn tưởng giờ đây đang nhanh chóng được đưa vào tầm ngắm.Tuần trước, đồng sáng lập Microsoft và nhà từ thiện Bill Gates đã viết trên blog của mình: "Sự phát triển của AI cũng cơ bản như việc tạo ra bộ vi xử lý, máy tính cá nhân, Internet và điện thoại di động.

Nó sẽ thay đổi cách mọi người làm việc." , học hỏi, du lịch, chăm sóc sức khỏe và giao tiếp với nhau. Toàn bộ các ngành sẽ định hướng lại xung quanh nó."Nhưng trong khi AI có thể mang lại lợi ích to lớn cho nhân loại thì việc tạo ra một công nghệ mạnh mẽ như vậy lại mang đến nhiều rủi ro và ẩn số, có khả năng gây thảm họa nếu được quản lý kém. Giống như việc phát minh ra vũ khí hạt nhân, trí tuệ nhân tạo tổng hợp (AGI) có thể làm thay đổi thế giới - một vị thần trong chai khó hoặc không thể đặt lại được.

Ngay cả khi bỏ qua kịch bản xấu nhất về ngày tận thế kiểu Kẻ hủy diệt, những tác động đáng kể khác vẫn có thể xảy ra. Với máy móc và phần mềm có thể thực hiện các nhiệm vụ trước đây do con người thực hiện, tỷ lệ thất nghiệp về công nghệ có thể tăng cao trong những năm và thập kỷ tới.

Goldman Sachs vừa công bố báo cáo cảnh báo 300 triệu việc làm có thể bị gián đoạn trong thời gian tới.Quyền riêng tư và bảo mật cũng có thể bị đe dọa bởi các hệ thống AI thu thập lượng lớn dữ liệu cá nhân để xử lý bằng các thuật toán phức tạp hơn bao giờ hết. Những thành kiến, tin tức giả mạo và sự phân biệt đối xử hiện có trong xã hội có thể được duy trì nếu các mô hình có sai sót và dữ liệu không chính xác.Cuộc chạy đua hiện nay để sản xuất các mẫu ngày càng lớn hơn – một số hiện đạt tới hàng trăm tỷ thông số – ngày càng có nhiều người quan tâm. Hơn 1.200 nhà khoa học và lãnh đạo công nghệ đã công bố một bức thư ngỏ kêu gọi dừng ngay việc phát triển các mô hình quy mô lớn này để đánh giá mức độ an toàn và rủi ro của chúng.

Chúng tôi đã sao chép đầy đủ tuyên bố của họ dưới đây.

Các hệ thống AI với trí thông minh cạnh tranh với con người có thể gây ra rủi ro sâu sắc cho xã hội và nhân loại, như đã được chứng minh qua nghiên cứu sâu rộng và được các phòng thí nghiệm AI hàng đầu thừa nhận. Như đã nêu trong Nguyên tắc AI của Asilomar được xác nhận rộng rãi, AI nâng cao có thể thể hiện sự thay đổi sâu sắc trong lịch sử sự sống trên Trái đất và cần được lên kế hoạch và quản lý với sự quan tâm và nguồn lực tương xứng. Thật không may, mức độ lập kế hoạch và quản lý này không xảy ra, mặc dù những tháng gần đây đã chứng kiến các phòng thí nghiệm AI bị mắc kẹt trong một cuộc chạy đua ngoài tầm kiểm soát nhằm phát triển và triển khai những bộ óc kỹ thuật số mạnh mẽ hơn bao giờ hết mà không ai - kể cả người tạo ra chúng - có thể hiểu được, dự đoán hoặc kiểm soát một cách đáng tin cậy.Các hệ thống AI đương đại hiện đang trở nên cạnh tranh với con người trong các nhiệm vụ chung và chúng ta phải tự hỏi: Chúng ta có nên để máy móc tràn ngập các kênh thông tin của mình với những tuyên truyền và thông tin sai sự thật không? Chúng ta có nên tự động hóa tất cả các công việc, bao gồm cả những công việc đã hoàn thành không? Chúng ta có nên phát triển những bộ óc phi nhân loại mà cuối cùng có thể đông hơn, thông minh hơn, lỗi thời và thay thế chúng ta không? Chúng ta có nên mạo hiểm mất quyền kiểm soát nền văn minh của mình không? Những quyết định như vậy không được phép giao cho các nhà lãnh đạo công nghệ không được bầu chọn. Các hệ thống AI mạnh mẽ chỉ nên được phát triển khi chúng ta tin tưởng rằng tác động của chúng sẽ tích cực và rủi ro của chúng có thể kiểm soát được.

Sự tin cậy này phải được chứng minh rõ ràng và tăng lên cùng với mức độ ảnh hưởng tiềm tàng của hệ thống. Tuyên bố gần đây của OpenAI về trí tuệ nhân tạo nói chung, nói rằng "Tại một thời điểm nào đó, điều quan trọng là phải có được sự đánh giá độc lập trước khi bắt đầu đào tạo các hệ thống trong tương lai và đối với những nỗ lực tiên tiến nhất nhằm đồng ý hạn chế tốc độ tăng trưởng của máy tính được sử dụng để tạo ra các hệ thống mới." người mẫu." Chúng ta đồng ý. Điểm đó là bây giờ.Do đó, chúng tôi kêu gọi tất cả các phòng thí nghiệm AI ngay lập tức tạm dừng ít nhất 6 tháng việc đào tạo các hệ thống AI mạnh hơn GPT-4. Việc tạm dừng này phải được công khai và có thể kiểm chứng, đồng thời bao gồm tất cả các bên tham gia chính. Nếu việc tạm dừng như vậy không thể được ban hành nhanh chóng, các chính phủ nên vào cuộc và đưa ra lệnh tạm dừng.

Các phòng thí nghiệm AI và các chuyên gia độc lập nên tận dụng thời gian tạm dừng này để cùng phát triển và triển khai một bộ giao thức an toàn chung dành cho thiết kế và phát triển AI tiên tiến được các chuyên gia độc lập bên ngoài kiểm tra và giám sát nghiêm ngặt. Các giao thức này phải đảm bảo rằng các hệ thống tuân theo chúng được an toàn ngoài sự nghi ngờ hợp lý. Điều này không có nghĩa là tạm dừng phát triển AI nói chung, mà chỉ đơn thuần là bước lùi khỏi cuộc đua nguy hiểm để hướng tới các mô hình hộp đen ngày càng lớn hơn, khó đoán hơn với các khả năng nổi bật.Nghiên cứu và phát triển AI nên được tập trung lại vào việc làm cho các hệ thống mạnh mẽ, hiện đại ngày nay trở nên hiệu quả hơn

More than 1,200 scientists and technology leaders have published an open letter calling for research on AI models bigger than GPT-4 to be halted amid concerns over unknown impacts and risks to society.

Recent months have seen an avalanche of progress in AI. From language models like ChatGPT and its successor GPT-4, to photorealistic image generation and video synthesis, to multimodal robotics, the latest advances are a step change above anything seen before. Public interest in AI has surged, as what once seemed like sci-fi is now rapidly moving into view.

Last week, Microsoft co-founder and philanthropist Bill Gates wrote on his blog: "The development of AI is as fundamental as the creation of the microprocessor, the personal computer, the Internet, and the mobile phone. It will change the way people work, learn, travel, get health care, and communicate with each other. Entire industries will reorient around it."

But while AI could provide huge benefits to humanity, the creation of such a powerful technology brings many risks and unknowns, potentially catastrophic if poorly managed. Like the invention of nuclear weapons, artificial general intelligence (AGI) could be world-altering – a genie-in-the-bottle that is difficult or impossible to put back.

Even ignoring the worst-case scenario of a Terminator-style apocalypse, other significant impacts may occur. With machines and software able to perform tasks previously done by humans, technological unemployment could surge in the years and decades ahead. Goldman Sachs has just published a report warning that 300 million jobs are likely to be disrupted in the near future.

Privacy and security might also be threatened by AI systems gathering vast amounts of personal data for processing by ever more sophisticated algorithms. Existing biases, fake news and discrimination in society could be perpetuated if the models contain flaws and inaccurate data.

The current race to produce larger and larger models – some now reaching into hundreds of billions of parameters – has a growing number of people concerned. More than 1,200 scientists and technology leaders have published an open letter calling for an immediate halt to development of these large-scale models in order to assess their safety and risks. We have reproduced their statement in full below.

AI systems with human-competitive intelligence can pose profound risks to society and humanity, as shown by extensive research and acknowledged by top AI labs. As stated in the widely-endorsed Asilomar AI Principles, Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources. Unfortunately, this level of planning and management is not happening, even though recent months have seen AI labs locked in an out-of-control race to develop and deploy ever more powerful digital minds that no one – not even their creators – can understand, predict, or reliably control.

Contemporary AI systems are now becoming human-competitive at general tasks, and we must ask ourselves: Should we let machines flood our information channels with propaganda and untruth? Should we automate away all the jobs, including the fulfilling ones? Should we develop nonhuman minds that might eventually outnumber, outsmart, obsolete and replace us? Should we risk loss of control of our civilization? Such decisions must not be delegated to unelected tech leaders. Powerful AI systems should be developed only once we are confident that their effects will be positive and their risks will be manageable. This confidence must be well justified and increase with the magnitude of a system's potential effects. OpenAI's recent statement regarding artificial general intelligence, states that "At some point, it may be important to get independent review before starting to train future systems, and for the most advanced efforts to agree to limit the rate of growth of compute used for creating new models." We agree. That point is now.

Therefore, we call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. This pause should be public and verifiable, and include all key actors. If such a pause cannot be enacted quickly, governments should step in and institute a moratorium.

AI labs and independent experts should use this pause to jointly develop and implement a set of shared safety protocols for advanced AI design and development that are rigorously audited and overseen by independent outside experts. These protocols should ensure that systems adhering to them are safe beyond a reasonable doubt. This does not mean a pause on AI development in general, merely a stepping back from the dangerous race to ever-larger unpredictable black-box models with emergent capabilities.

AI research and development should be refocused on making today's powerful, state-of-the-art systems more accurate, safe, interpretable, transparent, robust, aligned, trustworthy, and loyal.

In parallel, AI developers must work with policymakers to dramatically accelerate development of robust AI governance systems. These should at a minimum include: new and capable regulatory authorities dedicated to AI; oversight and tracking of highly capable AI systems and large pools of computational capability; provenance and watermarking systems to help distinguish real from synthetic and to track model leaks; a robust auditing and certification ecosystem; liability for AI-caused harm; robust public funding for technical AI safety research; and well-resourced institutions for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause.

Humanity can enjoy a flourishing future with AI. Having succeeded in creating powerful AI systems, we can now enjoy an "AI summer" in which we reap the rewards, engineer these systems for the clear benefit of all, and give society a chance to adapt. Society has hit pause on other technologies with potentially catastrophic effects on society (examples include human cloning, human germline modification, gain-of-function research, and eugenics). We can do so here. Let's enjoy a long AI summer, not rush unprepared into a fall.

The signatories (1,279 at the time of writing) include prominent scientists and industry figures such as Steve Wozniak (Apple co-founder), Elon Musk (CEO of SpaceX, Tesla, and Twitter, co-founder of OpenAI), Rachel Bronson (President, Bulletin of the Atomic Scientists), and Max Tegmark (Professor at MIT's Center for Artificial Intelligence and Fundamental Interactions, President of the Future of Life Institute).

On social media, however, others have opposed the letter – pointing out that if companies like OpenAI halt their research, hostile states and bad actors may then take advantage and leapfrog ahead.