AIアライメント (Japanese Wikipedia)

Perez, Ethan; Huang, Saffron; Song, Francis; Cai, Trevor; Ring, Roman; Aslanides, John; Glaese, Amelia; McAleese, Nat; Irving, Geoffrey (7 February 2022). "Red Teaming Language Models with Language Models". arXiv:2202.03286 [cs.CL]。
- Bhattacharyya, Sreejani (2022年2月14日). “DeepMind's "red teaming" language models with language models: What is it?”. Analytics India Magazine. February 13, 2023時点のオリジナルよりアーカイブ。2022年7月23日

arstechnica.com

Dominguez, Daniel (2022年5月19日). “DeepMind Introduces Gato, a New Generalist AI Agent”. InfoQ. February 10, 2023時点のオリジナルよりアーカイブ。2022年9月9日閲覧。
- Edwards, Ben (2022年4月26日). “Adept's AI assistant can browse, search, and use web apps like a human”. Ars Technica. January 17, 2023時点のオリジナルよりアーカイブ。2022年9月9日

arxiv.org

Hendrycks, Dan; Carlini, Nicholas; Schulman, John; Steinhardt, Jacob (16 June 2022). "Unsolved Problems in ML Safety". arXiv:2109.13916 [cs.LG]。
Ngo, Richard; Chan, Lawrence; Mindermann, Sören (22 February 2023). "The alignment problem from a deep learning perspective". arXiv:2209.00626 [cs.AI]。
Carlsmith, Joseph (16 June 2022). "Is Power-Seeking AI an Existential Risk?". arXiv:2206.13353 [cs.CY]。
Bommasani, Rishi; Hudson, Drew A.; Adeli, Ehsan; Altman, Russ; Arora, Simran; von Arx, Sydney; Bernstein, Michael S.; Bohg, Jeannette et al. (2022-07-12). “On the Opportunities and Risks of Foundation Models”. Stanford CRFM. arXiv:2108.07258.
Ouyang, Long; Wu, Jeff; Jiang, Xu; Almeida, Diogo; Wainwright, Carroll L.; Mishkin, Pamela; Zhang, Chong; Agarwal, Sandhini; Slama, Katarina; Ray, Alex; Schulman, J.; Hilton, Jacob; Kelton, Fraser; Miller, Luke E.; Simens, Maddie; Askell, Amanda; Welinder, P.; Christiano, P.; Leike, J.; Lowe, Ryan J. (2022). "Training language models to follow instructions with human feedback". arXiv:2203.02155 [cs.CL]。
Amodei, Dario; Olah, Chris; Steinhardt, Jacob; Christiano, Paul; Schulman, John; Mané, Dan (21 June 2016). "Concrete Problems in AI Safety" (英語). arXiv:1606.06565 [cs.AI]。
Doshi-Velez, Finale; Kim, Been (2 March 2017). "Towards A Rigorous Science of Interpretable Machine Learning". arXiv:1702.08608 [stat.ML]。
- Wiblin, Robert (4 August 2021). "Chris Olah on what the hell is going on inside neural networks" (Podcast). 80,000 hours. No. 107. 2022年7月23日閲覧。
- Mohseni, Sina; Wang, Haotao; Yu, Zhiding; Xiao, Chaowei; Wang, Zhangyang; Yadawa, Jay (7 March 2022). "Taxonomy of Machine Learning Safety: A Survey and Primer". arXiv:2106.04823 [cs.LG]。
- Manheim, David; Garrabrant, Scott (2018). "Categorizing Variants of Goodhart's Law". arXiv:1803.04585 [cs.AI]。
- Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin et al. (2022-02-01). “Survey of Hallucination in Natural Language Generation”. ACM Computing Surveys 55 (12): 1–38. arXiv:2202.03629. doi:10.1145/3571730. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 October 14, 2022閲覧。.
  - Else, Holly (2023-01-12). “Abstracts written by ChatGPT fool scientists” (英語). Nature 613 (7944): 423. Bibcode: 2023Natur.613..423E. doi:10.1038/d41586-023-00056-7. PMID 36635510.
  - Caballero, Ethan; Gupta, Kshitij; Rish, Irina; Krueger, David (2022). "Broken Neural Scaling Laws". International Conference on Learning Representations (ICLR), 2023.
  - Pan, Alexander; Shern, Chan Jun; Zou, Andy; Li, Nathaniel; Basart, Steven; Woodside, Thomas; Ng, Jonathan; Zhang, Emmons et al. (2023-04-03). “Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark” (英語). Proceedings of the 40th International Conference on Machine Learning (PMLR). arXiv:2304.03279.
  - Perez, Ethan; Ringer, Sam; Lukošiūtė, Kamilė; Nguyen, Karina; Chen, Edwin; Heiner, Scott; Pettit, Craig; Olsson, Catherine; Kundu, Sandipan; Kadavath, Saurav; Jones, Andy; Chen, Anna; Mann, Ben; Israel, Brian; Seethor, Bryan (19 December 2022). "Discovering Language Model Behaviors with Model-Written Evaluations". arXiv:2212.09251 [cs.CL]。
  - Leike, Jan; Martic, Miljan; Krakovna, Victoria; Ortega, Pedro A.; Everitt, Tom; Lefrancq, Andrew; Orseau, Laurent; Legg, Shane (28 November 2017). "AI Safety Gridworlds". arXiv:1711.09883 [cs.LG]。
  - Everitt, Tom; Lea, Gary; Hutter, Marcus (21 May 2018). "AGI Safety Literature Review". arXiv:1805.01109 [cs.AI]。
  - Gao, Leo; Schulman, John; Hilton, Jacob (19 October 2022). "Scaling Laws for Reward Model Overoptimization". arXiv:2210.10760 [cs.LG]。
  - Hendrycks, Dan; Burns, Collin; Basart, Steven; Critch, Andrew; Li, Jerry; Song, Dawn; Steinhardt, Jacob (2021-07-24). “Aligning AI With Shared Human Values”. International Conference on Learning Representations. arXiv:2008.02275.
  - Perez, Ethan; Huang, Saffron; Song, Francis; Cai, Trevor; Ring, Roman; Aslanides, John; Glaese, Amelia; McAleese, Nat; Irving, Geoffrey (7 February 2022). "Red Teaming Language Models with Language Models". arXiv:2202.03286 [cs.CL]。
    - Bhattacharyya, Sreejani (2022年2月14日). “DeepMind's "red teaming" language models with language models: What is it?”. Analytics India Magazine. February 13, 2023時点のオリジナルよりアーカイブ。2022年7月23日
    - Wu, Jeff; Ouyang, Long; Ziegler, Daniel M.; Stiennon, Nisan; Lowe, Ryan; Leike, Jan; Christiano, Paul (27 September 2021). "Recursively Summarizing Books with Human Feedback". arXiv:2109.10862 [cs.CL]。
    - Pearce, Hammond; Ahmad, Baleegh; Tan, Benjamin; Dolan-Gavitt, Brendan; Karri, Ramesh (2022). “Asleep at the Keyboard? Assessing the Security of GitHub Copilot's Code Contributions”. 2022 IEEE Symposium on Security and Privacy (SP) (San Francisco, CA, USA: IEEE): 754–768. arXiv:2108.09293. doi:10.1109/SP46214.2022.9833571. ISBN 978-1-6654-1316-9.
    - Christiano, Paul; Shlegeris, Buck; Amodei, Dario (19 October 2018). "Supervising strong learners by amplifying weak experts". arXiv:1810.08575 [cs.LG]。
    - Leike, Jan; Krueger, David; Everitt, Tom; Martic, Miljan; Maini, Vishal; Legg, Shane (2018-11-19). Scalable agent alignment via reward modeling: a research direction. arXiv:1811.07871.
    - Saunders, William; Yeh, Catherine; Wu, Jeff; Bills, Steven; Ouyang, Long; Ward, Jonathan; Leike, Jan (13 June 2022). "Self-critiquing models for assisting human evaluators". arXiv:2206.05802 [cs.CL]。
      - Bai, Yuntao; Kadavath, Saurav; Kundu, Sandipan; Askell, Amanda; Kernion, Jackson; Jones, Andy; Chen, Anna; Goldie, Anna; Mirhoseini, Azalia; McKinnon, Cameron; Chen, Carol; Olsson, Catherine; Olah, Christopher; Hernandez, Danny; Drain, Dawn (15 December 2022). "Constitutional AI: Harmlessness from AI Feedback". arXiv:2212.08073 [cs.CL]。
      - Evans, Owain; Cotton-Barratt, Owen; Finnveden, Lukas; Bales, Adam; Balwit, Avital; Wills, Peter; Righetti, Luca; Saunders, William (13 October 2021). "Truthful AI: Developing and governing AI that does not lie". arXiv:2110.06674 [cs.CY]。
      - Alford, Anthony (2021年7月13日). “EleutherAI Open-Sources Six Billion Parameter GPT-3 Clone GPT-J”. InfoQ. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
        Rae, Jack W.; Borgeaud, Sebastian; Cai, Trevor; Millican, Katie; Hoffmann, Jordan; Song, Francis; Aslanides, John; Henderson, Sarah et al. (2022-01-21). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
        Nakano, Reiichiro; Hilton, Jacob; Balaji, Suchir; Wu, Jeff; Ouyang, Long; Kim, Christina; Hesse, Christopher; Jain, Shantanu; Kosaraju, Vineet; Saunders, William; Jiang, Xu; Cobbe, Karl; Eloundou, Tyna; Krueger, Gretchen; Button, Kevin (1 June 2022). "WebGPT: Browser-assisted question-answering with human feedback". arXiv:2112.09332 [cs.CL]。
        Kumar, Nitish (2021年12月23日). “OpenAI Researchers Find Ways To More Accurately Answer Open-Ended Questions Using A Text-Based Web Browser”. MarkTechPost. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日
        Askell, Amanda; Bai, Yuntao; Chen, Anna; Drain, Dawn; Ganguli, Deep; Henighan, Tom; Jones, Andy; Joseph, Nicholas; Mann, Ben; DasSarma, Nova; Elhage, Nelson; Hatfield-Dodds, Zac; Hernandez, Danny; Kernion, Jackson; Ndousse, Kamal (9 December 2021). "A General Language Assistant as a Laboratory for Alignment". arXiv:2112.00861 [cs.CL]。
        Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon (22 July 2020). "Language Models are Few-Shot Learners". arXiv:2005.14165 [cs.CL]。
        Laskin, Michael; Wang, Luyu; Oh, Junhyuk; Parisotto, Emilio; Spencer, Stephen; Steigerwald, Richie; Strouse, D. J.; Hansen, Steven; Filos, Angelos; Brooks, Ethan; Gazeau, Maxime; Sahni, Himanshu; Singh, Satinder; Mnih, Volodymyr (25 October 2022). "In-context Reinforcement Learning with Algorithm Distillation". arXiv:2210.14215 [cs.LG]。
        Hubinger, Evan; van Merwijk, Chris; Mikulik, Vladimir; Skalse, Joar; Garrabrant, Scott (2021-12-01). Risks from Learned Optimization in Advanced Machine Learning Systems. arXiv:1906.01820.
        Demski, Abram; Garrabrant, Scott (6 October 2020). "Embedded Agency". arXiv:1902.09469 [cs.AI]。
        Everitt, Tom; Ortega, Pedro A.; Barnes, Elizabeth; Legg, Shane (6 September 2019). "Understanding Agent Incentives using Causal Influence Diagrams. Part I: Single Action Settings". arXiv:1902.09980 [cs.AI]。

berkeley.edu

aima.cs.berkeley.edu

Russell, Stuart; Norvig, Peter (2009). Artificial Intelligence: A Modern Approach. Prentice Hall. pp. 1010. ISBN 978-0-13-604259-4. https://aima.cs.berkeley.edu/

books.google.com

Rochon, Louis-Philippe; Rossi, Sergio (2015-02-27) (英語). The Encyclopedia of Central Banking. Edward Elgar Publishing. ISBN 978-1-78254-744-0. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 13, 2022閲覧。

cam.ac.uk

turingarchive.kings.cam.ac.uk

Turing, Alan (1951). Intelligent machinery, a heretical theory (Speech). Lecture given to '51 Society'. Manchester: The Turing Digital Archive. 2022年9月26日時点のオリジナルよりアーカイブ。2022年7月22日閲覧。
Turing, Alan (15 May 1951). "Can digital computers think?". Automatic Calculating Machines. Episode 2. BBC. Can digital computers think?。

cityam.com

Barber, Lynsey (2016年7月31日). “Phew! Facebook's AI chief says intelligent machines are not a threat to humanity”. CityAM. August 26, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。

dagstuhl.de

drops.dagstuhl.de

Fürnkranz, Johannes; Hüllermeier, Eyke; Rudin, Cynthia; Slowinski, Roman; Sanner, Scott (2014). Marc Herbstritt. “Preference Learning” (英語). Dagstuhl Reports 4 (3): 27 pages. doi:10.4230/DAGREP.4.3.1. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.

deepmind.com

“Specification gaming: the flip side of AI ingenuity”. Deepmind (2020年4月21日). February 10, 2023時点のオリジナルよりアーカイブ。2022年8月26日閲覧。

distill.pub

Irving, Geoffrey; Askell, Amanda (2019-02-19). “AI Safety Needs Social Scientists”. Distill 4 (2): 10.23915/distill.00014. doi:10.23915/distill.00014. ISSN 2476-0757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.

docs.google.com

“Specification gaming examples in AI — master list”. 2023年7月17日閲覧。

doi.org

Kober, Jens; Bagnell, J. Andrew; Peters, Jan (2013-09-01). “Reinforcement learning in robotics: A survey” (英語). The International Journal of Robotics Research 32 (11): 1238–1274. doi:10.1177/0278364913495721. ISSN 0278-3649. オリジナルのOctober 15, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
Knox, W. Bradley; Allievi, Alessandro; Banzhaf, Holger; Schmitt, Felix; Stone, Peter (2023-03-01). “Reward (Mis)design for autonomous driving” (英語). Artificial Intelligence 316: 103829. doi:10.1016/j.artint.2022.103829. ISSN 0004-3702.
Stray, Jonathan (2020). “Aligning AI Optimization to Community Well-Being” (英語). International Journal of Community Well-Being 3 (4): 443–463. doi:10.1007/s42413-020-00086-3. ISSN 2524-5295. PMC 7610010. PMID 34723107.
Russell, Stuart; Dewey, Daniel; Tegmark, Max (2015-12-31). “Research Priorities for Robust and Beneficial Artificial Intelligence”. AI Magazine 36 (4): 105–114. doi:10.1609/aimag.v36i4.2577. hdl:1721.1/108478. ISSN 2371-9621. オリジナルのFebruary 2, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
Clifton, Jesse (2020年). “Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda”. Center on Long-Term Risk. January 1, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
- Dafoe, Allan; Bachrach, Yoram; Hadfield, Gillian; Horvitz, Eric; Larson, Kate; Graepel, Thore (2021-05-06). “Cooperative AI: machines must learn to find common ground” (英語). Nature 593 (7857): 33–36. Bibcode: 2021Natur.593...33D. doi:10.1038/d41586-021-01170-0. ISSN 0028-0836. PMID 33947992. オリジナルのDecember 18, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
- Prunkl, Carina; Whittlestone, Jess (2020-02-07). “Beyond Near- and Long-Term: Towards a Clearer Account of Research Priorities in AI Ethics and Society” (英語). Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (New York NY USA: ACM): 138–143. doi:10.1145/3375627.3375803. ISBN 978-1-4503-7110-0. オリジナルのOctober 16, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
- Irving, Geoffrey; Askell, Amanda (2019-02-19). “AI Safety Needs Social Scientists”. Distill 4 (2): 10.23915/distill.00014. doi:10.23915/distill.00014. ISSN 2476-0757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
- Wiener, Norbert (1960-05-06). “Some Moral and Technical Consequences of Automation: As machines learn they may develop unforeseen strategies at rates that baffle their programmers.” (英語). Science 131 (3410): 1355–1358. doi:10.1126/science.131.3410.1355. ISSN 0036-8075. PMID 17841602. オリジナルのOctober 15, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
- Gabriel, Iason (2020-09-01). “Artificial Intelligence, Values, and Alignment”. Minds and Machines 30 (3): 411–437. doi:10.1007/s11023-020-09539-2. ISSN 1572-8641. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。.
- Lin, Stephanie; Hilton, Jacob; Evans, Owain (2022). “TruthfulQA: Measuring How Models Mimic Human Falsehoods” (英語). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (Dublin, Ireland: Association for Computational Linguistics): 3214–3252. doi:10.18653/v1/2022.acl-long.229. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
- Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin et al. (2022-02-01). “Survey of Hallucination in Natural Language Generation”. ACM Computing Surveys 55 (12): 1–38. arXiv:2202.03629. doi:10.1145/3571730. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 October 14, 2022閲覧。.
  - Else, Holly (2023-01-12). “Abstracts written by ChatGPT fool scientists” (英語). Nature 613 (7944): 423. Bibcode: 2023Natur.613..423E. doi:10.1038/d41586-023-00056-7. PMID 36635510.
  - Grace, Katja; Salvatier, John; Dafoe, Allan; Zhang, Baobao; Evans, Owain (2018-07-31). “Viewpoint: When Will AI Exceed Human Performance? Evidence from AI Experts”. Journal of Artificial Intelligence Research 62: 729–754. doi:10.1613/jair.1.11222. ISSN 1076-9757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
  - Zhang, Baobao; Anderljung, Markus; Kahn, Lauren; Dreksler, Noemi; Horowitz, Michael C.; Dafoe, Allan (2021-08-02). “Ethics and Governance of Artificial Intelligence: Evidence from a Survey of Machine Learning Researchers”. Journal of Artificial Intelligence Research 71. doi:10.1613/jair.1.12895. ISSN 1076-9757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
  - Fürnkranz, Johannes; Hüllermeier, Eyke; Rudin, Cynthia; Slowinski, Roman; Sanner, Scott (2014). Marc Herbstritt. “Preference Learning” (英語). Dagstuhl Reports 4 (3): 27 pages. doi:10.4230/DAGREP.4.3.1. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
  - Anderson, Michael; Anderson, Susan Leigh (2007-12-15). “Machine Ethics: Creating an Ethical Intelligent Agent”. AI Magazine 28 (4): 15. doi:10.1609/aimag.v28i4.2065. ISSN 2371-9621 2023年3月14日閲覧。.
  - Wiegel, Vincent (2010-12-01). “Wendell Wallach and Colin Allen: moral machines: teaching robots right from wrong”. Ethics and Information Technology 12 (4): 359–361. doi:10.1007/s10676-010-9239-1. ISSN 1572-8439. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。.
  - Pearce, Hammond; Ahmad, Baleegh; Tan, Benjamin; Dolan-Gavitt, Brendan; Karri, Ramesh (2022). “Asleep at the Keyboard? Assessing the Security of GitHub Copilot's Code Contributions”. 2022 IEEE Symposium on Security and Privacy (SP) (San Francisco, CA, USA: IEEE): 754–768. arXiv:2108.09293. doi:10.1109/SP46214.2022.9833571. ISBN 978-1-6654-1316-9.
  - Banzhaf, Wolfgang; Goodman, Erik; Sheneman, Leigh et al., eds (2020). Genetic Programming Theory and Practice XVII. Genetic and Evolutionary Computation. Cham: Springer International Publishing. doi:10.1007/978-3-030-39958-0. ISBN 978-3-030-39957-3. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。
  - Lehman, Joel; Clune, Jeff; Misevic, Dusan; Adami, Christoph; Altenberg, Lee; Beaulieu, Julie; Bentley, Peter J.; Bernard, Samuel et al. (2020). “The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities” (英語). Artificial Life 26 (2): 274–306. doi:10.1162/artl_a_00319. ISSN 1064-5462. PMID 32271631. オリジナルのOctober 10, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
  - McCarthy, John; Minsky, Marvin L.; Rochester, Nathaniel; Shannon, Claude E. (2006-12-15). “A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, August 31, 1955” (英語). AI Magazine 27 (4): 12. doi:10.1609/aimag.v27i4.1904. ISSN 2371-9621.
  - Zhang, Xiaoge; Chan, Felix T.S.; Yan, Chao; Bose, Indranil (2022). “Towards risk-aware artificial intelligence and machine learning systems: An overview” (英語). Decision Support Systems 159: 113800. doi:10.1016/j.dss.2022.113800.
  - Cohen, Michael K.; Hutter, Marcus; Osborne, Michael A. (2022-08-29). “Advanced artificial agents intervene in the provision of reward” (英語). AI Magazine 43 (3): 282–293. doi:10.1002/aaai.12064. ISSN 0738-4602. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 6, 2022閲覧。.

edge.org

Russell, Stuart. “Of Myths and Moonshine”. Edge.org. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月19日閲覧。

elsevier.com

linkinghub.elsevier.com

Zhang, Xiaoge; Chan, Felix T.S.; Yan, Chao; Bose, Indranil (2022). “Towards risk-aware artificial intelligence and machine learning systems: An overview” (英語). Decision Support Systems 159: 113800. doi:10.1016/j.dss.2022.113800.

erichorvitz.com

Horvitz, Eric (2016年6月27日). “Reflections on Safety and Artificial Intelligence”. Eric Horvitz. October 10, 2022時点のオリジナルよりアーカイブ。2020年4月20日閲覧。

forbes.com

Smith, Craig S.. “Geoff Hinton, AI's Most Famous Researcher, Warns Of 'Existential Threat'” (英語). Forbes. 2023年5月4日閲覧。

fortune.com

“'The Godfather of A.I.' warns of 'nightmare scenario' where artificial intelligence begins to seek power” (英語). Fortune. 2023年5月4日閲覧。
- “Yes, We Are Worried About the Existential Risk of Artificial Intelligence” (英語). MIT Technology Review. 2023年5月4日

futureoflife.org

Future of Life Institute (2017年8月11日). “Asilomar AI Principles”. Future of Life Institute. October 10, 2022時点のオリジナルよりアーカイブ。2022年7月18日閲覧。 The AI principles created at the Asilomar Conference on Beneficial AI were signed by 1797 AI/robotics researchers.
- United Nations (2021). Our Common Agenda: Report of the Secretary-General (PDF) (Report). New York: United Nations. 2022年5月22日時点のオリジナルよりアーカイブ (PDF)。2022年9月12日閲覧。[T]he [UN] could also promote regulation of artificial intelligence to ensure that this is aligned with shared global values.
- Future of Life Institute (2023年3月22日). “Pause Giant AI Experiments: An Open Letter”. 2023年4月20日閲覧。
- Selman, Bart, Intelligence Explosion: Science or Fiction?, オリジナルのMay 31, 2022時点におけるアーカイブ。 September 12, 2022閲覧。

gcrinstitute.org

Baum, Seth (2021年1月1日). “2020 Survey of Artificial General Intelligence Projects for Ethics, Risk, and Policy”. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月20日閲覧。

georgetown.edu

cset.georgetown.edu

The National New Generation Artificial Intelligence Governance Specialist Committee (2021年10月12日). “Ethical Norms for New Generation Artificial Intelligence Released”. 2023年2月10日時点のオリジナルよりアーカイブ。2023年7月17日閲覧。

gov.uk

“The National AI Strategy of the UK” (2021年). February 10, 2023時点のオリジナルよりアーカイブ。2023年7月17日閲覧。 “The government takes the long term risk of non-aligned Artificial General Intelligence, and the unforeseeable changes that it would mean for the UK and the world, seriously.”

handle.net

hdl.handle.net

Russell, Stuart; Dewey, Daniel; Tegmark, Max (2015-12-31). “Research Priorities for Robust and Beneficial Artificial Intelligence”. AI Magazine 36 (4): 105–114. doi:10.1609/aimag.v36i4.2577. hdl:1721.1/108478. ISSN 2371-9621. オリジナルのFebruary 2, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.

harvard.edu

ui.adsabs.harvard.edu

Clifton, Jesse (2020年). “Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda”. Center on Long-Term Risk. January 1, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
- Dafoe, Allan; Bachrach, Yoram; Hadfield, Gillian; Horvitz, Eric; Larson, Kate; Graepel, Thore (2021-05-06). “Cooperative AI: machines must learn to find common ground” (英語). Nature 593 (7857): 33–36. Bibcode: 2021Natur.593...33D. doi:10.1038/d41586-021-01170-0. ISSN 0028-0836. PMID 33947992. オリジナルのDecember 18, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
- Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin et al. (2022-02-01). “Survey of Hallucination in Natural Language Generation”. ACM Computing Surveys 55 (12): 1–38. arXiv:2202.03629. doi:10.1145/3571730. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 October 14, 2022閲覧。.
  - Else, Holly (2023-01-12). “Abstracts written by ChatGPT fool scientists” (英語). Nature 613 (7944): 423. Bibcode: 2023Natur.613..423E. doi:10.1038/d41586-023-00056-7. PMID 36635510.
  - Leike, Jan; Krueger, David; Everitt, Tom; Martic, Miljan; Maini, Vishal; Legg, Shane (2018-11-19). Scalable agent alignment via reward modeling: a research direction. arXiv:1811.07871.
  - Alford, Anthony (2021年7月13日). “EleutherAI Open-Sources Six Billion Parameter GPT-3 Clone GPT-J”. InfoQ. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
    - Rae, Jack W.; Borgeaud, Sebastian; Cai, Trevor; Millican, Katie; Hoffmann, Jordan; Song, Francis; Aslanides, John; Henderson, Sarah et al. (2022-01-21). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
    - Hubinger, Evan; van Merwijk, Chris; Mikulik, Vladimir; Skalse, Joar; Garrabrant, Scott (2021-12-01). Risks from Learned Optimization in Advanced Machine Learning Systems. arXiv:1906.01820.

ieee.org

ieeexplore.ieee.org

Pearce, Hammond; Ahmad, Baleegh; Tan, Benjamin; Dolan-Gavitt, Brendan; Karri, Ramesh (2022). “Asleep at the Keyboard? Assessing the Security of GitHub Copilot's Code Contributions”. 2022 IEEE Symposium on Security and Privacy (SP) (San Francisco, CA, USA: IEEE): 754–768. arXiv:2108.09293. doi:10.1109/SP46214.2022.9833571. ISBN 978-1-6654-1316-9.

infoq.com

Dominguez, Daniel (2022年5月19日). “DeepMind Introduces Gato, a New Generalist AI Agent”. InfoQ. February 10, 2023時点のオリジナルよりアーカイブ。2022年9月9日閲覧。
- Edwards, Ben (2022年4月26日). “Adept's AI assistant can browse, search, and use web apps like a human”. Ars Technica. January 17, 2023時点のオリジナルよりアーカイブ。2022年9月9日
- Alford, Anthony (2021年7月13日). “EleutherAI Open-Sources Six Billion Parameter GPT-3 Clone GPT-J”. InfoQ. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
  - Rae, Jack W.; Borgeaud, Sebastian; Cai, Trevor; Millican, Katie; Hoffmann, Jordan; Song, Francis; Aslanides, John; Henderson, Sarah et al. (2022-01-21). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.

jair.org

Grace, Katja; Salvatier, John; Dafoe, Allan; Zhang, Baobao; Evans, Owain (2018-07-31). “Viewpoint: When Will AI Exceed Human Performance? Evidence from AI Experts”. Journal of Artificial Intelligence Research 62: 729–754. doi:10.1613/jair.1.11222. ISSN 1076-9757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
Zhang, Baobao; Anderljung, Markus; Kahn, Lauren; Dreksler, Noemi; Horowitz, Michael C.; Dafoe, Allan (2021-08-02). “Ethics and Governance of Artificial Intelligence: Evidence from a Survey of Machine Learning Researchers”. Journal of Artificial Intelligence Research 71. doi:10.1613/jair.1.12895. ISSN 1076-9757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.

longtermrisk.org

Clifton, Jesse (2020年). “Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda”. Center on Long-Term Risk. January 1, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
- Dafoe, Allan; Bachrach, Yoram; Hadfield, Gillian; Horvitz, Eric; Larson, Kate; Graepel, Thore (2021-05-06). “Cooperative AI: machines must learn to find common ground” (英語). Nature 593 (7857): 33–36. Bibcode: 2021Natur.593...33D. doi:10.1038/d41586-021-01170-0. ISSN 0028-0836. PMID 33947992. オリジナルのDecember 18, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.

lukemuehlhauser.com

Muehlhauser, Luke (2016年1月29日). “Sutskever on Talking Machines”. Luke Muehlhauser. September 27, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。

machinethoughts.wordpress.com

McAllester (2014年8月10日). “Friendly AI and the Servant Mission”. Machine Thoughts. September 28, 2022時点のオリジナルよりアーカイブ。September 12, 2022閲覧。

marktechpost.com

Nakano, Reiichiro; Hilton, Jacob; Balaji, Suchir; Wu, Jeff; Ouyang, Long; Kim, Christina; Hesse, Christopher; Jain, Shantanu; Kosaraju, Vineet; Saunders, William; Jiang, Xu; Cobbe, Karl; Eloundou, Tyna; Krueger, Gretchen; Button, Kevin (1 June 2022). "WebGPT: Browser-assisted question-answering with human feedback". arXiv:2112.09332 [cs.CL]。
- Kumar, Nitish (2021年12月23日). “OpenAI Researchers Find Ways To More Accurately Answer Open-Ended Questions Using A Text-Based Web Browser”. MarkTechPost. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日

medium.com

deepmindsafetyresearch.medium.com

“Building safe artificial intelligence: specification, robustness, and assurance”. DeepMind Safety Research – Medium (2018年9月27日). February 10, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
OpenAI. “Developing safe & responsible AI”. 2023年3月13日閲覧。
- “DeepMind Safety Research”. Medium. February 10, 2023時点のオリジナルよりアーカイブ。2023年3月13日
- “Alignment of Language Agents”. DeepMind Safety Research – Medium (2021年3月30日). February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
- Shah, Rohin; Varma, Vikrant; Kumar, Ramana; Phuong, Mary; Krakovna, Victoria; Uesato, Jonathan; Kenton, Zac (2022-11-02). “Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals”. Medium 2023年4月2日閲覧。.
medium.com
- Chollet, François (2018年12月8日). “The implausibility of intelligence explosion”. Medium. March 22, 2021時点のオリジナルよりアーカイブ。2022年8月26日閲覧。

mit.edu

direct.mit.edu

Lehman, Joel; Clune, Jeff; Misevic, Dusan; Adami, Christoph; Altenberg, Lee; Beaulieu, Julie; Bentley, Peter J.; Bernard, Samuel et al. (2020). “The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities” (英語). Artificial Life 26 (2): 274–306. doi:10.1162/artl_a_00319. ISSN 1064-5462. PMID 32271631. オリジナルのOctober 10, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.

mlr.press

proceedings.mlr.press

Langosco, Lauro Langosco Di; Koch, Jack; Sharkey, Lee D.; Pfau, Jacob; Krueger, David (28 June 2022). "Goal Misgeneralization in Deep Reinforcement Learning". Proceedings of the 39th International Conference on Machine Learning. International Conference on Machine Learning. PMLR. pp. 12004–12019. 2023年3月11日閲覧。

nature.com

Clifton, Jesse (2020年). “Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda”. Center on Long-Term Risk. January 1, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
- Dafoe, Allan; Bachrach, Yoram; Hadfield, Gillian; Horvitz, Eric; Larson, Kate; Graepel, Thore (2021-05-06). “Cooperative AI: machines must learn to find common ground” (英語). Nature 593 (7857): 33–36. Bibcode: 2021Natur.593...33D. doi:10.1038/d41586-021-01170-0. ISSN 0028-0836. PMID 33947992. オリジナルのDecember 18, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
- Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin et al. (2022-02-01). “Survey of Hallucination in Natural Language Generation”. ACM Computing Surveys 55 (12): 1–38. arXiv:2202.03629. doi:10.1145/3571730. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 October 14, 2022閲覧。.
  - Else, Holly (2023-01-12). “Abstracts written by ChatGPT fool scientists” (英語). Nature 613 (7944): 423. Bibcode: 2023Natur.613..423E. doi:10.1038/d41586-023-00056-7. PMID 36635510.

neurips.cc

proceedings.neurips.cc

Zhuang, Simon; Hadfield-Menell, Dylan (2020). "Consequences of Misaligned AI". Advances in Neural Information Processing Systems. Vol. 33. Curran Associates, Inc. pp. 15763–15773. 2023年3月11日閲覧。

nih.gov

pubmed.ncbi.nlm.nih.gov

Stray, Jonathan (2020). “Aligning AI Optimization to Community Well-Being” (英語). International Journal of Community Well-Being 3 (4): 443–463. doi:10.1007/s42413-020-00086-3. ISSN 2524-5295. PMC 7610010. PMID 34723107.
Clifton, Jesse (2020年). “Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda”. Center on Long-Term Risk. January 1, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
- Dafoe, Allan; Bachrach, Yoram; Hadfield, Gillian; Horvitz, Eric; Larson, Kate; Graepel, Thore (2021-05-06). “Cooperative AI: machines must learn to find common ground” (英語). Nature 593 (7857): 33–36. Bibcode: 2021Natur.593...33D. doi:10.1038/d41586-021-01170-0. ISSN 0028-0836. PMID 33947992. オリジナルのDecember 18, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
- Wiener, Norbert (1960-05-06). “Some Moral and Technical Consequences of Automation: As machines learn they may develop unforeseen strategies at rates that baffle their programmers.” (英語). Science 131 (3410): 1355–1358. doi:10.1126/science.131.3410.1355. ISSN 0036-8075. PMID 17841602. オリジナルのOctober 15, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
- Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin et al. (2022-02-01). “Survey of Hallucination in Natural Language Generation”. ACM Computing Surveys 55 (12): 1–38. arXiv:2202.03629. doi:10.1145/3571730. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 October 14, 2022閲覧。.
  - Else, Holly (2023-01-12). “Abstracts written by ChatGPT fool scientists” (英語). Nature 613 (7944): 423. Bibcode: 2023Natur.613..423E. doi:10.1038/d41586-023-00056-7. PMID 36635510.
  - Lehman, Joel; Clune, Jeff; Misevic, Dusan; Adami, Christoph; Altenberg, Lee; Beaulieu, Julie; Bentley, Peter J.; Bernard, Samuel et al. (2020). “The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities” (英語). Artificial Life 26 (2): 274–306. doi:10.1162/artl_a_00319. ISSN 1064-5462. PMID 32271631. オリジナルのOctober 10, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
  ncbi.nlm.nih.gov
  - Stray, Jonathan (2020). “Aligning AI Optimization to Community Well-Being” (英語). International Journal of Community Well-Being 3 (4): 443–463. doi:10.1007/s42413-020-00086-3. ISSN 2524-5295. PMC 7610010. PMID 34723107.
  pmc.ncbi.nlm.nih.gov
  - Stray, Jonathan (2020). “Aligning AI Optimization to Community Well-Being” (英語). International Journal of Community Well-Being 3 (4): 443–463. doi:10.1007/s42413-020-00086-3. ISSN 2524-5295. PMC 7610010. PMID 34723107.

nscai.gov

NSCAI Final Report. Washington, DC: The National Security Commission on Artificial Intelligence. (2021). オリジナルのFebruary 15, 2023時点におけるアーカイブ。 October 17, 2022閲覧。

nytimes.com

The Ezra Klein Show (2021年6月4日). “If 'All Models Are Wrong,' Why Do We Give Them So Much Power?”. The New York Times. ISSN 0362-4331. オリジナルのFebruary 15, 2023時点におけるアーカイブ。 2023年3月13日閲覧。
- Wolchover, Natalie (2015年4月21日). “Concerns of an Artificial Intelligence Pioneer”. Quanta Magazine. February 10, 2023時点のオリジナルよりアーカイブ。2023年3月13日
- Johnson, Steven; Iziev, Nikita (2022年4月15日). “A.I. Is Mastering Language. Should We Trust What It Says?”. The New York Times. ISSN 0362-4331. オリジナルのNovember 24, 2022時点におけるアーカイブ。 2022年7月18日閲覧。

nyu.edu

bhr.stern.nyu.edu

Barrett, Paul M.; Hendrix, Justin; Sims, J. Grant (September 2021). How Social Media Intensifies U.S. Political Polarization-And What Can Be Done About It (Report). Center for Business and Human Rights, NYU. 2023年2月1日時点のオリジナルよりアーカイブ。2022年9月12日閲覧。

openai.com

“OpenAI Codex”. OpenAI (2021年8月10日). February 3, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
“Faulty Reward Functions in the Wild” (英語). OpenAI (2016年12月22日). January 26, 2021時点のオリジナルよりアーカイブ。2022年9月10日閲覧。
OpenAI. “Developing safe & responsible AI”. 2023年3月13日閲覧。
- “DeepMind Safety Research”. Medium. February 10, 2023時点のオリジナルよりアーカイブ。2023年3月13日
- “Learning from Human Preferences”. OpenAI (2017年6月13日). January 3, 2021時点のオリジナルよりアーカイブ。2022年7月21日閲覧。
- “AI Safety via Debate”. OpenAI (2018年5月3日). February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
- “Our approach to alignment research”. OpenAI (2022年8月24日). February 15, 2023時点のオリジナルよりアーカイブ。2022年9月9日閲覧。
- “Emergent Tool Use from Multi-Agent Interaction”. OpenAI (2019年9月17日). September 25, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。

openreview.net

Pan, Alexander; Bhatia, Kush; Steinhardt, Jacob (14 February 2022). The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models. International Conference on Learning Representations. 2022年7月21日閲覧。
Turner, Alexander Matt; Smith, Logan Riggs; Shah, Rohin; Critch, Andrew; Tadepalli, Prasad (2021). "Optimal policies tend to seek power". Advances in neural information processing systems.
Turner, Alexander Matt; Tadepalli, Prasad (2022). "Parametrically retargetable decision-makers tend to seek power". Advances in neural information processing systems.

pearson.com

penguinrandomhouse.com

Russell, Stuart J. (2020). Human compatible: Artificial intelligence and the problem of control. Penguin Random House. ISBN 9780525558637. OCLC 1113410915

quantamagazine.org

Rorvig, Mordechai (2022年4月14日). “Researchers Gain New Understanding From Simple AI”. Quanta Magazine. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
The Ezra Klein Show (2021年6月4日). “If 'All Models Are Wrong,' Why Do We Give Them So Much Power?”. The New York Times. ISSN 0362-4331. オリジナルのFebruary 15, 2023時点におけるアーカイブ。 2023年3月13日閲覧。
- Wolchover, Natalie (2015年4月21日). “Concerns of an Artificial Intelligence Pioneer”. Quanta Magazine. February 10, 2023時点のオリジナルよりアーカイブ。2023年3月13日
- Ornes, Stephen (2019年11月18日). “Playing Hide-and-Seek, Machines Invent New Tools”. Quanta Magazine. February 10, 2023時点のオリジナルよりアーカイブ。2022年8月26日閲覧。

reddit.com

Schmidhuber, Jürgen (2015年3月6日). “I am Jürgen Schmidhuber, AMA!” (Reddit Comment). r/MachineLearning. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

reuters.com

Shepardson, David (2018年5月24日). “Uber disabled emergency braking in self-driving car: U.S. agency”. Reuters. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 2022年7月20日閲覧。

sagepub.com

journals.sagepub.com

Kober, Jens; Bagnell, J. Andrew; Peters, Jan (2013-09-01). “Reinforcement learning in robotics: A survey” (英語). The International Journal of Robotics Research 32 (11): 1238–1274. doi:10.1177/0278364913495721. ISSN 0278-3649. オリジナルのOctober 15, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.

science.org

Wiener, Norbert (1960-05-06). “Some Moral and Technical Consequences of Automation: As machines learn they may develop unforeseen strategies at rates that baffle their programmers.” (英語). Science 131 (3410): 1355–1358. doi:10.1126/science.131.3410.1355. ISSN 0036-8075. PMID 17841602. オリジナルのOctober 15, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.

sciencedirect.com

Knox, W. Bradley; Allievi, Alessandro; Banzhaf, Holger; Schmitt, Felix; Stone, Peter (2023-03-01). “Reward (Mis)design for autonomous driving” (英語). Artificial Intelligence 316: 103829. doi:10.1016/j.artint.2022.103829. ISSN 0004-3702.

scientificamerican.com

Marcus, Gary (2022年6月6日). “Artificial General Intelligence Is Not as Imminent as You Might Think”. Scientific American. September 15, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
Shermer, Michael (2017年3月1日). “Artificial Intelligence Is Not a Threat—Yet”. Scientific American. December 1, 2017時点のオリジナルよりアーカイブ。2022年8月26日閲覧。

scottaaronson.blog

Aaronson, Scott (2022年6月17日). “OpenAI!”. Shtetl-Optimized. August 27, 2022時点のオリジナルよりアーカイブ。September 12, 2022閲覧。

springer.com

link.springer.com

Banzhaf, Wolfgang; Goodman, Erik; Sheneman, Leigh et al., eds (2020). Genetic Programming Theory and Practice XVII. Genetic and Evolutionary Computation. Cham: Springer International Publishing. doi:10.1007/978-3-030-39958-0. ISBN 978-3-030-39957-3. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。

stanford.edu

fsi.stanford.edu

Bommasani, Rishi; Hudson, Drew A.; Adeli, Ehsan; Altman, Russ; Arora, Simran; von Arx, Sydney; Bernstein, Michael S.; Bohg, Jeannette et al. (2022-07-12). “On the Opportunities and Risks of Foundation Models”. Stanford CRFM. arXiv:2108.07258.

technologyreview.com

Heaven, Will Douglas (2022年1月27日). “The new version of GPT-3 is much better behaved (and should be less toxic)”. MIT Technology Review. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
The Guardian (2020年9月8日). “A robot wrote this entire article. Are you scared yet, human?”. The Guardian. ISSN 0261-3077. オリジナルのSeptember 8, 2020時点におけるアーカイブ。 2022年7月23日閲覧。
- Heaven, Will Douglas (2020年7月20日). “OpenAI's new language generator GPT-3 is shockingly good—and completely mindless”. MIT Technology Review. July 25, 2020時点のオリジナルよりアーカイブ。2022年7月23日
- “'The Godfather of A.I.' warns of 'nightmare scenario' where artificial intelligence begins to seek power” (英語). Fortune. 2023年5月4日閲覧。
  - “Yes, We Are Worried About the Existential Risk of Artificial Intelligence” (英語). MIT Technology Review. 2023年5月4日

theguardian.com

Naughton, John (2021年10月2日). “The truth about artificial intelligence? It isn't that honest”. The Observer. ISSN 0029-7712. オリジナルのFebruary 13, 2023時点におけるアーカイブ。 2022年7月23日閲覧。
The Guardian (2020年9月8日). “A robot wrote this entire article. Are you scared yet, human?”. The Guardian. ISSN 0261-3077. オリジナルのSeptember 8, 2020時点におけるアーカイブ。 2022年7月23日閲覧。
- Heaven, Will Douglas (2020年7月20日). “OpenAI's new language generator GPT-3 is shockingly good—and completely mindless”. MIT Technology Review. July 25, 2020時点のオリジナルよりアーカイブ。2022年7月23日

theregister.com

Richardson, Tim (22 September 2021). “UK publishes National Artificial Intelligence Strategy”. The Register. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 November 14, 2021閲覧。

towardsdatascience.com

Harris, Jeremie (2021年6月16日). “The case against (worrying about) existential risk from AI”. Medium. August 26, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
Moltzau, Alex (2019年8月24日). “Debating the AI Safety Debate”. Towards Data Science. October 13, 2022時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

un.org

Future of Life Institute (2017年8月11日). “Asilomar AI Principles”. Future of Life Institute. October 10, 2022時点のオリジナルよりアーカイブ。2022年7月18日閲覧。 The AI principles created at the Asilomar Conference on Beneficial AI were signed by 1797 AI/robotics researchers.
- United Nations (2021). Our Common Agenda: Report of the Secretary-General (PDF) (Report). New York: United Nations. 2022年5月22日時点のオリジナルよりアーカイブ (PDF)。2022年9月12日閲覧。[T]he [UN] could also promote regulation of artificial intelligence to ensure that this is aligned with shared global values.
- “UN Secretary-General's report on "Our Common Agenda"”. p. 63 (2021年). February 16, 2023時点のオリジナルよりアーカイブ。2023年7月17日閲覧。 “[T]he Compact could also promote regulation of artificial intelligence to ensure that this is aligned with shared global values”

unite.ai

Anderson, Martin (2022年4月5日). “The Perils of Using Quotations to Authenticate NLG Content”. Unite.AI. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月21日閲覧。

universitypressscholarship.com

oxford.universitypressscholarship.com

Wallach, Wendell; Allen, Colin (2009). Moral Machines: Teaching Robots Right from Wrong. New York: Oxford University Press. ISBN 978-0-19-537404-9. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。

venturebeat.com

Wiggers, Kyle (2022年2月5日). “Despite recent progress, AI-powered chatbots still have a long way to go”. VentureBeat. July 23, 2022時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
Wiggers, Kyle (2021年9月23日). “OpenAI unveils model that can summarize books of any length”. VentureBeat. July 23, 2022時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
Wiggers, Kyle (2021年9月20日). “Falsehoods more likely with large language models”. VentureBeat. August 4, 2022時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

vetta.org

Shane (2009年8月31日). “Funding safe AGI”. vetta project. October 10, 2022時点のオリジナルよりアーカイブ。September 12, 2022閲覧。

vice.com

Cox, Joseph (2023年3月15日). “GPT-4 Hired Unwitting TaskRabbit Worker By Pretending to Be 'Vision-Impaired' Human”. Vice. 2023年4月10日閲覧。

washingtonpost.com

Rossi, Francesca. “How do you teach a machine to be moral?”. The Washington Post. ISSN 0190-8286. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。

web.archive.org

Russell, Stuart J.; Norvig, Peter (2020). Artificial intelligence: A modern approach (4th ed.). Pearson. pp. 31-34. ISBN 978-1-292-40113-3. OCLC 1303900751. オリジナルのJuly 15, 2022時点におけるアーカイブ。 September 12, 2022閲覧。
Christian, Brian (2020). The alignment problem: Machine learning and human values. W. W. Norton & Company. ISBN 978-0-393-86833-3. OCLC 1233266753. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。
“OpenAI Codex”. OpenAI (2021年8月10日). February 3, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
Kober, Jens; Bagnell, J. Andrew; Peters, Jan (2013-09-01). “Reinforcement learning in robotics: A survey” (英語). The International Journal of Robotics Research 32 (11): 1238–1274. doi:10.1177/0278364913495721. ISSN 0278-3649. オリジナルのOctober 15, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
Future of Life Institute (2017年8月11日). “Asilomar AI Principles”. Future of Life Institute. October 10, 2022時点のオリジナルよりアーカイブ。2022年7月18日閲覧。 The AI principles created at the Asilomar Conference on Beneficial AI were signed by 1797 AI/robotics researchers.
- United Nations (2021). Our Common Agenda: Report of the Secretary-General (PDF) (Report). New York: United Nations. 2022年5月22日時点のオリジナルよりアーカイブ (PDF)。2022年9月12日閲覧。[T]he [UN] could also promote regulation of artificial intelligence to ensure that this is aligned with shared global values.
- “Building safe artificial intelligence: specification, robustness, and assurance”. DeepMind Safety Research – Medium (2018年9月27日). February 10, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
- Rorvig, Mordechai (2022年4月14日). “Researchers Gain New Understanding From Simple AI”. Quanta Magazine. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
- Russell, Stuart; Dewey, Daniel; Tegmark, Max (2015-12-31). “Research Priorities for Robust and Beneficial Artificial Intelligence”. AI Magazine 36 (4): 105–114. doi:10.1609/aimag.v36i4.2577. hdl:1721.1/108478. ISSN 2371-9621. オリジナルのFebruary 2, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
- Heaven, Will Douglas (2022年1月27日). “The new version of GPT-3 is much better behaved (and should be less toxic)”. MIT Technology Review. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
- Clifton, Jesse (2020年). “Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda”. Center on Long-Term Risk. January 1, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
  - Dafoe, Allan; Bachrach, Yoram; Hadfield, Gillian; Horvitz, Eric; Larson, Kate; Graepel, Thore (2021-05-06). “Cooperative AI: machines must learn to find common ground” (英語). Nature 593 (7857): 33–36. Bibcode: 2021Natur.593...33D. doi:10.1038/d41586-021-01170-0. ISSN 0028-0836. PMID 33947992. オリジナルのDecember 18, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
  - Prunkl, Carina; Whittlestone, Jess (2020-02-07). “Beyond Near- and Long-Term: Towards a Clearer Account of Research Priorities in AI Ethics and Society” (英語). Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (New York NY USA: ACM): 138–143. doi:10.1145/3375627.3375803. ISBN 978-1-4503-7110-0. オリジナルのOctober 16, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
  - Irving, Geoffrey; Askell, Amanda (2019-02-19). “AI Safety Needs Social Scientists”. Distill 4 (2): 10.23915/distill.00014. doi:10.23915/distill.00014. ISSN 2476-0757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
  - “Faulty Reward Functions in the Wild” (英語). OpenAI (2016年12月22日). January 26, 2021時点のオリジナルよりアーカイブ。2022年9月10日閲覧。
  - Wiener, Norbert (1960-05-06). “Some Moral and Technical Consequences of Automation: As machines learn they may develop unforeseen strategies at rates that baffle their programmers.” (英語). Science 131 (3410): 1355–1358. doi:10.1126/science.131.3410.1355. ISSN 0036-8075. PMID 17841602. オリジナルのOctober 15, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
  - Gabriel, Iason (2020-09-01). “Artificial Intelligence, Values, and Alignment”. Minds and Machines 30 (3): 411–437. doi:10.1007/s11023-020-09539-2. ISSN 1572-8641. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。.
  - The Ezra Klein Show (2021年6月4日). “If 'All Models Are Wrong,' Why Do We Give Them So Much Power?”. The New York Times. ISSN 0362-4331. オリジナルのFebruary 15, 2023時点におけるアーカイブ。 2023年3月13日閲覧。
    - Wolchover, Natalie (2015年4月21日). “Concerns of an Artificial Intelligence Pioneer”. Quanta Magazine. February 10, 2023時点のオリジナルよりアーカイブ。2023年3月13日
    - Johnson, Steven; Iziev, Nikita (2022年4月15日). “A.I. Is Mastering Language. Should We Trust What It Says?”. The New York Times. ISSN 0362-4331. オリジナルのNovember 24, 2022時点におけるアーカイブ。 2022年7月18日閲覧。
    - OpenAI. “Developing safe & responsible AI”. 2023年3月13日閲覧。
      - “DeepMind Safety Research”. Medium. February 10, 2023時点のオリジナルよりアーカイブ。2023年3月13日
      - “Specification gaming: the flip side of AI ingenuity”. Deepmind (2020年4月21日). February 10, 2023時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
      - “Learning from Human Preferences”. OpenAI (2017年6月13日). January 3, 2021時点のオリジナルよりアーカイブ。2022年7月21日閲覧。
      - Lin, Stephanie; Hilton, Jacob; Evans, Owain (2022). “TruthfulQA: Measuring How Models Mimic Human Falsehoods” (英語). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (Dublin, Ireland: Association for Computational Linguistics): 3214–3252. doi:10.18653/v1/2022.acl-long.229. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
      - Naughton, John (2021年10月2日). “The truth about artificial intelligence? It isn't that honest”. The Observer. ISSN 0029-7712. オリジナルのFebruary 13, 2023時点におけるアーカイブ。 2022年7月23日閲覧。
      - Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin et al. (2022-02-01). “Survey of Hallucination in Natural Language Generation”. ACM Computing Surveys 55 (12): 1–38. arXiv:2202.03629. doi:10.1145/3571730. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 October 14, 2022閲覧。.
        Else, Holly (2023-01-12). “Abstracts written by ChatGPT fool scientists” (英語). Nature 613 (7944): 423. Bibcode: 2023Natur.613..423E. doi:10.1038/d41586-023-00056-7. PMID 36635510.
        Russell, Stuart. “Of Myths and Moonshine”. Edge.org. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月19日閲覧。
        Wells, Georgia; Deepa Seetharaman; Horwitz, Jeff (2021年11月5日). “Is Facebook Bad for You? It Is for About 360 Million Users, Company Surveys Suggest”. The Wall Street Journal. ISSN 0099-9660. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 2022年7月19日閲覧。
        Barrett, Paul M.; Hendrix, Justin; Sims, J. Grant (September 2021). How Social Media Intensifies U.S. Political Polarization-And What Can Be Done About It (Report). Center for Business and Human Rights, NYU. 2023年2月1日時点のオリジナルよりアーカイブ。2022年9月12日閲覧。
        Shepardson, David (2018年5月24日). “Uber disabled emergency braking in self-driving car: U.S. agency”. Reuters. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 2022年7月20日閲覧。
        Baum, Seth (2021年1月1日). “2020 Survey of Artificial General Intelligence Projects for Ethics, Risk, and Policy”. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月20日閲覧。
        Dominguez, Daniel (2022年5月19日). “DeepMind Introduces Gato, a New Generalist AI Agent”. InfoQ. February 10, 2023時点のオリジナルよりアーカイブ。2022年9月9日閲覧。
        Edwards, Ben (2022年4月26日). “Adept's AI assistant can browse, search, and use web apps like a human”. Ars Technica. January 17, 2023時点のオリジナルよりアーカイブ。2022年9月9日
        Grace, Katja; Salvatier, John; Dafoe, Allan; Zhang, Baobao; Evans, Owain (2018-07-31). “Viewpoint: When Will AI Exceed Human Performance? Evidence from AI Experts”. Journal of Artificial Intelligence Research 62: 729–754. doi:10.1613/jair.1.11222. ISSN 1076-9757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
        Zhang, Baobao; Anderljung, Markus; Kahn, Lauren; Dreksler, Noemi; Horowitz, Michael C.; Dafoe, Allan (2021-08-02). “Ethics and Governance of Artificial Intelligence: Evidence from a Survey of Machine Learning Researchers”. Journal of Artificial Intelligence Research 71. doi:10.1613/jair.1.12895. ISSN 1076-9757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
        Turing, Alan (1951). Intelligent machinery, a heretical theory (Speech). Lecture given to '51 Society'. Manchester: The Turing Digital Archive. 2022年9月26日時点のオリジナルよりアーカイブ。2022年7月22日閲覧。
        Muehlhauser, Luke (2016年1月29日). “Sutskever on Talking Machines”. Luke Muehlhauser. September 27, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
        Rossi, Francesca. “How do you teach a machine to be moral?”. The Washington Post. ISSN 0190-8286. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。
        Aaronson, Scott (2022年6月17日). “OpenAI!”. Shtetl-Optimized. August 27, 2022時点のオリジナルよりアーカイブ。September 12, 2022閲覧。
        Selman, Bart, Intelligence Explosion: Science or Fiction?, オリジナルのMay 31, 2022時点におけるアーカイブ。 September 12, 2022閲覧。
        McAllester (2014年8月10日). “Friendly AI and the Servant Mission”. Machine Thoughts. September 28, 2022時点のオリジナルよりアーカイブ。September 12, 2022閲覧。
        Schmidhuber, Jürgen (2015年3月6日). “I am Jürgen Schmidhuber, AMA!” (Reddit Comment). r/MachineLearning. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
        Shane (2009年8月31日). “Funding safe AGI”. vetta project. October 10, 2022時点のオリジナルよりアーカイブ。September 12, 2022閲覧。
        Horvitz, Eric (2016年6月27日). “Reflections on Safety and Artificial Intelligence”. Eric Horvitz. October 10, 2022時点のオリジナルよりアーカイブ。2020年4月20日閲覧。
        Chollet, François (2018年12月8日). “The implausibility of intelligence explosion”. Medium. March 22, 2021時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
        Marcus, Gary (2022年6月6日). “Artificial General Intelligence Is Not as Imminent as You Might Think”. Scientific American. September 15, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
        Barber, Lynsey (2016年7月31日). “Phew! Facebook's AI chief says intelligent machines are not a threat to humanity”. CityAM. August 26, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
        Harris, Jeremie (2021年6月16日). “The case against (worrying about) existential risk from AI”. Medium. August 26, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
        Rochon, Louis-Philippe; Rossi, Sergio (2015-02-27) (英語). The Encyclopedia of Central Banking. Edward Elgar Publishing. ISBN 978-1-78254-744-0. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 13, 2022閲覧。
        Fürnkranz, Johannes; Hüllermeier, Eyke; Rudin, Cynthia; Slowinski, Roman; Sanner, Scott (2014). Marc Herbstritt. “Preference Learning” (英語). Dagstuhl Reports 4 (3): 27 pages. doi:10.4230/DAGREP.4.3.1. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
        Anderson, Martin (2022年4月5日). “The Perils of Using Quotations to Authenticate NLG Content”. Unite.AI. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月21日閲覧。
        Wiggers, Kyle (2022年2月5日). “Despite recent progress, AI-powered chatbots still have a long way to go”. VentureBeat. July 23, 2022時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
        Perez, Ethan; Huang, Saffron; Song, Francis; Cai, Trevor; Ring, Roman; Aslanides, John; Glaese, Amelia; McAleese, Nat; Irving, Geoffrey (7 February 2022). "Red Teaming Language Models with Language Models". arXiv:2202.03286 [cs.CL]。
        Bhattacharyya, Sreejani (2022年2月14日). “DeepMind's "red teaming" language models with language models: What is it?”. Analytics India Magazine. February 13, 2023時点のオリジナルよりアーカイブ。2022年7月23日
        Wallach, Wendell; Allen, Colin (2009). Moral Machines: Teaching Robots Right from Wrong. New York: Oxford University Press. ISBN 978-0-19-537404-9. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。
        Wiegel, Vincent (2010-12-01). “Wendell Wallach and Colin Allen: moral machines: teaching robots right from wrong”. Ethics and Information Technology 12 (4): 359–361. doi:10.1007/s10676-010-9239-1. ISSN 1572-8439. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。.
        MacAskill, William (2022). What we owe the future. New York, NY. ISBN 978-1-5416-1862-6. OCLC 1314633519. オリジナルのSeptember 14, 2022時点におけるアーカイブ。 September 12, 2022閲覧。
        “AI Safety via Debate”. OpenAI (2018年5月3日). February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
        Banzhaf, Wolfgang; Goodman, Erik; Sheneman, Leigh et al., eds (2020). Genetic Programming Theory and Practice XVII. Genetic and Evolutionary Computation. Cham: Springer International Publishing. doi:10.1007/978-3-030-39958-0. ISBN 978-3-030-39957-3. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。
        Wiblin, Robert (2 October 2018). "Dr Paul Christiano on how OpenAI is developing real solutions to the 'AI alignment problem', and his vision of how humanity will progressively hand over decision-making to AI systems" (Podcast). 80,000 hours. No. 44. 2022年12月14日時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
        Lehman, Joel; Clune, Jeff; Misevic, Dusan; Adami, Christoph; Altenberg, Lee; Beaulieu, Julie; Bentley, Peter J.; Bernard, Samuel et al. (2020). “The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities” (英語). Artificial Life 26 (2): 274–306. doi:10.1162/artl_a_00319. ISSN 1064-5462. PMID 32271631. オリジナルのOctober 10, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
        “Our approach to alignment research”. OpenAI (2022年8月24日). February 15, 2023時点のオリジナルよりアーカイブ。2022年9月9日閲覧。
        Wiggers, Kyle (2021年9月23日). “OpenAI unveils model that can summarize books of any length”. VentureBeat. July 23, 2022時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
        Moltzau, Alex (2019年8月24日). “Debating the AI Safety Debate”. Towards Data Science. October 13, 2022時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
        Wiggers, Kyle (2021年9月20日). “Falsehoods more likely with large language models”. VentureBeat. August 4, 2022時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
        The Guardian (2020年9月8日). “A robot wrote this entire article. Are you scared yet, human?”. The Guardian. ISSN 0261-3077. オリジナルのSeptember 8, 2020時点におけるアーカイブ。 2022年7月23日閲覧。
        Heaven, Will Douglas (2020年7月20日). “OpenAI's new language generator GPT-3 is shockingly good—and completely mindless”. MIT Technology Review. July 25, 2020時点のオリジナルよりアーカイブ。2022年7月23日
        Alford, Anthony (2021年7月13日). “EleutherAI Open-Sources Six Billion Parameter GPT-3 Clone GPT-J”. InfoQ. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
        Rae, Jack W.; Borgeaud, Sebastian; Cai, Trevor; Millican, Katie; Hoffmann, Jordan; Song, Francis; Aslanides, John; Henderson, Sarah et al. (2022-01-21). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
        Nakano, Reiichiro; Hilton, Jacob; Balaji, Suchir; Wu, Jeff; Ouyang, Long; Kim, Christina; Hesse, Christopher; Jain, Shantanu; Kosaraju, Vineet; Saunders, William; Jiang, Xu; Cobbe, Karl; Eloundou, Tyna; Krueger, Gretchen; Button, Kevin (1 June 2022). "WebGPT: Browser-assisted question-answering with human feedback". arXiv:2112.09332 [cs.CL]。
        Kumar, Nitish (2021年12月23日). “OpenAI Researchers Find Ways To More Accurately Answer Open-Ended Questions Using A Text-Based Web Browser”. MarkTechPost. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日
        “Alignment of Language Agents”. DeepMind Safety Research – Medium (2021年3月30日). February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
        Ornes, Stephen (2019年11月18日). “Playing Hide-and-Seek, Machines Invent New Tools”. Quanta Magazine. February 10, 2023時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
        “Emergent Tool Use from Multi-Agent Interaction”. OpenAI (2019年9月17日). September 25, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
        Shermer, Michael (2017年3月1日). “Artificial Intelligence Is Not a Threat—Yet”. Scientific American. December 1, 2017時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
        Cohen, Michael K.; Hutter, Marcus; Osborne, Michael A. (2022-08-29). “Advanced artificial agents intervene in the provision of reward” (英語). AI Magazine 43 (3): 282–293. doi:10.1002/aaai.12064. ISSN 0738-4602. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 6, 2022閲覧。.
        “UN Secretary-General's report on "Our Common Agenda"”. p. 63 (2021年). February 16, 2023時点のオリジナルよりアーカイブ。2023年7月17日閲覧。 “[T]he Compact could also promote regulation of artificial intelligence to ensure that this is aligned with shared global values”
        The National New Generation Artificial Intelligence Governance Specialist Committee (2021年10月12日). “Ethical Norms for New Generation Artificial Intelligence Released”. 2023年2月10日時点のオリジナルよりアーカイブ。2023年7月17日閲覧。
        Richardson, Tim (22 September 2021). “UK publishes National Artificial Intelligence Strategy”. The Register. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 November 14, 2021閲覧。
        “The National AI Strategy of the UK” (2021年). February 10, 2023時点のオリジナルよりアーカイブ。2023年7月17日閲覧。 “The government takes the long term risk of non-aligned Artificial General Intelligence, and the unforeseeable changes that it would mean for the UK and the world, seriously.”
        NSCAI Final Report. Washington, DC: The National Security Commission on Artificial Intelligence. (2021). オリジナルのFebruary 15, 2023時点におけるアーカイブ。 October 17, 2022閲覧。

whatweowethefuture.com

MacAskill, William (2022). What we owe the future. New York, NY. ISBN 978-1-5416-1862-6. OCLC 1314633519. オリジナルのSeptember 14, 2022時点におけるアーカイブ。 September 12, 2022閲覧。

wikipedia.org

en.wikipedia.org

Future of Life Institute (2017年8月11日). “Asilomar AI Principles”. Future of Life Institute. October 10, 2022時点のオリジナルよりアーカイブ。2022年7月18日閲覧。 The AI principles created at the Asilomar Conference on Beneficial AI were signed by 1797 AI/robotics researchers.
- United Nations (2021). Our Common Agenda: Report of the Secretary-General (PDF) (Report). New York: United Nations. 2022年5月22日時点のオリジナルよりアーカイブ (PDF)。2022年9月12日閲覧。[T]he [UN] could also promote regulation of artificial intelligence to ensure that this is aligned with shared global values.

wiley.com

onlinelibrary.wiley.com

Cohen, Michael K.; Hutter, Marcus; Osborne, Michael A. (2022-08-29). “Advanced artificial agents intervene in the provision of reward” (英語). AI Magazine 43 (3): 282–293. doi:10.1002/aaai.12064. ISSN 0738-4602. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 6, 2022閲覧。.

worldcat.org

search.worldcat.org

Kober, Jens; Bagnell, J. Andrew; Peters, Jan (2013-09-01). “Reinforcement learning in robotics: A survey” (英語). The International Journal of Robotics Research 32 (11): 1238–1274. doi:10.1177/0278364913495721. ISSN 0278-3649. オリジナルのOctober 15, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
Knox, W. Bradley; Allievi, Alessandro; Banzhaf, Holger; Schmitt, Felix; Stone, Peter (2023-03-01). “Reward (Mis)design for autonomous driving” (英語). Artificial Intelligence 316: 103829. doi:10.1016/j.artint.2022.103829. ISSN 0004-3702.
Stray, Jonathan (2020). “Aligning AI Optimization to Community Well-Being” (英語). International Journal of Community Well-Being 3 (4): 443–463. doi:10.1007/s42413-020-00086-3. ISSN 2524-5295. PMC 7610010. PMID 34723107.
Russell, Stuart; Dewey, Daniel; Tegmark, Max (2015-12-31). “Research Priorities for Robust and Beneficial Artificial Intelligence”. AI Magazine 36 (4): 105–114. doi:10.1609/aimag.v36i4.2577. hdl:1721.1/108478. ISSN 2371-9621. オリジナルのFebruary 2, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
Clifton, Jesse (2020年). “Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda”. Center on Long-Term Risk. January 1, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
- Dafoe, Allan; Bachrach, Yoram; Hadfield, Gillian; Horvitz, Eric; Larson, Kate; Graepel, Thore (2021-05-06). “Cooperative AI: machines must learn to find common ground” (英語). Nature 593 (7857): 33–36. Bibcode: 2021Natur.593...33D. doi:10.1038/d41586-021-01170-0. ISSN 0028-0836. PMID 33947992. オリジナルのDecember 18, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
- Irving, Geoffrey; Askell, Amanda (2019-02-19). “AI Safety Needs Social Scientists”. Distill 4 (2): 10.23915/distill.00014. doi:10.23915/distill.00014. ISSN 2476-0757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
- Wiener, Norbert (1960-05-06). “Some Moral and Technical Consequences of Automation: As machines learn they may develop unforeseen strategies at rates that baffle their programmers.” (英語). Science 131 (3410): 1355–1358. doi:10.1126/science.131.3410.1355. ISSN 0036-8075. PMID 17841602. オリジナルのOctober 15, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
- Gabriel, Iason (2020-09-01). “Artificial Intelligence, Values, and Alignment”. Minds and Machines 30 (3): 411–437. doi:10.1007/s11023-020-09539-2. ISSN 1572-8641. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。.
- The Ezra Klein Show (2021年6月4日). “If 'All Models Are Wrong,' Why Do We Give Them So Much Power?”. The New York Times. ISSN 0362-4331. オリジナルのFebruary 15, 2023時点におけるアーカイブ。 2023年3月13日閲覧。
  - Wolchover, Natalie (2015年4月21日). “Concerns of an Artificial Intelligence Pioneer”. Quanta Magazine. February 10, 2023時点のオリジナルよりアーカイブ。2023年3月13日
  - Johnson, Steven; Iziev, Nikita (2022年4月15日). “A.I. Is Mastering Language. Should We Trust What It Says?”. The New York Times. ISSN 0362-4331. オリジナルのNovember 24, 2022時点におけるアーカイブ。 2022年7月18日閲覧。
  - Naughton, John (2021年10月2日). “The truth about artificial intelligence? It isn't that honest”. The Observer. ISSN 0029-7712. オリジナルのFebruary 13, 2023時点におけるアーカイブ。 2022年7月23日閲覧。
  - Wells, Georgia; Deepa Seetharaman; Horwitz, Jeff (2021年11月5日). “Is Facebook Bad for You? It Is for About 360 Million Users, Company Surveys Suggest”. The Wall Street Journal. ISSN 0099-9660. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 2022年7月19日閲覧。
  - Wei, Jason; Tay, Yi; Bommasani, Rishi; Raffel, Colin; Zoph, Barret; Borgeaud, Sebastian; Yogatama, Dani; Bosma, Maarten et al. (2022-10-26). “Emergent Abilities of Large Language Models”. Transactions on Machine Learning Research. ISSN 2835-8856.
  - Grace, Katja; Salvatier, John; Dafoe, Allan; Zhang, Baobao; Evans, Owain (2018-07-31). “Viewpoint: When Will AI Exceed Human Performance? Evidence from AI Experts”. Journal of Artificial Intelligence Research 62: 729–754. doi:10.1613/jair.1.11222. ISSN 1076-9757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
  - Zhang, Baobao; Anderljung, Markus; Kahn, Lauren; Dreksler, Noemi; Horowitz, Michael C.; Dafoe, Allan (2021-08-02). “Ethics and Governance of Artificial Intelligence: Evidence from a Survey of Machine Learning Researchers”. Journal of Artificial Intelligence Research 71. doi:10.1613/jair.1.12895. ISSN 1076-9757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
  - Rossi, Francesca. “How do you teach a machine to be moral?”. The Washington Post. ISSN 0190-8286. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。
  - Anderson, Michael; Anderson, Susan Leigh (2007-12-15). “Machine Ethics: Creating an Ethical Intelligent Agent”. AI Magazine 28 (4): 15. doi:10.1609/aimag.v28i4.2065. ISSN 2371-9621 2023年3月14日閲覧。.
  - Wiegel, Vincent (2010-12-01). “Wendell Wallach and Colin Allen: moral machines: teaching robots right from wrong”. Ethics and Information Technology 12 (4): 359–361. doi:10.1007/s10676-010-9239-1. ISSN 1572-8439. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。.
  - Lehman, Joel; Clune, Jeff; Misevic, Dusan; Adami, Christoph; Altenberg, Lee; Beaulieu, Julie; Bentley, Peter J.; Bernard, Samuel et al. (2020). “The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities” (英語). Artificial Life 26 (2): 274–306. doi:10.1162/artl_a_00319. ISSN 1064-5462. PMID 32271631. オリジナルのOctober 10, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
  - The Guardian (2020年9月8日). “A robot wrote this entire article. Are you scared yet, human?”. The Guardian. ISSN 0261-3077. オリジナルのSeptember 8, 2020時点におけるアーカイブ。 2022年7月23日閲覧。
    - Heaven, Will Douglas (2020年7月20日). “OpenAI's new language generator GPT-3 is shockingly good—and completely mindless”. MIT Technology Review. July 25, 2020時点のオリジナルよりアーカイブ。2022年7月23日
    - McCarthy, John; Minsky, Marvin L.; Rochester, Nathaniel; Shannon, Claude E. (2006-12-15). “A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, August 31, 1955” (英語). AI Magazine 27 (4): 12. doi:10.1609/aimag.v27i4.1904. ISSN 2371-9621.
    - Cohen, Michael K.; Hutter, Marcus; Osborne, Michael A. (2022-08-29). “Advanced artificial agents intervene in the provision of reward” (英語). AI Magazine 43 (3): 282–293. doi:10.1002/aaai.12064. ISSN 0738-4602. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 6, 2022閲覧。.
    worldcat.org

wsj.com

Wells, Georgia; Deepa Seetharaman; Horwitz, Jeff (2021年11月5日). “Is Facebook Bad for You? It Is for About 360 Million Users, Company Surveys Suggest”. The Wall Street Journal. ISSN 0099-9660. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 2022年7月19日閲覧。

wwnorton.co.uk

Christian, Brian (2020). The alignment problem: Machine learning and human values. W. W. Norton & Company. ISBN 978-0-393-86833-3. OCLC 1233266753. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。

youtube.com

Geoffrey Hinton (3 March 2016). The Code That Runs Our Lives. The Agenda. 該当時間: 10:00. 2023年3月13日閲覧。

AIアライメント (Japanese Wikipedia)

80000hours.org

aaai.org

ojs.aaai.org

aclanthology.org

acm.org

dl.acm.org

analyticsindiamag.com

arstechnica.com

arxiv.org

berkeley.edu

aima.cs.berkeley.edu

books.google.com

cam.ac.uk

turingarchive.kings.cam.ac.uk

cityam.com

dagstuhl.de

drops.dagstuhl.de

deepmind.com

distill.pub

docs.google.com

doi.org

edge.org

elsevier.com

linkinghub.elsevier.com

erichorvitz.com

forbes.com

fortune.com

futureoflife.org

gcrinstitute.org

georgetown.edu

cset.georgetown.edu

gov.uk

handle.net

hdl.handle.net

harvard.edu

ui.adsabs.harvard.edu

ieee.org

ieeexplore.ieee.org

infoq.com

jair.org

longtermrisk.org

lukemuehlhauser.com

machinethoughts.wordpress.com

marktechpost.com

medium.com

deepmindsafetyresearch.medium.com

medium.com

mit.edu

direct.mit.edu

mlr.press

proceedings.mlr.press

nature.com

neurips.cc

proceedings.neurips.cc

nih.gov

pubmed.ncbi.nlm.nih.gov

ncbi.nlm.nih.gov

pmc.ncbi.nlm.nih.gov

nscai.gov

nytimes.com

nyu.edu

bhr.stern.nyu.edu

openai.com

openreview.net

pearson.com

penguinrandomhouse.com

quantamagazine.org

reddit.com

reuters.com

sagepub.com

journals.sagepub.com

science.org

sciencedirect.com

scientificamerican.com

scottaaronson.blog

springer.com

link.springer.com

stanford.edu

fsi.stanford.edu