References analysis of the Wikipedia article "Большая языковая модель" in the Russian version

arxiv.org

Wei, Jason Emergent Abilities of Large Language Models. Дата обращения: 16 марта 2023. Архивировано 16 марта 2023 года.

Kaplan, Jared; McCandlish, Sam; Henighan, Tom; Brown, Tom B.; Chess, Benjamin; Child, Rewon; Gray, Scott; Radford, Alec; Wu, Jeffrey; Amodei, Dario (2020). "Scaling Laws for Neural Language Models". CoRR. abs/2001.08361. arXiv:2001.08361. Архивировано 15 марта 2023. Дата обращения: 16 марта 2023. {{cite journal}}: |archive-date= / |archive-url= несоответствие временной метки; предлагается 15 марта 2023 (справка)

Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina (11 октября 2018). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding". arXiv:1810.04805v2 [cs.CL].

Gao, Leo; Biderman, Stella; Black, Sid; Golding, Laurence; Hoppe, Travis; Foster, Charles; Phang, Jason; He, Horace; Thite, Anish; Nabeshima, Noa; Presser, Shawn; Leahy, Connor (31 декабря 2020). "The Pile: An 800GB Dataset of Diverse Text for Language Modeling". arXiv:2101.00027.

Smith, Shaden; Patwary, Mostofa; Norick, Brandon; LeGresley, Patrick; Rajbhandari, Samyam; Casper, Jared; Liu, Zhun; Prabhumoye, Shrimai; Zerveas, George; Korthikanti, Vijay; Zhang, Elton; Child, Rewon; Aminabadi, Reza Yazdani; Bernauer, Julie; Song, Xia (2022-02-04). "Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model". arXiv:2201.11990 Архивная копия от 15 апреля 2023 на Wayback Machine

Askell, Amanda; Bai, Yuntao; Chen, Anna; et al. (9 декабря 2021). "A General Language Assistant as a Laboratory for Alignment". arXiv:2112.00861.

Bai, Yuntao; Kadavath, Saurav; Kundu, Sandipan; et al. (15 декабря 2022). "Constitutional AI: Harmlessness from AI Feedback". arXiv:2212.08073.

Hoffmann, Jordan; Borgeaud, Sebastian; Mensch, Arthur; Buchatskaya, Elena; Cai, Trevor; Rutherford, Eliza; Casas, Diego de Las; Hendricks, Lisa Anne; Welbl, Johannes; Clark, Aidan; Hennigan, Tom; Noland, Eric; Millican, Katie; Driessche, George van den; Damoc, Bogdan; Guy, Aurelia; Osindero, Simon; Simonyan, Karen; Elsen, Erich; Rae, Jack W.; Vinyals, Oriol; Sifre, Laurent (29 марта 2022). "Training Compute-Optimal Large Language Models". arXiv:2203.15556.

Zhang, Susan; Roller, Stephen; Goyal, Naman; Artetxe, Mikel; Chen, Moya; Chen, Shuohui; Dewan, Christopher; Diab, Mona; Li, Xian; Lin, Xi Victoria; Mihaylov, Todor; Ott, Myle; Shleifer, Sam; Shuster, Kurt; Simig, Daniel; Koura, Punit Singh; Sridhar, Anjali; Wang, Tianlu; Zettlemoyer, Luke (21 июня 2022). "OPT: Open Pre-trained Transformer Language Models". arXiv:2205.01068.

Soltan, Saleh; Ananthakrishnan, Shankar; FitzGerald, Jack; et al. (3 августа 2022). "AlexaTM 20B: Few-Shot Learning Using a Large-Scale Multilingual Seq2Seq Model". arXiv:2208.01448.

deepmind.com

Hoffmann, Jordan; Borgeaud, Sebastian; Mensch, Arthur; Sifre, Laurent An empirical analysis of compute-optimal large language model training. Deepmind Blog (12 апреля 2022). Дата обращения: 16 марта 2023. Архивировано 13 апреля 2022 года.

github.com

BERT (13 марта 2023). Дата обращения: 16 марта 2023. Архивировано 13 января 2021 года.

gpt-2. GitHub. Дата обращения: 13 марта 2023. Архивировано 11 марта 2023 года.

GPT Neo (15 марта 2023). Дата обращения: 16 марта 2023. Архивировано 12 марта 2023 года.

GitHub — yandex/YaLM-100B: Pretrained language model with 100B parameters. Дата обращения: 20 июля 2023. Архивировано 16 июня 2023 года.

StableLM: Stability AI Language Models. — 2023-04-20. Архивировано 20 апреля 2023 года.

googleblog.com

ai.googleblog.com

Dai, Andrew M; Du, Nan More Efficient In-Context Learning with GLaM (англ.). ai.googleblog.com (9 декабря 2021). Дата обращения: 9 марта 2023. Архивировано 12 марта 2023 года.

Cheng, Heng-Tze; Thoppilan, Romal LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything (англ.). ai.googleblog.com (21 января 2022). Дата обращения: 9 марта 2023. Архивировано 25 марта 2022 года.

Narang, Sharan; Chowdhery, Aakanksha Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance (англ.). ai.googleblog.com (4 апреля 2022). Дата обращения: 9 марта 2023. Архивировано 4 апреля 2022 года.

openai.com

GPT-2: 1.5B Release (англ.). OpenAI (5 ноября 2019). Дата обращения: 14 ноября 2019. Архивировано 14 ноября 2019 года.

Better language models and their implications. openai.com. Дата обращения: 16 марта 2023. Архивировано 16 марта 2023 года.

ChatGPT: Optimizing Language Models for Dialogue (англ.). OpenAI (30 ноября 2022). Дата обращения: 13 января 2023. Архивировано 30 ноября 2022 года.

cdn.openai.com

GPT-4 Technical Report. OpenAI (2023). Дата обращения: 14 марта 2023. Архивировано 14 марта 2023 года.

techcrunch.com

Wiggers, Kyle The emerging types of language models and why they matter. TechCrunch (28 апреля 2022). Дата обращения: 16 марта 2023. Архивировано 16 марта 2023 года.

Lardinois, Frederic Microsoft’s new Bing was using GPT-4 all along. TechCrunch (14 марта 2023). Дата обращения: 14 марта 2023. Архивировано 15 марта 2023 года.

web.archive.org

Manning, Christopher D. (2022). "Human Language Understanding & Reasoning". Daedalus. Архивировано 17 ноября 2023. Дата обращения: 16 марта 2023. {{cite journal}}: |archive-date= / |archive-url= несоответствие временной метки; предлагается 17 ноября 2023 (справка)

Carlini, Nicholas; Tramer, Florian; Wallace, Eric; Jagielski, Matthew; Herbert-Voss, Ariel; Lee, Katherine; Roberts, Adam; Brown, Tom B; Song, Dawn; Erlingsson, Ulfar (2021). Extracting Training Data from Large Language Models (PDF). USENIX Security Symposium. Vol. 6. Архивировано (PDF) 21 декабря 2023. Дата обращения: 16 марта 2023. {{cite conference}}: |archive-date= / |archive-url= несоответствие временной метки; предлагается 21 декабря 2023 (справка)

Wei, Jason Emergent Abilities of Large Language Models. Дата обращения: 16 марта 2023. Архивировано 16 марта 2023 года.

Jurafsky, Dan. Speech and Language Processing / Dan Jurafsky, James H. Martin. — 3rd edition draft. — 2023-01-07. Архивная копия от 23 марта 2023 на Wayback Machine

Ananthaswamy, Anil In AI, is bigger always better? Nature (8 марта 2023). Дата обращения: 16 марта 2023. Архивировано 16 марта 2023 года.

Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario (Dec 2020). Larochelle, H.; Ranzato, M.; Hadsell, R.; Balcan, M.F.; Lin, H. (eds.). "Language Models are Few-Shot Learners" (PDF). Advances in Neural Information Processing Systems. 33. Curran Associates, Inc.: 1877–1901. Архивировано (PDF) 17 ноября 2023. Дата обращения: 16 марта 2023. {{cite journal}}: |archive-date= / |archive-url= несоответствие временной метки; предлагается 17 ноября 2023 (справка)

BERT (13 марта 2023). Дата обращения: 16 марта 2023. Архивировано 13 января 2021 года.

GPT-2: 1.5B Release (англ.). OpenAI (5 ноября 2019). Дата обращения: 14 ноября 2019. Архивировано 14 ноября 2019 года.

Better language models and their implications. openai.com. Дата обращения: 16 марта 2023. Архивировано 16 марта 2023 года.

OpenAI's GPT-3 Language Model: A Technical Overview (англ.). lambdalabs.com. Дата обращения: 16 марта 2023. Архивировано 27 марта 2023 года.

gpt-2. GitHub. Дата обращения: 13 марта 2023. Архивировано 11 марта 2023 года.

GPT Neo (15 марта 2023). Дата обращения: 16 марта 2023. Архивировано 12 марта 2023 года.

Iyer, Abhishek GPT-3’s free alternative GPT-Neo is something to be excited about. VentureBeat (15 мая 2021). Дата обращения: 16 марта 2023. Архивировано 9 марта 2023 года.

GPT-J-6B: An Introduction to the Largest Open Source GPT Model | Forefront (англ.). www.forefront.ai. Дата обращения: 28 февраля 2023. Архивировано из оригинала 9 марта 2023 года.

Alvi, Ali; Kharya, Paresh Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the World’s Largest and Most Powerful Generative Language Model. Microsoft Research (11 октября 2021). Дата обращения: 16 марта 2023. Архивировано 13 марта 2023 года.

Product (англ.). Anthropic. Дата обращения: 14 марта 2023. Архивировано 16 марта 2023 года.

Black, Sidney; Biderman, Stella; Hallahan, Eric; et al. (1 мая 2022). GPT-NeoX-20B: An Open-Source Autoregressive Language Model. Proceedings of BigScience Episode #5 -- Workshop on Challenges & Perspectives in Creating Large Language Models. Vol. Proceedings of BigScience Episode #5 -- Workshop on Challenges & Perspectives in Creating Large Language Models. pp. 95–136. Архивировано 10 декабря 2022. Дата обращения: 19 декабря 2022. {{cite conference}}: |archive-date= / |archive-url= несоответствие временной метки; предлагается 10 декабря 2022 (справка)

Democratizing access to large-scale language models with OPT-175B (англ.). ai.facebook.com. Дата обращения: 16 марта 2023. Архивировано 12 марта 2023 года.

Источник. Дата обращения: 20 июля 2023. Архивировано 20 июля 2023 года.

GitHub — yandex/YaLM-100B: Pretrained language model with 100B parameters. Дата обращения: 20 июля 2023. Архивировано 16 июня 2023 года.

bigscience/bloom · Hugging Face. huggingface.co. Дата обращения: 16 марта 2023. Архивировано 12 апреля 2023 года.

20B-parameter Alexa model sets new marks in few-shot learning (англ.). Amazon Science (2 августа 2022). Дата обращения: 16 марта 2023. Архивировано 15 марта 2023 года.

AlexaTM 20B is now available in Amazon SageMaker JumpStart | AWS Machine Learning Blog. aws.amazon.com (17 ноября 2022). Дата обращения: 13 марта 2023. Архивировано 13 марта 2023 года.

Introducing LLaMA: A foundational, 65-billion-parameter large language model. Meta AI (24 февраля 2023). Дата обращения: 16 марта 2023. Архивировано 3 марта 2023 года.

GPT-4 Technical Report. OpenAI (2023). Дата обращения: 14 марта 2023. Архивировано 14 марта 2023 года.

StableLM: Stability AI Language Models. — 2023-04-20. Архивировано 20 апреля 2023 года.

Большая языковая модель (Russian Wikipedia)

amazon.com

aws.amazon.com

amazon.science

anthropic.com

arxiv.org

deepmind.com

facebook.com

ai.facebook.com

forefront.ai

github.com

googleblog.com

ai.googleblog.com

huggingface.co

lambdalabs.com

microsoft.com

nature.com

openai.com

openai.com

cdn.openai.com

stanford.edu

web.stanford.edu

techcrunch.com

venturebeat.com

web.archive.org

yandex.ru