解决fasttext内存不足无法读取模型的问题

news/2024/7/19 20:15:49 标签: 内存, facebook, fasttext, 词向量

fasttext是个好东西,是由facebook在2016年推出的一个训练词向量的模型。相比于之前Google的word2vec,fasttext可以解决out of vocabulary的问题。fasttext还能够用于有监督的文本分类。更赞的是,facebook提供了200多种语言的预训练模型和词向量
然而,在安装完fasttext后,当我读取了3GB的中文模型时,却出了下面的问题:

Traceback (most recent call last):
  File "text_fasttext.py", line 7, in <module>
    text()
  File "text_fasttext.py", line 4, in text
    model = fasttext.load_model('wiki.zh.bin')
  File "fasttext/fasttext.pyx", line 154, in fasttext.fasttext.load_model
Exception: fastText: Cannot load wiki.zh.bin due to C++ extension failed to allocate the memory

上网查了下,大概意思是C++扩展无法分配足够的内存用于存储模型。然而,我的mac内存明明是够的,上网搜了很久也没发现解决方法。
最后,终于看到了一种解决方法:使用pyfasttext。 这是fasttext的另一种实现,文档链接:https://pypi.python.org/pypi/pyfasttext/ 。 看来是原版的实现有点问题。
执行 pip3 install pyfasttext 进行安装
读取模型:
from pyfasttext import FastText
model = FastText(‘wiki.zh.bin’)
ok,模型可以读取了!


http://www.niftyadmin.cn/n/1548779.html

相关文章

GreenPlum数据仓库快速配置,通过python连接

GreenPlum数据仓库快速配置&#xff0c;通过python连接 数据库期末作业要用GP开发一个项目&#xff0c;弄的蛋疼&#xff0c;这里总结下我的快速配置过程… 1.docker官网下载docker客户端&#xff0c;安装 官网链接&#xff1a; 点击这里 2.拉取GP的docker镜像&#xff0c;…

CentOS7下修改docker镜像源(解决TSL timeout问题)

问题是这样的&#xff1a; 4e1bafcdbc6f: Waiting bafbeb6b464b: Waiting c0e0660d6638: Waiting 269e6f7314e4: Waiting 05fd6d8029a7: Waiting 0aab41d51f2d: Waiting error pulling image configuration: Get https://dseasb33srnrn.cloudfront.net/registry-v2/docke…

Tensorflow 利用高阶API Estimater.predict 实现实时预测,避免reload计算图

Estimater.predict是tensorflow的高阶API&#xff0c;但是在使用中常常会遇到如下情况&#xff1a; 单次预测一个大文件的速度正常&#xff0c;但是想做成接口来实时预测速度却缓慢&#xff1a;因为每次预测都会重新reload一遍计算图。 那么这个问题是否有解呢&#xff1f;答案…

Codeforces Round #551 (Div. 2) D. Serval and Rooted Tree (树形dp)

https://codeforces.com/contest/1153/problem/D 思路: 用dp[i]表示&#xff0c;结点i最少要有dp[i]个最大的结点肯定被忽略掉&#xff08;因为题目要求最大化&#xff0c;因此我们希望被忽略掉的最大点尽可能少&#xff0c;所以dp表示的是“最少”的个数&#xff09;。那么对…

共轭梯度法的推导与完整算法

共轭梯度法 学习自知乎&#xff1a;https://www.zhihu.com/question/27157047 and wikipedia and 非线性规划课 简介 在数值线性代数中&#xff0c;共轭梯度法是一种求解对称正定线性方程组Axb的迭代方法。 事实上&#xff0c;求解Axb等价于求解&#xff1a; min∣∣Ax−b∣…

与信息熵相关的概念梳理(条件熵/互信息/相对熵/交叉熵)

香农信息量 信息量表示不确定性的大小。 信息量的单位是比特&#xff08;bit&#xff09;。 香农信息量log⁡1p−log⁡p(以2为底)香农信息量\log\frac{1}{p}-\log p\quad(以2为底)香农信息量logp1​−logp(以2为底) 上式中&#xff0c;p越小&#xff0c;则不确定性越大&#…

农业领域的知识图谱构建(Agriculture_KnowledgeGraph)

Agriculture_KnowledgeGraph demo&#xff1a;http://ecnukg.vicp.io github&#xff1a;https://github.com/qq547276542/Agriculture_KnowledgeGraph 欢迎star&fork~ 命名实体识别 进入主页面&#xff0c;输入文本&#xff0c;即可看到以下命名实体和分词的结果&#x…

关于java中使用FileOutputStream的write函数写一个整型数,在读取的时候的异常

java.io.FileOutputStream的write函数能写整型数和byte[]数组进行写入 当使用整型数去写后&#xff0c;再用FileInputStream去读取&#xff08;因为FileInputStream不支持用整型去读取&#xff0c;只能用Byte[]数组&#xff09;&#xff0c;byte数组只会读取一个字节&#xff0…